Language Models Should be Used to Surface the Unwritten Code of Science and Society
Dieses Paper schlägt ein Framework vor, das große Sprachmodelle nutzt, um den „ungeschriebenen Kodex“ der Gesellschaft durch die Analyse ihrer selbst generierten Heuristiken aufzudecken und zu kritisieren, wobei durch eine Fallstudie im Peer-Review-Verfahren demonstriert wird, wie LLMs implizite Vorurteile – wie etwa die unausgesprochene Präferenz für Storytelling gegenüber reiner Stringenz – offenlegen können, die menschliche Experten anwenden, aber selten artikulieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Die „geheimen Regeln“ finden
Stellen Sie sich vor, Sie versuchen herauszufinden, warum ein bestimmtes Lied ein riesiger Hit wurde, während ein anderes, ebenso gutes Lied ignoriert wurde. Sie fragen die Musikkritiker: „Warum hat dieses eine gewonnen?“ Diese geben Ihnen eine Standardantwort: „Es hatte bessere Texte und eine eingängige Melodie.“
Aber tief im Inneren vermuten Sie, dass es eine geheime Regel gibt, die sie nicht laut aussprechen. Vielleicht hatte der Gewinner einfach eine bessere Geschichte, oder die Kritiker mochten den Hintergrund des Künstlers, oder das Lied passte zu einem aktuellen Trend. Dies sind die „ungeschriebenen Codes“ – die unsichtbaren Regeln, die Entscheidungen tatsächlich vorantreiben, auch wenn die Menschen zu höflich oder zu sehr an ihnen gewöhnt sind, um es zuzugeben.
Dieses Paper argumentiert, dass Large Language Models (LLMs) – die intelligenten KI-Chatbots, die wir heute nutzen – eigentlich perfekte Werkzeuge sind, um diese geheimen Regeln zu finden. Anstatt nur zu versuchen, die Vorurteile (Biases) der KI zu korrigieren, schlagen die Autoren vor, dass wir diese Vorurteile als Taschenlampe nutzen sollten, um ein Licht auf die verborgenen, ungeschriebenen Regeln der menschlichen Gesellschaft zu werfen.
Das Experiment: Die Detektivgeschichte der „Peer-Review“
Um dies zu beweisen, untersuchten die Forscher das wissenschaftliche Peer-Review-Verfahren. Dies ist der Prozess, bei dem Wissenschaftler ihre Arbeiten bei Konferenzen einreichen, und andere Wissenschaftler (Reviewer) entscheiden, ob diese gut genug sind, um veröffentlicht zu werden.
Der Aufbau:
- Die Daten: Sie sammelten tausende Paare wissenschaftlicher Arbeiten. In jedem Paar erhielt eine Arbeit eine hohe Punktzahl (ein „Pass“) und die andere eine niedrige Punktzahl (ein „Fail“).
- Der KI-Detektiv: Sie baten eine KI, sich diese Paare anzusehen und zu raten: „Warum hat die hoch bewertete Arbeit gewonnen?“
Der zweistufige Entdeckungsprozess
Die Forscher fragten die KI nicht nur einmal. Sie nutzten eine clevere zweistufige Methode, um die Schichten des Denkens der KI abzutragen:
Schritt 1: Die „höfliche“ Antwort (Der Prior)
Zuerst fragten sie die KI, was eine Arbeit im Allgemeinen gut macht, ohne ihr spezifische Beispiele zu zeigen.
- Das Ergebnis: Die KI gab sehr standardisierte, „lehrbuchmäßige“ Antworten. Sie sagte Dinge wie: „Der Gewinner hatte bessere Mathematik“, „Die Methoden waren strenger“ oder „Die Theorie war stärker“.
- Die Analogie: Dies ist wie ein Schüler, der die Antwort gibt, von der er glaubt, dass sie der Lehrer hören möchte. Es ist das „offizielle“ Regelwerk.
Schritt 2: Die „echte“ Antwort (Der Posterior)
Als Nächstes zeigten sie der KI die tatsächlichen Paare von Arbeiten (die Gewinner und die Verlierer) und baten sie, den Unterschied speziell für diese Fälle zu erklären. Sie zwangen die KI, immer tiefer zu graben, bis sie fast jeden Sieg erklären konnte.
- Das Ergebnis: Die Antworten der KI änderten sich! Sie begann zu sagen: „Der Gewinner erzählte eine bessere Geschichte“, „Er verknüpfte seine Arbeit mit anderen berühmten Studien“ oder „Er rahmte das Problem so ein, dass es wichtig erschien“.
- Die Analogie: Dies ist der Schüler, der flüstert: „Okay, aber wirklich, der Lehrer mochte denjenigen mit der coolen Geschichte und der auffälligen Präsentation, auch wenn die Mathematik dieselbe war.“
Die schockierende Entdeckung
Die Forscher fanden eine riesige Lücke zwischen dem, was Menschen sagen, dass sie wertschätzen, und dem, was sie tatsächlich belohnen.
- Was Menschen sagen: In ihren schriftlichen Rezensionen sprachen menschliche Wissenschaftler hauptsächlich über das „Lehrbuch-Zeug“ (Strenge, Methoden). Sie erwähnten Storytelling oder die Rahmung einer Arbeit nur selten.
- Was Menschen tatsächlich tun: Trotz der Erwähnungen von „Strenge“ in den Texten waren es die Arbeiten mit den besseren Geschichten und Verbindungen, die gewannen.
- Die Rolle der KI: Die KI begann mit demselben „Lehrbuch-Bias“ wie die Menschen. Aber als sie gezwungen wurde, auf die realen Ergebnisse zu schauen, aktualisierte die KI ihr Denken. Sie erkannte: „Oh, ich verstehe. Der wahre Grund, warum diese Arbeiten gewannen, war nicht nur die Mathematik; es war die Geschichte.“
Die Metapher:
Stellen Sie sich einen Juror bei einer Talentshow vor.
- Die öffentliche Aussage: Der Juror sagt: „Ich achte auf technisches Können und eine perfekt stimmige Gesangstechnik.“
- Die Realität: Der Juror verleiht die Trophäe tatsächlich dem Sänger, der die emotionalste Hintergrundgeschichte erzählt und das Publikum mitreißt.
- Die Aufgabe der KI: Die KI fungiert als super-aufmerksamer Assistent, der die tatsächlichen Entscheidungen des Jurors beobachtet und sagt: „Hey, du gibst die Trophäen ständig den Geschichtenerzählern, obwohl du sagst, dass dir nur die Stimmlage wichtig ist. Hier ist die geheime Regel, der du folgst.“
Warum das wichtig ist
Die Autoren sagen nicht, dass wir die KI die menschlichen Richter ersetzen lassen sollten. Stattdessen wollen sie die KI als Diagnosewerkzeug einsetzen.
- Das Unsichtbare sichtbar machen: Genau wie diese Studie enthüllte, dass „Storytelling“ die verborgene Regel in der Wissenschaft ist, könnte diese Methode auch verborgene Vorurteile bei der Einstellung (z. B. „Wir sagen, wir wollen Fähigkeiten, aber wir bevorzugen tatsächlich Kandidaten, die an bestimmten Colleges studiert haben“) oder bei der Zulassung zum Studium aufdecken.
- Das Ziel: Sobald wir die geheimen Regeln kennen, können wir eine ehrliche Diskussion über sie führen. Sind diese Regeln fair? Helfen sie den richtigen Menschen? Wenn wir nicht wissen, dass die Regeln existieren, können wir sie nicht ändern.
Zusammenfassung
Das Paper behauptet, dass KI-Modelle die verborgenen, ungeschriebenen Regeln der menschlichen Kultur absorbiert haben. Indem wir diese KI-Modelle dazu zwingen, ihre Entscheidungen immer und immer wieder zu erklären, können wir sie dazu bringen, „aus dem Nähkästchen zu plaudern“, was in der Gesellschaft wirklich zählt – und so die Lücke zwischen unseren höflichen, offiziellen Regeln und den chaotischen, realen Gründen für unsere Entscheidungen aufzeigen. Dies hilft uns, den „verborgenen Lehrplan“ der Gesellschaft zu erkennen, damit wir entscheiden können, ob wir ihn behalten oder ändern wollen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.