LLMs Should Not Yet Be Credited with Decision Explanation
Dieses Positionspapier argumentiert, dass LLMs noch nicht mit der Erklärung menschlicher Entscheidungen kreditiert werden sollten, da die aktuellen Belege vorrangig Vorhersage und Rationalisierung und keine genuine Erklärung stützen, und plädiert stattdessen für einen abgestimmten Standard, der zwischen diesen Fähigkeiten unterscheidet, um voreilige Neudefinitionen des erklärenden Fortschritts zu verhindern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der herausfinden soll, warum eine Person eine bestimmte Entscheidung getroffen hat, etwa den Kauf eines roten Autos statt eines blauen.
Stellen Sie sich nun vor, Sie hätten einen sehr intelligenten, gut gebildeten Roboter (ein LLM), der die Situation analysieren und Ihnen zwei Dinge mitteilen kann:
- Die Vorhersage: „Ich wette, sie haben das rote Auto gekauft."
- Die Geschichte: „Sie haben das rote Auto gekauft, weil sie die Farbe Rot lieben und sie zu ihrer Persönlichkeit passt."
Die Arbeit von Wenshuo Wang argumentiert, dass wir derzeit einen großen Fehler machen. Wir behandeln die Geschichte des Roboters so, als wäre sie eine wissenschaftliche Erklärung des menschlichen Geistes. Der Autor sagt: Hören Sie auf, dem Roboter die Ehre zu erweisen, menschliche Entscheidungen „erklärt" zu haben, bis er viel stärkere Beweise vorlegt.
Hier ist die Aufschlüsselung mit einfachen Analogien:
1. Die drei Stufen der „Ehre"
Die Arbeit besagt, dass ein Roboter drei verschiedene Dinge tun kann, die unterschiedliche Beweisstufen erfordern. Denken Sie daran wie an ein Videospiel mit drei Schwierigkeitsgraden:
Stufe 1: Die Wahrsagerin (Entscheidungsvorhersage)
- Was sie tut: Der Roboter errät das Ergebnis korrekt. „Sie haben das rote Auto gewählt."
- Der Beweis: Es reicht, wenn er oft richtig liegt.
- Die Sicht der Arbeit: Das ist großartig! Wir sollten dem Roboter die Ehre erweisen, ein guter Errater zu sein. Aber richtig zu liegen bedeutet nicht, dass man weiß, warum sie es gewählt haben. Vielleicht hat der Roboter nur bemerkt, dass die meisten Menschen dienstags Rot wählen, nicht wegen der Liebe der Person zu Rot.
Stufe 2: Der glatte Redner (Rationale Generierung)
- Was er tut: Der Roboter schreibt eine überzeugende Geschichte. „Sie haben das rote Auto gewählt, weil es stilvoll ist und zu ihren Schuhen passt."
- Der Beweis: Menschen lesen die Geschichte und sagen: „Das klingt vernünftig und ergibt Sinn."
- Die Sicht der Arbeit: Das ist ebenfalls nützlich! Der Roboter ist gut im Schreiben. Aber eine glatte Geschichte ist nicht dasselbe wie die Wahrheit. Ein Anwalt kann eine perfekte Verteidigung für einen Mandanten schreiben, der tatsächlich schuldig ist. Die Geschichte klingt gut, beweist aber nicht, was tatsächlich im Kopf des Mandanten vorging.
Stufe 3: Der Gedankenleser (Entscheidungserklärung)
- Was er tut: Der Roboter beweist, dass er tatsächlich die spezifischen mentalen Prozesse verfolgt hat, die im menschlichen Kopf abgelaufen sind und zur Wahl führten.
- Der Beweis: Das ist der schwierige Teil. Man kann den Roboter nicht einfach bitten, eine Geschichte zu schreiben. Man muss ihn testen.
- Die Sicht der Arbeit: Wir sind noch nicht so weit. Derzeit ist der Roboter nur eine Stufe-1-Wahrsagerin und ein Stufe-2-glatte Redner. Wir nennen ihn fälschlicherweise einen Stufe-3-Gedankenleser.
2. Das Problem: „Der überzeugende Erzähler"
Die Arbeit warnt davor, dass wir auf einen Trick hereinfallen. Weil der Roboter so gut im Schreiben (Stufe 2) und so gut im Erraten (Stufe 1) ist, gehen wir davon aus, dass er auch die Ursache verstehen muss (Stufe 3).
Die Analogie:
Stellen Sie sich einen Zauberer vor, der ein Kaninchen aus einem Hut zieht.
- Vorhersage: Der Zauberer sagt: „Ich werde ein Kaninchen herausziehen." (Er hat recht).
- Rationale: Er sagt: „Ich habe das Kaninchen herausgezogen, weil ich einen speziellen Zauber gesprochen habe." (Das klingt plausibel und magisch).
- Erklärung: Um es wirklich zu erklären, müsste man das geheime Fach im Hut oder den Mechanismus zeigen, den er verwendet hat.
Derzeit sind LLMs nur der Zauberer, der uns den Zaubertrick erzählt. Sie haben uns das geheime Fach nicht gezeigt. Sie „rationalisieren" nur (erfinden einen guten Grund) für das Ergebnis, das sie bereits vorhergesagt haben.
3. Die Lösung: Der „Brücken-Standard"
Der Autor schlägt eine neue Regel vor, wann wir endlich sagen können: „Okay, dieser Roboter erklärt menschliche Entscheidungen." Der Roboter muss eine Brücke zwischen seiner Geschichte und dem tatsächlichen menschlichen Geist bauen.
Um diese Brücke zu überqueren, muss die Behauptung des Roboters vier Tests bestehen:
- Nennen Sie das Ziel: Sagen Sie nicht einfach „Es erklärt die Wahl." Sagen Sie genau, was es verfolgt. Verfolgt es die „Angst vor Geldverlust"? Verfolgt es die „Aufmerksamkeit für helle Farben"? Sie müssen eine spezifische Sache auswählen, die gemessen werden soll.
- Schlagen Sie die „gefälschten" Alternativen: Sie müssen beweisen, dass der Roboter nicht nur ein „Schlauer Errater + Glatte Redner" ist. Sie müssen zeigen, dass, wenn Sie den Roboter täuschen (z. B. die Antwort zuerst verstecken), er nicht einfach eine Geschichte erfinden kann, die zufällig richtig ist. Er muss beweisen, dass er den wahren Grund gefunden hat, nicht nur eine bequeme Ausrede.
- Verwenden Sie die richtigen Werkzeuge: Wenn Sie behaupten, der Roboter verfolgt „Aufmerksamkeit", sollten Sie ihn nicht einfach bitten, einen Aufsatz zu schreiben. Sie sollten Werkzeuge wie Eye-Tracking oder Reaktionszeiten verwenden, um zu sehen, ob die Geschichte des Roboters mit dem übereinstimmt, was die Augen der Person tatsächlich getan haben.
- Halten Sie es klein: Sagen Sie nicht „Dieser Roboter erklärt alle menschlichen Entscheidungen." Sagen Sie: „Dieser Roboter erklärt diese spezifische Art von Wahl für diese spezifische Gruppe von Menschen."
4. Warum das wichtig ist
Die Arbeit sagt nicht, dass Roboter nutzlos sind. Sie sagt, dass wir ehrlich sein müssen über das, wofür sie gut sind.
- Aktueller Zustand: Wir behandeln Roboter wie psychische Geschichtenerzähler. Wir denken, sie enthüllen die tiefen Geheimnisse des menschlichen Geistes, weil sie überzeugende Geschichten schreiben.
- Vorgeschlagener Zustand: Wir sollten sie als leistungsstarke Werkzeuge behandeln, die großartig im Erraten und Generieren von Ideen sind, aber wir sollten sie nicht „Erklärer" nennen, bis sie die harten Tests bestehen.
Das Fazit:
Wenn wir Robotern weiterhin die Ehre erweisen, Dinge „erklärt" zu haben, die sie nicht wirklich bewiesen haben, könnten wir aufhören, nach den wahren Antworten zu suchen. Indem wir unsere Ehre kalibrieren (ihnen die Ehre für das geben, was sie tatsächlich tun, nicht für das, was wir wünschen, dass sie tun), können wir sie von überzeugenden Geschichtenerzählern zu zuverlässigen Instrumenten zur Entdeckung der Wahrheit über menschliches Verhalten machen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.