Is Large Language Model Performance on Reasoning Tasks Impacted by Different Ways Questions Are Asked?
Diese Studie zeigt, dass das Format von Fragen, einschließlich der Anzahl der Optionen und der spezifischen Formulierung, die Leistung von Large Language Models bei Reasoning-Aufgaben erheblich beeinflusst und häufig zu einer Diskrepanz zwischen der Genauigkeit der Reasoning-Schritte und der Richtigkeit der endgültigen Antwort führt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Lehrer, der testen möchte, wie intelligent ein neuer Schüler (eine KI) beim Lösen von Logikrätseln ist. Sie wollen herausfinden, ob der Schüler die Mathematik oder Logik wirklich versteht oder ob er einfach nur die richtige Antwort errät.
Dieser Artikel ist wie ein Zeugnis aus einer Studie, in der die Forscher denselben Logikproblemen fünf verschiedenen KI-Schülern stellten, die Fragen jedoch auf drei sehr unterschiedliche Weise:
- Der „Aufsatz"-Stil (Kurzantwort): „Hier ist ein Problem. Lösen Sie es und nennen Sie mir die Antwort."
- Der „Multiple-Choice"-Stil: „Hier ist ein Problem. Wählen Sie die richtige Antwort aus diesen 5 oder 11 Optionen."
- Der „Wahr oder Falsch"-Stil: „Hier ist ein Problem und eine spezifische Antwort. Ist diese Antwort Wahr oder Falsch?"
Die Forscher wollten wissen: Verändert die Art, wie Sie die Frage stellen, die Leistung der KI?
Hier sind die wichtigsten Erkenntnisse, einfach erklärt:
1. Der „Raten"-Effekt
Die größte Überraschung war, dass das Erreichen der richtigen Endantwort nicht immer bedeutet, dass die KI die richtige Arbeit geleistet hat.
- Die Analogie: Stellen Sie sich einen Schüler vor, der einen Multiple-Choice-Test schreibt. Er weiß vielleicht nicht, wie man die Mathematik rechnet, rät aber „C" und liegt richtig. Wenn Sie nur den Antwortbogen ansehen, hat er 100 % erreicht. Wenn Sie jedoch auf sein Kladdepapier schauen, hat er Unsinn geschrieben.
- Die Erkenntnis: Die KI „rate" oft den richtigen Buchstaben bei einer Multiple-Choice-Frage, selbst wenn ihre Denkprozesse falsch waren. Umgekehrt machte die KI manchmal die perfekte Rechnung, wählte aber am Ende den falschen Buchstaben, weil sie durch die Optionen verwirrt wurde.
- Die Lehre: Wenn Sie nur die Endantwort prüfen, könnten Sie denken, die KI sei intelligenter, als sie tatsächlich ist.
2. Das „Speisekarten"-Problem (Multiple Choice)
Wenn die Forscher der KI eine Liste von Optionen zur Auswahl gaben, spielten die Anzahl der Optionen und die verwendeten Wörter eine große Rolle.
- Zu viele Möglichkeiten: Als die Liste von 5 auf 11 Optionen wuchs, sank die Leistung der KI oft. Es ist wie beim Angebot von 5 Eissorten versus 50; die KI wurde überwältigt und begann häufiger zu raten.
- Die Option „Sonstiges": Die Forscher fügten eine seltsame Option namens „Sonstiges" (oder „Keine der oben genannten") hinzu.
- Wenn „Sonstiges" die richtige Antwort war, hatte die KI oft Schwierigkeiten, sie auszuwählen, selbst wenn sie die Mathematik richtig berechnet hatte. Sie schien es vorzuziehen, eine spezifische Zahl zu wählen, selbst wenn diese Zahl falsch war.
- Die KI schien auch eine „Lieblingssitz"-Verzerrung zu haben. Sie wählte die erste oder die letzte Option häufiger, unabhängig davon, ob sie richtig war.
3. Die „Ja/Nein"-Falle (Wahr oder Falsch)
Bei Fragen im Stil „Wahr oder Falsch" veränderten die verwendeten Wörter die Ergebnisse.
- Wahr vs. Falsch: Die KI war im Allgemeinen besser darin, „Wahr" zu sagen, wenn die Antwort korrekt war, als „Falsch" zu sagen, wenn die Antwort falsch war. Sie schien eine Tendenz zur Zustimmung zu haben.
- Die Formulierung: Die Änderung der Aufforderung von „Wahr oder Falsch" zu „Ja oder Nein" machte die KI bei einigen Aufgaben deutlich schlechter. Es ist wie bei einer Person, die auf „Möchten Sie gehen?" mit „Ja" antwortet, aber bei „Stimmt es, dass Sie gehen wollen?" zögert. Die KI ist empfindlich gegenüber diesen winzigen sprachlichen Verschiebungen.
4. Die „Anweisungs"-Verwirrung
Die Forscher versuchten, der KI zu helfen, indem sie Anweisungen hinzufügten wie: „Lösen Sie das Problem zuerst, dann entscheiden Sie, ob es Wahr oder Falsch ist."
- Das Ergebnis: Manchmal half dies, aber oft verwirrte es die KI oder verschlechterte ihre Leistung. Die KI konzentrierte sich manchmal so sehr auf die Anweisung, dass sie die eigentliche Logik des Problems vergaß.
Zusammenfassung: Was sollten wir lernen?
Der Artikel kommt zu dem Schluss, dass wir nicht einfach nur die Endpunktzahl betrachten können, um die Intelligenz einer KI zu beurteilen.
- Wenn Sie einer KI eine Multiple-Choice-Frage stellen, könnte sie „betrügen", indem sie den richtigen Buchstaben rät, ohne die Logik zu verstehen.
- Wenn Sie ihr eine Wahr/Falsch-Frage stellen, können die spezifischen Wörter, die Sie verwenden, sie dazu bringen, weniger genau zu sein.
- Um wirklich zu wissen, ob eine KI intelligent ist, müssen Sie ihr „Kladdepapier" (ihre Denkprozesse) prüfen, nicht nur die letzte Markierung, die sie ausgefüllt hat.
Die Forscher haben einen neuen Satz von Tests (einen Benchmark) entwickelt, um zukünftigen Entwicklern zu helfen, diese Eigenheiten zu verstehen, und sicherzustellen, dass wir beim Testen von KI nicht nur prüfen, wie gut sie beim Raten ist, sondern wie gut sie beim Denken ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.