From token probabilities to calibrated confidence: An empirical study of mathematical question answering
Diese empirische Studie untersucht Methoden zur Kalibrierung des Vertrauens in große Sprachmodelle für die Beantwortung mathematischer Fragen und stellt fest, dass, während Token-Wahrscheinlichkeiten aus einem einzelnen Durchgang nur begrenztes Signal liefern, das Aggregieren dieser Wahrscheinlichkeiten und die Anwendung von Multi-Pass-Strategien wie Selbstverifizierung oder Monte Carlo Dropout, gefolgt von Post-hoc-Kalibrierungstechniken, die Übereinstimmung zwischen geschätztem Vertrauen und tatsächlicher Genauigkeit signifikant verbessern kann.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie spielen ein Quizspiel mit hohem Einsatz gegen einen superintelligenten Roboterfreund. Sie stellen ihm eine knifflige Frage, und der Roboter summt eine Antwort. Aber hier ist der Haken: Der Roboter ist so darauf bedacht, zu gefallen, dass er oft klingt, als sei er sich zu 100 % sicher, selbst wenn er völlig falsch liegt. In der Welt der Künstlichen Intelligenz nennt man das „Überkonfidenz“ (Overconfidence). Wissenschaftler versuchen, diesen Robotern beizubringen, zu sagen: „Ich bin mir ziemlich sicher“ oder „Ich bin mir nicht so sicher“, damit wir wissen, wann wir ihnen vertrauen können. Dies ist die Herausforderung der Konfidenzschätzung: herauszufinden, wie wahrscheinlich es ist, dass die Antwort eines Roboters korrekt ist. Um dies zu tun, schauen sich Forscher die internen „Flüstern“ des Roboters an – winzige Zahlen namens Token-Wahrscheinlichkeiten, die zeigen, wie wahrscheinlich es ist, dass der Roboter das nächste Wort in einem Satz wählt. Die große Frage ist: Können wir dieses verrauschte Flüstern in ein zuverlässiges „Wahrheitsmeter“ verwandeln, das uns genau sagt, wie sehr wir dem Roboter vertrauen können?
Ein Team von Forschern beschloss, diese Idee, speziell mit mathematischen Problemen, auf die Probe zu stellen. Sie behandelten die KI wie einen Schüler, der eine Prüfung ablegt, und fragten: „Wenn wir genau auf den Gedankengang des Schülers hören, können wir erkennen, ob er die Antwort richtig hat, noch bevor er mit dem Schreiben fertig ist?“ Sie verglichen zwei Hauptwege des Zuhörens. Der erste war ein „Single-Pass“-Zuhören, bei dem sie einfach das mathematische Problem und die vom Roboter gegebene Endantwort in einem Durchgang analysierten. Der zweite war ein „Multi-Pass“-Zuhören, bei dem sie den Roboter baten, seine Arbeit zu überprüfen oder dasselbe Problem mehrmals mit leichten Variationen durch sein Gehirn laufen zu lassen, um zu sehen, ob er zum selben Ergebnis kommt.
Dies ist, was sie entdeckten. Erstens fanden sie heraus, dass man, wenn man nur den allerletzten Worten der Antwort (der endgültigen Zahl) zuhört, der Roboter unglaublich selbstbewusst klingt, selbst wenn er falsch liegt. Es ist wie ein Schüler, der am Ende einer Prüfung „42“ schreibt, aber dort hingelangt ist, indem er geraten hat. Wenn man jedoch die gesamte Argumentationskette hört – die schrittweise Mathematik, die der Roboter vollzogen hat, um dorthin zu gelangen – kann man winzige, konsistente Unterschiede zwischen richtigen und falschen Antworten erkennen. Indem sie diese winzigen Signale über den gesamten Denkprozess hinweg mitteln, fanden sie einen Weg, ein viel besseres „Wahrheitsmeter“ zu erhalten, ohne dass der Roboter zusätzliche Arbeit leisten muss.
Die Forscher versuchten auch einige ausgeklügelte Tricks, um bessere Signale zu erhalten. Ein Trick war, den Roboter zu fragen: „Bist du sicher, dass das richtig ist?“ (eine Methode namens Selbstverifizierung). Sie fanden heraus, dass das Bitten des Roboters, seine eigene Antwort vom allerersten Anfang an erneut zu lesen, zwar genau, aber sehr langsam und teuer war – so, als würde man einen Schüler bitten, seinen gesamten Aufsatz neu zu schreiben, nur um eine einzige Zeile zu prüfen. Aber sie entdeckten eine clevere Abkürzung: Anstatt das Ganze neu zu schreiben, konnten sie einfach die Frage „Ist das richtig?“ an das Ende der ursprünglichen Antwort anhängen. Diese „In-situ“-Methode war genauso genau, sparte aber 88 % der Computerleistung, was ein riesiger Gewinn für die Effizienz war.
Ein weiterer Trick beinhaltete „stochastische Durchläufe“, bei denen sie den Roboter baten, dasselbe Problem mehrmals mit ein wenig Zufälligkeit (wie beim Würfelspielen) zu lösen, um zu sehen, ob er seine Meinung ändert. Diese Methode, bekannt als MC Dropout, war gut darin, Unsicherheit zu erfassen, erforderte aber, dass der Roboter die Arbeit viele Male erledigt, was rechenintensiv ist. Die Forscher fanden heraus, dass diese Methode zwar funktionierte, es aber oft nicht wert war, den zusätzlichen Aufwand im Vergleich zur einfacheren „Hör der ganzen Geschichte zu“-Methode zu tragen.
Schließlich testeten sie einen „Kalibrierungsschritt“, der so ist, als würde man den Roboter lehren, seinen Konfidenzregler anzupassen. Sie verwendeten zwei klassische mathematische Werkzeuge (Platt-Skalierung und Isotonische Regression), um die Konfidenzwerte des Roboters so anzupassen, dass sie der Realität besser entsprechen. Sie fanden heraus, dass diese Werkzeuge Wunder wirkten, insbesondere wenn sie über einen kleinen Satz von Übungsproblemen (so wenig wie 50 Beispiele) verfügten, um daraus zu lernen. Sie bemerkten jedoch auch, dass eine Kalibrierung, die an leichten Matheaufgaben gelernt wurde, nicht immer gut bei schweren Aufgaben funktionierte, und eine Kalibrierung, die an einem Typ von Roboter gelernt wurde, nicht immer auf einen anderen Typ übertragbar war.
Kurz gesagt, die Arbeit legt nahe, dass wir den Roboter nicht doppelt so hart arbeiten lassen müssen, um zu wissen, ob er recht hat. Indem wir einfach dem gesamten Pfad seiner Argumentation mehr Aufmerksamkeit schenken, anstatt nur der Endantwort, und indem wir eine clevere, kostengünstige Methode verwenden, um ihn seine Arbeit selbst prüfen zu lassen, können wir viel vertrauenswürdigere Konfidenzmeter bauen. Diese Erkenntnisse deuten darauf hin, dass wir mit der richtigen Abstimmung KI-Systeme viel ehrlicher darüber machen können, was sie wissen und was sie nicht wissen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.