When are likely answers right? On Sequence Probability and Correctness in LLMs
Diese Arbeit untersucht die Beziehung zwischen Sequenzwahrscheinlichkeit und Korrektheit in großen Sprachmodellen und stellt fest, dass eine höhere Wahrscheinlichkeit zwar innerhalb eines festen Datensatzes oft die Korrektheit vorhersagt, jedoch kein zuverlässiger Indikator für die Verbesserung der Genauigkeit durch Änderungen der Dekodierungsmethode oder zur Unterscheidung korrekter Antworten auf denselben Prompt ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich ein Large Language Model (LLM) als einen super-phantastischen Geschichtenerzähler vor, der fast jedes Buch in der Bibliothek gelesen hat. Wenn Sie diesem Geschichtenerzähler einen Prompt (einen Geschichten-Starter) geben, spuckt er nicht einfach nur ein Ende aus; er kann tausende verschiedene mögliche Enden generieren.
Die große Frage, die dieses Paper stellt, lautet: „Wenn ein Geschichtenende sich für den Geschichtenerzähler sehr ‚wahrscheinlich‘ oder ‚natürlich‘ anfühlt, bedeutet das, dass es tatsächlich die richtige Antwort ist?“
Die Autoren behandeln die „Wahrscheinlichkeit“ des Modells (wie wahrscheinlich das Modell einen Satz hält) als einen Konfidenz-Meter (Vertrauensanzeige). Sie wollten wissen, ob das Aufdrehen der Lautstärke dieses Konfidenz-Meters tatsächlich zu besseren Antworten führt.
Hier ist das, was sie herausgefunden haben, aufgeschlüsselt in einfache Analogien:
1. Die „Bibliotheks“-Analogie (Innerhalb eines Datensatzes)
Das Ergebnis: Wenn man sich einen ganzen Stapel von Antworten ansieht, die für einen bestimmten Typ von Frage generiert wurden (wie etwa ein Mathetest), sind diejenigen, die das Modell für am „wahrscheinlichsten“ hält, meistens auch die korrekten.
- Die Metapher: Stellen Sie sich einen Bibliothekar vor, der ein Regal mit Büchern sortiert hat. Wenn Sie fragen: „Welches dieser Bücher ist der richtige Leitfaden zur Reparatur eines Autos?“, zeigt der Bibliothekar auf das Buch, von dem er am meisten überzeugt ist, dass es das richtige ist. In einem Stapel von unterschiedlichen Fragen liegt der Bibliothekar meistens richtig.
- Die Einschränkung: Das funktioniert nur, wenn Sie verschiedene Fragen miteinander vergleichen. Es bedeutet nicht, dass der Bibliothekar perfekt darin ist, das richtige Buch für eine spezifische Frage auszuwählen, nur weil er sich sicher fühlt.
2. Die „Drehknopf“-Analogie (Einstellungen ändern)
Das Ergebnis: Wenn Sie versuchen, das Modell „selbstbewusster“ zu machen, indem Sie seine Einstellungen ändern (wie etwa einen Regler drehen, um es weniger zufällig zu machen), bekommen Sie nicht zwangsläufig bessere Antworten. Tatsächlich bekommen Sie oft schlechtere Antworten, die nur selbstbewusster klingen.
- Die Metapher: Stellen Sie sich ein Radio vor. Sie können den „Signalstärke“-Knopf aufdrehen, damit die Musik lauter und klarer klingt. Aber wenn Sie ihn zu hoch drehen, erhalten Sie vielleicht nur ein Rauschen, das sehr laut und klar klingt, obwohl es nicht das richtige Lied ist.
- Die Realität: Das Paper fand heraus, dass das Anpassen der Einstellungen des Modells, um es zu zwingen, die „wahrscheinlichsten“ Sequenzen zu wählen, das Modell oft nur selbstbewusster klingen lässt, aber es nicht klüger macht. Manchmal ist der „wahrscheinlichste“ Pfad tatsächlich eine Falle.
3. Die „Crowd-Vote“-Analogie (Gleiche Frage, verschiedene Antworten)
Das Ergebnis: Wenn Sie dem Modell die exakt gleiche Frage 32 Mal stellen, ist die „wahrscheinlichste“ Antwort nicht immer die richtige. Das Modell liefert Ihnen vielleicht 32 verschiedene Antworten, und diejenige, die es für am wahrscheinlichsten hält, könnte falsch sein.
- Die Metapher: Stellen Sie sich vor, Sie stellen einem Raum voller Menschen dasselbe Rätsel. Sie fragen: „Wer ist die klügste Person hier?“ Die Person, die ihre Hand am lautesten hebt (höchste Wahrscheinlichkeit), ist nicht unbedingt diejenige mit der richtigen Antwort. Manchmal ist sich der Raum uneinig, und die „laute“ Antwort ist nur eine populäre Vermutung, nicht die Wahrheit.
- Die Ausnahme: Das Paper fand eine spezifische Art von Rätsel (Matheaufgaben), bei denen die „lauteste“ Stimme meistens die klügste war. Aber bei anderen Arten von Fragen (wie dem Befolgen von Anweisungen oder medizinischen Ratschlägen) war die lauteste Stimme oft genauso wahrscheinlich falsch wie die leiseren Stimmen.
4. Die „Selbstverbesserungsfalle“
Das Ergebnis: Manche Menschen versuchen, KI intelligenter zu machen, indem sie sie ihre eigenen „besten“ Antworten auswählen und daraus lernen lassen. Dieses Paper warnt davor, dass dies riskant ist.
- Die Metapher: Stellen Sie sich einen Schüler vor, der versucht, in Mathe besser zu werden, indem er nur die Antworten lernt, von denen er glaubt, dass sie richtig sind. Wenn der Schüler nicht bereits ziemlich gut in Mathe ist, wird er nur seine eigenen Fehler verstärken und dabei denken: „Oh, diese falsche Antwort fühlt sich sehr vertraut an, also muss sie richtig sein!“
- Die Lektion: Sie können „Konfidenz“ nur nutzen, um die KI zu verbessern, wenn die KI in der Aufgabe bereits gut ist. Wenn sie Schwierigkeiten hat, wird das Vertrauen in die eigene Konfidenz sie nur noch selbstbewusster falsch machen.
Zusammenfassung der „Faustregeln“
Das Paper gibt uns drei wesentliche Erkenntnisse für den Umgang mit diesen Modellen:
- Vertrauen Sie nicht der „Lautstärke“: Nur weil das Modell sagt, eine Antwort sei „hochgradig wahrscheinlich“, bedeutet das nicht, dass sie korrekt ist.
- Der Kontext zählt: Die Beziehung zwischen „sich sicher fühlen“ und „richtig liegen“ ändert sich je nach Art der Frage (Mathe ist anders als Code, welcher wiederum anders ist als Anweisungen).
- Nicht überoptimieren: Zu versuchen, das Modell „wahrscheinlicher“ zu machen, indem man seine Einstellungen ändert, hilft meist nicht und kann die Leistung sogar verschlechtern.
Kurz gesagt: Das „Bauchgefühl“ des Modells (Wahrscheinlichkeit) ist ein nützlicher Hinweis, wenn man das große Ganze betrachtet, aber ein schlechter Kompass, wenn man ein einzelnes, spezifisches Problem navigiert. Man kann nicht einfach den „Konfidenz-Regler“ aufdrehen und erwarten, dass die Antworten dadurch besser werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.