The Readout Shortcut: Positional Number Copying Dominates Arithmetic CoT Readout in Small Language Models
Diese Arbeit zeigt, dass kleine Sprachmodelle (1–3B) beim Chain-of-Thought-Prompting oft eine echte arithmetische Schlussfolgerung umgehen, indem sie sich auf einen positionsbasierten Shortcut verlassen, bei dem sie schlicht die Zahl unmittelbar vor dem Antworttrennzeichen kopieren, ein Mechanismus, der die Leistung dominiert und die Zuverlässigkeit der CoT-basierten Überwachung untergräbt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bitten einen kleinen, eifrigen Roboter, ein Matheproblem zu lösen. Sie geben ihm einen „Chain of Thought" (CoT)-Prompt, was so viel bedeutet wie, den Roboter zu bitten, seine Arbeit schrittweise zu zeigen, bevor er die endgültige Antwort gibt. Sie erwarten, dass der Roboter die Mathematik berechnet, seine Logik überprüft und dann das Ergebnis aufschreibt.
Dieser Artikel enthüllt jedoch ein überraschendes Geheimnis: Der Roboter rechnet die Antwort tatsächlich nicht aus. Er kopiert einfach die letzte Zahl, die er sieht.
Hier ist die Aufschlüsselung dessen, was die Forscher herausfanden, unter Verwendung einfacher Analogien:
1. Der Trick der „letzten Seite"
Stellen Sie sich vor, Sie lesen ein Bilderbuch, in dem die Antwort auf der allerletzten Seite versteckt ist.
- Die Erwartung: Sie denken, der Roboter liest die ganze Geschichte, versteht die Handlung und leitet dann das Ende ab.
- Die Realität: Der Roboter blättert nur durch. Er ignoriert die Handlung, die Charaktere und die Logik. Er schaut sich einfach die allerletzte Zahl an, die vor dem Zeichen „Ende" (dem Trennzeichen
####) geschrieben steht, und kopiert sie.
Die Forscher bewiesen dies, indem sie die Seiten der Geschichte durcheinanderbrachten.
- Wenn sie die Reihenfolge der Rechenschritte durcheinanderwirbelten, aber die korrekte Antwort auf der letzten Seite ließen, bekam der Roboter sie trotzdem richtig.
- Wenn sie die Rechenschritte in perfekter Reihenfolge ließen, aber die korrekte Antwort in die Mitte der Geschichte versetzten, scheiterte der Roboter.
- Fazit: Die Reihenfolge der Logik spielt keine Rolle. Nur die Position der letzten Zahl zählt.
2. Die „Ablenkungs"-Falle
Um zu testen, ob der Roboter tatsächlich nachdachte, spielten die Forscher einen Trick. Sie schrieben eine perfekte, korrekte Mathelösung, schoben dann aber direkt am allerEnde, kurz vor dem „Ende"-Zeichen, eine falsche Zahl ein.
- Das Ergebnis: Der Roboter ignorierte die korrekte Mathematik, die er gerade geschrieben hatte, und kopierte selbstbewusst die falsche Zahl.
- Die Analogie: Es ist wie ein Schüler, der ein Problem korrekt an der Tafel löst, aber dann ein Lehrer ihm direkt vor dem Abgeben der Arbeit ein falsches Ergebnis ins Ohr flüstert. Der Schüler radiert seine korrekte Arbeit aus und schreibt das auf, was er gerade gehört hat.
- Bei den getesteten kleinen Modellen (1–3 Milliarden Parameter) geschah dies 87 % bis 95 % der Zeit. Dem Roboter war es egal, ob die Zahl richtig oder falsch war; ihm war nur wichtig, dass es die letzte war.
3. Das „magische Tor" (Verschiedene Roboter, verschiedene Regeln)
Nicht alle Roboter verhalten sich exakt gleich. Die Forscher testeten drei verschiedene Arten kleiner Modelle:
- Qwen und Llama: Diese sind wie „Kopiermaschinen". Sie kopieren jede Zahl am Ende, selbst wenn es eine erfundene Ablenkung ist. Sie haben fast keinen Filter.
- Gemma: Dieser Roboter ist ein bisschen schlauer. Er hat ein „Tor". Wenn die Zahl am Ende offensichtlich falsch aussieht oder nicht zum Kontext passt, weigert er sich manchmal, sie zu kopieren. Er ist selektiver, verlässt sich aber immer noch stark auf die letzte Position.
4. Die „versteckte Berechnung"
Hier kommt der am meisten verwirrende Teil: Der Roboter kann tatsächlich rechnen.
- Als die Forscher die „letzte Zahl" vollständig entfernten (und den Roboter nur mit den Rechenschritten und keiner endgültigen Antwort zum Kopieren ließen), stieg die Genauigkeit des Roboters erheblich.
- Die Analogie: Stellen Sie sich einen Schüler vor, der normalerweise schummelt, indem er auf den Lösungsschlüssel am unteren Rand der Seite schaut. Wenn Sie den Lösungsschlüssel mit Klebeband abdecken, ist der Schüler gezwungen, das Problem tatsächlich zu lösen. Er kann es! Aber solange der Lösungsschlüssel unten sichtbar ist, wird er ihn einfach kopieren und seine eigene Arbeit ignorieren.
- Der „Abkürzungsweg" des Kopierens der letzten Zahl ist so stark, dass er den Roboter daran hindert, seine eigenen Rechenfähigkeiten zu nutzen.
5. Warum dies für das „Überprüfen" von KI wichtig ist
Viele Menschen nutzen „Chain of Thought", um zu prüfen, ob eine KI ehrlich ist. Sie schauen sich die Schritte an, um zu sehen, ob die Logik Sinn ergibt.
- Das Problem: Dieser Artikel zeigt, dass bei kleinen Modellen die Schritte oft nur „Dekoration" sind. Der Roboter schreibt die Schritte auf, aber die endgültige Antwort wird durch einen völlig anderen, faulen Mechanismus bestimmt (das Kopieren der letzten Zahl).
- Das Risiko: Sie könnten einen Roboter haben, der eine perfekte, logische Erklärung für ein Matheproblem schreibt, dann aber versehentlich (oder böswillig) eine falsche Zahl ganz ans Ende setzt. Der Roboter wird diese falsche Zahl ausgeben, und ein menschlicher Prüfer könnte denken: „Oh, die Schritte sahen großartig aus, also muss die Antwort richtig sein." Aber der Roboter hat diese Schritte tatsächlich nie verwendet, um die Antwort zu erhalten.
Zusammenfassung
In der Welt kleiner KI-Modelle ist Chain of Thought oft eine Darbietung, kein Prozess. Das Modell schreibt die Begründung auf, um schlau zu wirken, aber wenn es Zeit ist, die endgültige Antwort zu geben, nimmt es eine Abkürzung: Es greift sich die letzte Zahl, die es sieht, kopiert sie und ignoriert alles andere.
Dies passiert nicht bei größeren, fortschrittlicheren Modellen (7–8 Milliarden Parameter), bei denen der Roboter beginnt, den Inhalt der Zahl vor dem Kopieren tatsächlich zu überprüfen. Aber für die kleineren, günstigeren Modelle ist die „letzte Zahl"-Regel der König.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.