Stuck on "A": Diagnosing and Repairing Interface Injury in Attention-to-KDA Linearization of a 0.6B Language Model

Stellen Sie sich vor, Sie versuchen, einem brillanten, aber winzigen Roboter das Lesen eines Buches beizubringen. In der Welt der künstlichen Intelligenz werden diese Roboter „Sprachmodelle“ genannt. Sie arbeiten, indem sie Wörter einzeln betrachten und erraten, was als Nächstes kommt – wie eine superschnelle Runde „Lückentext ausfüllen“. Um dies zu tun, führen sie normalerweise eine riesige mentale Liste von allem, was sie bisher gelesen haben, was viel Speicherplatz beansprucht. Aber was wäre, wenn wir sie lehren könnten, sich auf eine viel kleinere, effizientere Weise zu erinnern, wie durch einen Kurzzeitgedächtnis-Loop? Dies ist das Versprechen von „Linear Attention“, einem neuen Trick, der es diesen Robotern ermöglicht, auf kleineren Computern, wie den in Ihrem Laptop oder Smartphone, zu laufen, anstatt riesige, teure Supercomputer zu benötigen.

Wissenschaftler haben versucht, große, leistungsstarke Roboter, die bereits viel wissen, einer „Operation“ zu unterziehen, um ihnen diesen neuen, effizienten Gedächtnistrick beizubringen. Die große Frage ist: Wenn wir ihr altes Gedächtnis gegen das neue, effiziente austauschen, vergessen sie dann, wie man denkt, oder sind sie nur verwirrt darüber, wie sie Ihnen zeigen, was sie wissen? Dieses Paper taucht genau in dieses Geheimnis ein. Es fragt: Wenn wir das Gedächtnis des Roboters reparieren, weiß er dann immer noch die Antworten, oder hat die Operation den Teil seines Gehirns beschädigt, der sein Wissen mit den Worten verbindet, die er spricht?

---

Die Operation, die die Stimmbox brach

Der Forscher nahm ein winziges KI-Modell mit 0,6 Milliarden Parametern (denken Sie an einen sehr klugen, aber kleinen Schüler) und führte eine große Operation durch. Er ersetzte 21 der 28 Gehirnschichten durch ein neues, effizientes „Linear Attention“-System namens KDA. Er tat dies auf einer einzigen, handelsüblichen Grafikkarte – der Art, wie sie ein Gamer besitzen könnte – anstatt auf einem Supercomputer.

Nach der Operation überprüfte er die Gesundheit des Roboters mit Standard-Medizin-Tests. Die Tests sagten, der Roboter mache es großartig! Seine „Perplexity“ (ein Maß dafür, wie überrascht er vom nächsten Wort ist) war fast so gut wie die des Originals. Es schien, als verstünde er den Fluss der Sprache perfekt. Doch dann stellte sie ihm eine einfache Multiple-Choice-Frage: „Was ist die Hauptstadt von Frankreich? A) London, B) Paris, C) Berlin, D) Rom.“

Der Roboter versagte. Kläglich. Er hatte die Antwort nur etwa 25 % der Zeit richtig, was genau der Punktzahl entspricht, die man erzielt, wenn man einfach nur rät. Die Standardtests hatten gelogen. Der Roboter wusste die Fakten tief im Inneren, aber er hatte die Fähigkeit verloren, auf die richtige Antwort zu zeigen.

Die „A“-Sucht: Eine diagnostische Detektivgeschichte

Um herauszufinden, was schiefgelaufen war, erfand das Team einen cleveren Detektiv-Trick namens „Four-Permutation Diagnostic“. Stellen Sie sich vor, Sie haben eine Multiple-Choice-Frage mit vier Optionen: A, B, C und D. Normalerweise ist die Antwort hinter einem dieser Buchstaben versteckt.

Der Forscher nahm 161 Fragen und vertauschte die Buchstaben. Er stellte dieselbe Frage viermal, aber jedes Mal rotierte er die Optionen:

1. Original: A=London, B=Paris...
2. Rotiert: A=Paris, B=Berlin...
3. Erneut rotiert: A=Berlin, B=Rom...
4. Und noch einmal.

Wenn der Roboter tatsächlich nachdachte, sollte er dem Inhalt folgen (dem Wort „Paris“) und den korrekten Buchstaben wählen, egal wo er platziert war. Wenn er alles vergessen hätte, würde er jedes Mal rein zufällig raten.

Doch der Roboter tat weder das noch etwas anderes. Er wurde seltsam: Er wurde besessen von dem Buchstaben „A“.

• Er wählte die Option „A“ in 81 % der Fälle, unabhängig davon, ob „A“ die richtige Antwort war oder nicht.
• Bei 106 von 161 Fragen wählte er exakt denselben Buchstaben (meistens „A“), selbst wenn die Optionen komplett durchgemischt waren.

Der Roboter war nicht dumm; er war nur „festgefahren“. Er hatte das Interface verloren – die mentale Brücke, die sein Wissen mit den spezifischen Labels (A, B, C, D) verbindet, die er ausgeben muss. Er wusste, dass die Antwort Paris ist, aber er konnte nicht herausfinden, welchen Buchstaben er drücken muss, um „Paris“ zu sagen. Es war wie eine Person, die die Antwort auf ein Rätsel kennt, aber nur in einem bestimmten, kaputten Code sprechen kann, der immer mit demselben Wort beginnt.

Die Lösung: Das Format neu lehren

Das Team erkannte, dass der Roboter darauf trainiert worden war, lange Textabsätze zu lesen, aber nie auf das spezifische Format von „Frage -> Optionen -> Antwort“ trainiert wurde. Er wusste nicht, wie man das Spiel der Multiple-Choice-Fragen spielt.

Um dies zu beheben, führten sie eine kurze, gezielte Trainingssession durch. Sie lehrten ihm keine neuen Fakten; sie zeigten ihm lediglich tausende Beispiele für das Format von Multiple-Choice-Fragen und brachten ihm speziell bei, sich die Optionen anzusehen und die richtige auszuwählen. Sie verwendeten eine Technik namens „Completion-only KL“, was eine schicke Art zu sagen ist: „Mach dir keine Sorgen um den Fragenteil, lerne einfach nur, wie man die Antwort korrekt vervollständigt.“

Das Ergebnis war eine dramatische Erholung:

• Die Punktzahl des Roboters in einem Standardtest (C-Eval) sprang von 28,8 % auf 41,3 %.
• Die „A-Sucht“ wurde halbiert (Abfall von 81 % auf 58 %).
• Der Roboter begann, die korrekte Option häufiger als die falschen auszuwählen.

Der Roboter rät nicht mehr nur; er hat neu gelernt, sein Wissen auf die Antwort-Labels abzubilden.

Der letzte Schliff: Ihm eine Persönlichkeit geben

Nachdem der Roboter Fragen korrekt beantworten konnte, wollte das Team ihm eine Persönlichkeit geben. Sie wollten, dass er wie eine spezifische digitale Assistentin namens „Qingyi“ agiert. Dies taten sie, indem sie den Roboter üben ließen, im Stil dieser Persona zu chatten und Fragen zu beantworten.

Überraschenderweise machte dies den Roboter nicht wieder kaputt. Normalerweise führt das Lehren eines Roboters einer neuen Persönlichkeit dazu, dass er seine alten Fähigkeiten vergisst (ein Problem namens „katastrophales Vergessen“). Aber da das Gehirn des Roboters bereits repariert und stabil war, lernte er die neue Persönlichkeit, ohne seine Fähigkeit zu verlieren, Fragen zu beantworten. Er erreichte letztlich einen Wert von 41,83 %, was sehr nah an seinem Score nach der Reparatur lag, was bewies, dass man einem Roboter eine Persönlichkeit geben kann, ohne sein Gehirn zu beschädigen.

Was wir gelernt haben (und was nicht)

Das Paper schließt mit einigen wichtigen Lektionen für jeden ab, der diese effizienten KI-Modelle bauen möchte:

1. Vertrauen Sie den Standardtests nicht: Nur weil ein Roboter auf dem Papier gesund aussieht (niedrige Perplexity), bedeutet das nicht, dass er tatsächlich seinen Job erledigen kann. Man muss testen, ob er Anweisungen befolgen kann, nicht nur Wörter vorhersagt.
2. Das „A“-Problem ist real: Wenn man die Art und Weise ändert, wie eine KI denkt, kann sie sich in einfachen Gewohnheiten wie dem ständigen Wählen der ersten Option verfangen. Dies ist eine „Interface-Verletzung“ und kein Wissensverlust.
3. Kleine Computer können Großes leisten: Man kann diese Art von komplexer Operation auf einer einzigen handelsüblichen GPU durchführen, aber man muss vorsichtig sein. Der Forscher fand einen versteckten Bug, bei dem die Mathematik des Computers (unter Verwendung eines Formats namens bf16) kleine Updates lautlos verschluckte, wodurch der Roboter glaubte, er würde lernen, während er in Wirklichkeit eingefroren war. Sie mussten zu einem anderen mathematischen Format (FP32) wechseln, um dies zu beheben.

Der Forscher veröffentlichte all seinen Code, die Gewichte und den „Unfallbericht“ über alles, was schiefgelaufen ist, damit andere aus seinen Fehlern lernen können. Er hat nicht alles gelöst – es gibt immer noch eine Lücke zwischen seinem kleinen Roboter und dem großen Lehrer-Modell – aber er hat bewiesen, dass man mit der richtigen Diagnose und ein wenig Format-Training die kaputten Teile eines KI-Gehirns reparieren kann.