Attention Sinks as Internal Signals for Hallucination Detection in Large Language Models

Stellen Sie sich vor, Sie lesen eine Geschichte, die von einem sehr selbstbewussten, unglaublich schnellen Roboter geschrieben wurde. Dieser Roboter hat fast jedes Buch gelesen, das jemals geschrieben wurde, und kann Fragen zu fast allem beantworten, von antiker Geschichte bis hin zur Quantenphysik. Aber manchmal, wenn der Roboter stecken bleibt oder die Antwort nicht weiß, sagt er nicht: „Ich weiß es nicht.“ Stattdessen spricht er mit einer glatten, fließenden Stimme weiter und erfindet Fakten, die perfekt klingen, aber völlig ausgedacht sind. In der Welt der Informatik nennt man das eine „Halluzination“. Dies ist ein großes Problem, denn wenn wir diesen Robotern bei wichtigen Aufgaben wie medizinischer Beratung oder rechtlichen Entscheidungen vertrauen, können ihre selbstbewussten Lügen echte Probleme verursachen.

Um zu verstehen, wie man diese Lügen entlarven kann, müssen wir zuerst in das Gehirn des Roboters hineinspähen. Moderne Roboter wie dieser verwenden ein System namens „Transformer“, das funktioniert, indem es auf verschiedene Teile eines Satzes achtet, um zu entscheiden, was als Nächstes kommt. Denken Sie an eine Gruppe von Detektiven (genannt „Attention Heads“), die einen Tatort (den Satz) untersuchen. Normalerweise konzentrieren sie sich auf die wichtigsten Hinweise. Forscher haben jedoch kürzlich etwas Seltsames entdeckt: Manchmal werden diese Detektive von ein paar spezifischen, langweiligen Hinweisen besessen – wie dem allerersten Wort des Satzes oder einem Leerzeichen – und ignorieren den Rest der Beweise. Sie nennen diese Besessenheiten „Attention Sinks“. Es ist, als würden die Detektive so intensiv auf ein einzelnes Staubkorn starren, dass sie die eigentliche Tatwaffe übersehen.

Dieses Paper mit dem Titel „Attention Sinks as Internal Signals for Hallucination Detection in Large Language Models“ stellt eine einfache, aber brillante Frage: Können wir diese seltsamen „Attention Sinks“ nutzen, um den Roboter beim Lügen zu erwischen? Die Autoren, Jakub Binkowski und sein Team, schlagen eine neue Methode namens SinkProbe vor. Sie vermuten, dass das interne Aufmerksamkeitssystem des Roboters „verstopft“ oder „kollabiert“, wenn er anfängt zu halluzinieren, und sich auf diese unwichtigen Token konzentriert, wodurch die Verbindung zu den echten Fakten verloren geht. Indem sie messen, wie viel Aufmerksamkeit der Roboter auf diese „Sinks“ verschwendet, können sie vorhersagen, ob der Roboter kurz davor steht, Dinge zu erfinden.

Das neue Werkzeug der Detektive: SinkProbe

Die Autoren haben nicht nur geraten; sie haben ein Werkzeug gebaut, um diese Idee zu testen. Sie untersuchten die Attention-Maps mehrerer populärer Large Language Models (LLMs) wie Llama und Mistral, während diese Fragen auf verschiedenen schwierigen Datensätzen beantworteten, einschließlich Mathematikproblemen und allgemeinen Wissensquizzen.

So funktioniert ihre Methode, unter Verwendung einer einfachen Analogie: Stellen Sie sich das Gehirn des Roboters als eine belebte Autobahn mit vielen Fahrspuren (Layern) und vielen Autos (Tokens) vor. Normalerweise verteilen sich die Autos und schauen auf verschiedene Teile der Straße. Aber wenn der Roboter kurz vor einer Halluzination steht, staut sich der Verkehr. Ein paar spezifische Autos (die „Sinks“) bleiben in einem massiven Stau stecken, und fast alle anderen Autos auf der Autobahn beginnen, sie anzustarren, anstatt auf die Straße vor ihnen zu achten.

Die Autoren entwickelten einen Wert namens Sink Score, um genau zu messen, wie viel Verkehr an diesen spezifischen Stellen staut. Sie fanden heraus, dass die Sink-Scores steigen, wenn ein Roboter lügt. Aber es gibt eine Wendung: Nicht alle Staus sind gleich. Die Autoren entdeckten, dass die „Sinks“, die wirklich wichtig sind, um Lügen zu entlarven, diejenigen sind, die nicht nur viel Aufmerksamkeit erhalten, sondern auch eine schwere Last (einen großen „Value Vector“) tragen. Es ist, als würde man einen Verkehrsstau finden, in dem die feststeckenden Autos auch noch schwere Kisten transportieren; dann weiß man, dass mit dem Informationsfluss etwas ernsthaft nicht stimmt.

Was sie fanden (und was sie nicht fanden)

Die Ergebnisse waren sehr vielversprechend. Als sie ein einfaches Computerprogramm (einen logistischen Regressionsklassifikator) trainierten, um auf diese Sink-Scores zu achten, wurde es sehr gut darin, Halluzinationen zu erkennen. Tatsächlich war ihre neue Methode, SinkProbe, bei den meisten der von ihnen durchgeführten Tests besser als andere bestehende Methoden, die versuchten, Lügen durch die Betrachtung von Attention-Mustern auf andere Weise zu erkennen.

Zum Beispiel erreichte SinkProbe auf einem Datensatz namens GSM8K (der Mathematikprobleme enthält) einen Wert von 0,845 und schlug damit die bisher beste Methode, die 0,835 erreichte. Auf TruthfulQA, einem Datensatz, der darauf ausgelegt ist, Modelle zum Lügen zu verleiten, erreichte SinkProbe 0,785 und lag damit ebenfalls an der Spitze. Die Autoren merkten an, dass diese Methode bei Modellen unterschiedlicher Größen gut funktioniert, von kleineren 3-Milliarden-Parameter-Modellen bis hin zu größeren 12-Milliarden-Parameter-Modellen.

Das Paper ist jedoch vorsichtig damit, zu behaupten, dass sie das Problem der Halluzinationen „gelöst“ haben. Sie stellen explizit klar, dass ihre Methode Zugriff auf die internen Attention-Gewichte des Modells erfordert, was bedeutet, dass sie nur bei Open-Source-Modellen funktioniert, bei denen man die Verdrahtung des Gehirns sehen kann, nicht aber bei geschlossenen, geheimen Modellen. Sie stellen auch klar, dass sie zwar eine starke Verbindung zwischen Attention Sinks und Halluzinationen gefunden haben, aber nicht bewiesen haben, dass die Sinks die Lügen verursachen. Es ist, als würde man feststellen, dass der Motor eines Autos überhitzt, wenn es einen Unfall hat; die Hitze ist ein klares Signal für Probleme, aber die Hitze selbst ist vielleicht nicht der Grund, warum das Auto den Unfall hatte.

Warum das wichtig ist

Die Schönheit dieser Arbeit liegt darin, dass sie mehrere verschiedene Ideen vereint. Die Autoren zeigten, dass andere Methoden, die Menschen ausprobiert haben – wie das Betrachten der „Form“ des Attention-Graphen oder der Vergleich dessen, wie viel Aufmerksamkeit auf die Frage im Vergleich zur Antwort gelenkt wird – eigentlich nur verschiedene Wege sind, dasselbe „Sink“-Phänomen zu betrachten. Es ist, als würde man erkennen, dass drei verschiedene Personen versuchen, einen Elefanten zu beschreiben, indem sie sein Bein, sein Ohr und seinen Schwanz berühren; sie alle fühlen dasselbe Tier, nur aus verschiedenen Blickwinkeln.

Durch die Konzentration auf diese „Attention Sinks“ bieten die Autoren einen einfacheren, direkteren Weg, den internen Gedanken des Roboters zuzuhören. Sie fanden heraus, dass die „Lügen“ des Roboters oft durch eine spezifische Art von internem Verkehrsstau signalisiert werden, bei dem das Gehirn aufhört, neue Informationen zu verarbeiten, und stattdin beginnt, alte, unwichtige Signale wiederzuverwenden. Während dies zwar nicht die Neigung des Roboters behebt zu lügen, bietet es uns ein sehr effektives Alarmsystem, um zu wissen, wann der Roboter beginnt, in Fantasien abzudriften.

Kurz gesagt legt das Paper nahe: Wenn Sie wissen wollen, ob eine superintelligente KI die Wahrheit sagt, sollten Sie nicht nur darauf hören, was sie sagt. Sie sollten auch beobachten, wohin sie schaut. Wenn sie zu intensiv auf die falschen Dinge starrt, erfindet sie wahrscheinlich Dinge dazu.