Quantifying Logical Consistency in Transformers via Query-Key Alignment

Große Sprachmodelle sind bemerkenswert gut darin geworden, menschliche Konversationen zu imitieren, Poesie zu schreiben und komplexe Texte zusammenzufassen. Sie erreichen dies, indem sie das nächste Wort in einem Satz basierend auf riesigen Mengen an Trainingsdaten vorhersagen. Wenn sie jedoch gebeten werden, ein mehrstufiges Logikrätsel zu lösen, stolpern diese Systeme oft. Sie generieren möglicherweise eine überzeugend klingende Argumentationskette, die zu einem völlig falschen Schluss führt, oder sie lassen sich von irrelevanten Details im Prompt ablenken. Obwohl Forscher Wege gefunden haben, um durch die Aufforderung „denke Schritt für Schritt“ eine bessere Leistung aus diesen Modellen herauszukitzeln, bleibt ein grundlegendes Problem bestehen: Die Modelle selbst verfügen nicht über eine eingebaute Möglichkeit zu prüfen, ob ihre eigene Argumentation tatsächlich kohärent ist. Sie können einen logisch klingenden Pfad produzieren, ohne wirklich zu verstehen, ob die Schritte korrekt miteinander verknüpft sind.

Diese Ungewissheit schafft einen blinden Fleck in der künstlichen Intelligenz. Wir können zwar die endgültige Antwort sehen, die ein Modell gibt, aber wir können nicht ohne Weiteres die internen Signale erkennen, die darauf hindeuten, ob das Modell tatsächlich den Regeln der Logik folgt oder nur rät. Um dies zu adressieren, hat ein Team von Forschern des Skolkovo Institute of Science and Technology und anderer Institutionen einen neuen Weg entwickelt, um während des Denkprozesses in den „Verstand“ des Modells hineinzublicken. Anstatt darauf zu warten, dass das Modell seine Antwort abschließt und dann zu prüfen, ob sie richtig ist, betrachten sie die spezifischen internen Verbindungen, die das Modell herstellt, während es noch denkt. Sie fanden heraus, dass bestimmte Teile der Architektur des Modells als zuverlässige Kontrollpunkte fungieren, die signalisieren, ob ein logischer Schritt gültig ist, lange bevor das endgültige Wort ausgesprochen wird.

Die Forscher konzentrierten sich darauf, wie diese Modelle Informationen intern verarbeiten. Im Inneren eines großen Sprachmodells fließt Information durch Schichten mathematischer Operationen. Das Herzstück dieses Prozesses sind „Attention Heads“ (Aufmerksamkeitsköpfe), die wie winzige Schalter fungieren, die entscheiden, welche Teile des Inputs in jedem Moment wichtig sind, um darauf zu fokussieren. Das Team entdeckte, dass sie die Ausrichtung zwischen zwei spezifischen Signalen innerhalb dieser Köpfe messen konnten: dem Signal, das die zu prüfende Aussage repräsentiert, und dem Signal, das die potenzielle Antwort repräsentiert. Durch die Berechnung eines einfachen Scores basierend darauf, wie gut diese beiden Signale übereinstimmen, konnten sie bestimmen, ob das Modell die logische Verbindung zwischen einer Prämisse und einer Schlussfolgerung erkannte.

Um diese Idee zu testen, führten die Forscher Experimente mit einer Vielzahl von logischen Denkaufgaben durch. Sie verwendeten synthetische Datensätze, bei denen die Regeln klar und die Antworten definitiv wahr oder falsch waren, wie etwa die Bestimmung, ob eine Figur namens Polly opak ist, basierend auf einem Satz fiktiver Regeln über Rompus und Jompus. Sie testeten die Methode auch auf komplexeren Datensätzen, die reale Sprache und mehrere Schritte der Deduktion beinhalteten. In diesen Tests verglichen sie die Leistung ihrer neuen internen Scoring-Methode mit der Standardmethode des Modells zu antworten, die einfach darin besteht, die Option mit der höchsten Wahrscheinlichkeit zu wählen.

Die Ergebnisse zeigten, dass die interne Scoring-Methode wesentlich zuverlässiger war als die endgültige Vermutung des Modells. In Szenarien, in denen das Modell mit ablenkenden, irrelevanten Informationen konfrontiert wurde, geriet das Standardmodell oft in Verwirrung und gab die falsche Antwort. Die spezifischen internen Signale, die die Forscher verfolgten, blieben jedoch stabil und identifizierten den validen logischen Pfad korrekt, selbst wenn die endgültige Ausgabe des Modells falsch war. Dies deutet darauf hin, dass das Modell tief in seinen Schichten tatsächlich über die korrekte Argumentationsfähigkeit verfügt, diese Fähigkeit jedoch manchmal durch spätere Verarbeitungsschritte oder durch das Rauschen des ablenkenden Kontextes verschleiert werden kann.

Das Team testete diesen Ansatz an Modellen, die von sehr kleinen mit 1,5 Milliarden Parametern bis hin zu massiven mit 70 Milliarden Parametern reichten. Über alle Modelle hinweg fanden sie, dass spezifische Attention Heads konsistent als „Verifikationsanker“ fungierten. Diese Köpfe konnten zwischen validen und invaliden Inferenzen mit hoher Genauigkeit unterscheiden, unabhängig davon, wie viele Schritte die Argumentation erforderte oder wie viele Ablenkungen vorhanden waren. In einigen Fällen war der interne Score über 90 Prozent der Zeit korrekt, während die endgültige Antwort des Modells zu weniger als 60 Prozent korrekt war. Dies zeigt, dass das Modell intern oft die richtige Antwort „weiß“, sie aber in seiner endgültigen Ausgabe nicht korrekt zum Ausdruck bringt.

Einer der bedeutendsten Funde war, dass diese Methode keine Änderung oder ein erneutes Training des Modells erfordert. Die Forscher konnten das Modell einfach einmal ausführen, die internen Signale betrachten und einen Score ableiten, der oft genauer war als die eigene Vorhersage des Modells. Dies bietet eine leichtgewichtige und effiziente Möglichkeit, die logische Konsistenz zu bewerten, ohne die hohen Rechenkosten früherer Methoden, die oft darauf basierten, Teile des Modells zu deaktivieren, um zu sehen, was passiert, zu verursachen. Die Studie legt nahe, dass wir durch die Identifizierung dieser spezifischen internen Komponenten ein klareres Fenster dazu erhalten, wie künstliche Intelligenz komplexe Beziehungen verarbeitet, was uns der Entwicklung von Systemen näher bringt, die nicht nur sprachlich flüssig, sondern auch zuverlässig in ihrem Denken sind.

Die Forscher merkten an, dass ihre Methode am besten funktioniert, wenn eine ausreichende Menge an Daten vorhanden ist, um zu kalibrieren, welchen spezifischen internen Signalen für eine bestimmte Aufgabe zu vertrauen ist. Sie räumten auch ein, dass dieser Ansatz nicht bedeutet, dass diese spezifischen Teile die einzigen sind, die für Logik verantwortlich sind, noch dass er jedes Problem mit dem Denken in der künstlichen Intelligenz löst. Die Arbeit bietet jedoch eine konkrete, messbare Möglichkeit zu sehen, wo die Logik Bestand hat und wo sie zusammenbricht, und bietet somit ein neues Werkzeug für den Bau transparenterer und vertrauenswürdigerer Sprachmodelle. Durch die Fokussierung auf die Ausrichtung interner Signale statt nur auf die endgültige Ausgabe zeigt die Studie, dass die Kapazität für fundiertes Denken oft innerhalb des Modells existiert und nur darauf wartet, richtig gelesen zu werden.