Große Sprachmodelle sind leistungsstarke Motoren des Textes, die in der Lage sind, Geschichten zu schreiben, Fragen zu beantworten und komplexe Ideen zusammenzufassen. Sie funktionieren, indem sie das nächste Wort in einem Satz vorhersagen, eines nach dem anderen, und dabei eine Antwort aufbauen wie eine Kette von Dominosteinen, die nacheinander umfallen. Dieser Prozess birgt jedoch dasselbe verborgene Risiko: Wenn das Modell frühzeitig einen kleinen faktischen Fehler macht, kann sich dieser Fehler zu einem Schneeballeffekt aufbauen. Das Modell, das versucht, konsistent mit seinen eigenen vorherigen Worten zu bleiben, neigt dazu, den Fehler zu verstärken und eine selbstbewusste, aber völlig falsche Erzählung zu weben. Dieses Phänomen, bekannt als Halluzination, bleibt eine der hartnäckigsten Herausforderungen in der künstlichen Intelligenz. Während Forscher versucht haben, dies zu beheben, indem sie Modelle mit mehr Daten trainieren oder externe Faktenchecker hinzufügen, erfordern diese Lösungen oft enorme Rechenleistung oder verlangsamen das System erheblich. Die Kernschwierigkeit liegt darin, dass es sehr schwer ist, ein Modell zu stoppen, sobald es einmal einen falschen Weg eingeschlagen hat, ohne sein gesamtes Gehirn neu zu schreiben oder bis zum Ende warten zu müssen, um den Fehler zu korrigieren.

Ein Team von Forschern der Chung-Ang University in Südkorea hat einen neuen Weg vorgeschlagen, um dieses Problem zu handhaben, der wie eine Sicherheitsbremse in genau dem Moment fungiert, in dem das Modell denkt. Sie nennen ihre Methode DESCAPE. Anstatt darauf zu warten, dass das Modell einen Satz beendet und dann prüft, ob er wahr ist, oder zu versuchen, das Modell durch schweres Retraining zur Wahrheit zu zwingen, schauten sie in die eigene interne Mechanik des Modells, während es arbeitete. Sie entdeckten, dass während das Modell Text generiert, es einen spezifischen Satz interner Schichten gibt – einen distinkten Bereich von Verarbeitungsschritten – der sich anders „aufleuchtet“, wenn das Modell echte Fakten abruft im Vergleich dazu, wenn es Dinge erfindet. Dieses interne Signal fungiert als subtiler Indikator für die Wahrhaftigkeit, der in einem Muster steigt und fällt, das offenbart, ob das Modell auf festem Boden steht oder in die Fiktion abdriftet.

Die Forscher fanden heraus, dass dieses Signal nicht über das gesamte Modell hinweg gleichmäßig ist. Durch das systematische Blockieren von Teilen der internen Verarbeitung des Modells identifizierten sie einen spezifischen „faktisch-salienten“ Bereich von Schichten, der entscheidend für den Abruf korrekter Informationen ist. Wenn das Modell einen wahren Fakt generiert, verhält sich dieser Abschnitt des Netzwerks auf eine stetige, vorhersehbare Weise. Wenn das Modell jedoch kurz davor ist, eine Halluzination zu generieren, erzeugt derselbe Abschnitt einen plötzlichen, anomalen Ausschlag. Es ist, als ob der interne Kompass des Modells einen scharfen, warnenden Stoß gibt, kurz bevor es das Gespräch über eine Klippe steuert. Das Team erkannte, dass sie intervenieren könnten, wenn sie diesen Ausschlag in Echtzeit erkennen, um das Modell zurück zur Wahrheit zu lenken, noch bevor das falsche Wort gewählt wird.

Um dies praktikabel zu machen, trainierten die Forscher einen kleinen, leichtgewichtigen Assistenten, den sie eine „Sonde“ (Probe) nennen, um diese Warnzeichen zu erkennen. Diese Sonde muss nicht den gesamten Text erneut lesen oder einen separaten, langsamen Verifizierungsprozess durchführen. Stattdessen beobachtet sie die internen Signale des Hauptmodells, während es jedes Wort generiert. Wenn die Sonde den charakteristischen Ausschlag erkennt, der mit einer potenziellen Halluzination assoziiert ist, markiert sie diese spezifische Wortwahl als hochriskant. Das System passt dann die Bewertung der möglichen nächsten Wörter an, indem es die riskanten Wörter bestraft und die Chancen erhöht, Wörter auszuwählen, die in Fakten verwurzelt sind. Dies geschieht instantan, innerhalb derselben Bruchteile einer Sekunde, die das Modell benötigt, um an das nächste Wort zu denken.

Die Ergebnisse dieses Ansatzes sind sowohl präzise als auch effizient. In Tests über fünf verschiedene Benchmarks, die darauf ausgelegt sind, die faktische Genauigkeit zu messen, reduzierte die DESCAPE-Methode erfolgreich Halluzinationen und verbesserte die Wahrhaftigkeit des generierten Textes. In einem spezifischen Test, der sich mit ausführlichen Biografien befasste, erreichte die Methode einen Wert von 67,20 und übertraf damit andere bestehende Techniken deutlich. Vielleicht am wichtigsten ist, dass diese Verbesserung mit fast keinen Kosten für die Geschwindigkeit einherging. Das System fügte nur eine winzige Verzögerung hinzu, etwa das 1,10-fache der Geschwindigkeit eines Standardmodells ohne Unterstützung. Dies steht in starkem Kontrast zu anderen Methoden, die den Prozess um das Siebenfache oder mehr verlangsamen können, da sie erfordern, dass das Modell stoppt, nachdenkt und seine eigenen Antworten umschreibt.

Die Forscher untersuchten auch, wie diese Methode mit verschiedenen Arten von Fragen umgeht. Bei offenen Fragen, bei denen eine detaillierte, narrative Antwort erwartet wird, funktionierte die Methode außergewöhnlich gut und verhinderte, dass das Modell in falsche Geschichten abdriftet. Für kurze, spezifische Fragen waren die Ergebnisse etwas gemischter, hauptsächlich weil die Methode das Modell manchmal dazu ermutigte, etwas längere, detailliertere Antworten zu geben, als es die strengen Bewertungsregeln bevorzugten. Die Leistung verbesserte sich jedoch, wenn die Auswertung darauf ausgerichtet war, nach dem Vorhandensein korrekter Informationen statt nach einer exakten Übereinstimmung der Wörter zu suchen, was darauf hindeutet, dass die Methode tatsächlich die richtigen Fakten fand, auch wenn die Formulierung etwas anders war.

Einer der faszinierendsten Aspekte dieser Arbeit ist, dass das Modell nicht wissen muss, dass es beobachtet wird. Die Sonde operiert lautlos im Hintergrund und nutzt Signale, die bereits in der eigenen Architektur des Modells vorhanden sind. Sie greift nicht auf eine externe Datenbank von Fakten oder ein zweites Modell zur Überprüfung zurück. Stattdessen nutzt sie die Tatsache, dass das Modell selbst eine distinkte interne Signatur für Wahrheit und Unwahrheit besitzt. Durch das Lauschen auf diese Signatur kann das System genau in dem Moment intervenieren, in dem ein Fehler passieren wird, und so den Schneeball effektiv stoppen, bevor er an Schwung gewinnt.

Die Studie untersuchte auch die Grenzen dieses Ansatzes. Die Forscher merkten an, dass die spezifischen internen Schichten, die die Wahrhaftigkeit signalisieren, von einem Modell zum anderen leicht variieren, was bedeutet, dass das System für jedes neue Modell, auf das es angewendet wird, kalibriert werden muss. Sie fanden auch heraus, dass die Methode weniger effektiv darin ist, zu identifizieren, wenn das Modell die Antwort überhaupt nicht kennt, obwohl sie exzellent darin ist, Fehler abzufangen, wenn das Modell das Wissen hat, aber den falschen Pfad wählt. In diesen Fällen kann das Modell immer noch eine selbstbewusste, aber falsche Antwort generieren, da das interne Signal für „Nicht-Wissen“ nicht so distinkt ist wie das Signal für „Halluzination“.

Trotz dieser Nuancen bieten die Ergebnisse eine vielversprechende neue Richtung, um künstliche Intelligenz zuverlässiger zu machen. Indem sie Halluzinationen nicht als einen Fehler behandeln, der im Nachhinein behoben werden muss, sondern als ein detektierbares Muster innerhalb des Generierungsprozesses selbst, haben die Forscher gezeigt, dass es möglich ist, ein Modell in Echtzeit zurück zur Realität zu führen. Die Methode beweist, dass die Werkzeuge zur Vermeidung von Fehlern bereits im Modell vorhanden sind; man musste sie nur finden und abstimmen. Dieser Ansatz deutet auf eine Zukunft hin, in der große Sprachmodelle komplexe, kreative Texte generieren können, während sie gleichzeitig eine konstante, stille Kontrolle über ihre eigene Genauigkeit behalten und so sicherstellen, dass die Geschichten, die sie erzählen, in der Wahrheit verwurzelt bleiben.