A Mechanistic Analysis of In-Context Learning and Out-of-Context Hallucination
Dieses Paper schlägt ein einheitliches mechanistisches Framework vor, das sowohl In-Context-Learning als auch Out-of-Context-Halluzination als Resultate dessen erklärt, wie Rolleninformationen intern repräsentiert und aggregiert werden, wobei nachgewiesen wird, dass die erfolgreiche Einhaltung von Regeln gegenüber Halluzinationen von der Magnitude und Kohärenz der Rollenspan-Beiträge an entscheidenden Entscheidungspunkten abhängt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht vom Autor verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Große Sprachmodelle sind die Motoren hinter einer neuen Generation künstlicher Intelligenz, die in der Lage sind, einen Prompt zu lesen und auf Abruf menschenähnlichen Text zu generieren. Eine ihrer am meisten gefeierten Fähigkeiten ist das In-Context-Learning, bei dem ein Modell eine spezifische Regel aus den im Prompt bereitgestellten Beispielen ableiten und dieser treu folgen kann. Wenn ein Benutzer das Modell bittet, eine Liste von Datensätzen als JSON-Objekt zusammenzufassen, kann das Modell dieses Format erlernen und es perfekt anwenden. Doch dieselben Systeme leiden unter einem frustrierenden Fehler, der als Halluzination bekannt ist. Manchmal, wenn das Modell gebeten wird, eine Frage basierend auf bereitgestellten Belegen zu beantworten, ignoriert das Modell die Fakten direkt vor ihm und erfindet Details, die durch den Text nicht gestützt werden. Dies schafft einen rätselhaften Widerspruch: Wie kann dieselbe Maschine so gehorsam gegenüber einer Regel sein, die sie gerade erst gelernt hat, und doch so nachlässig mit den Fakten umgehen, die ihr gegeben wurden? Jahrelang haben Forscher diese beiden Verhaltensweisen separat untersucht und sie als unterschiedliche Phänomene behandelt. Doch diese Trennung hat eine Lücke in unserem Verständnis hinterlassen, warum das Modell im einen Fall erfolgreich ist und im anderen scheitert.
Ein Team von Forschern der National University of Singapore hat diese Lücke nun geschlossen, indem sie die internen Mechanismen dieser Modelle untersuchten. Sie schlagen vor, dass sowohl das erfolgreiche Befolgen von Regeln als auch das Versagen beim Einhalten von Fakten auf demselben zugrunde liegenden Prozess beruhen. Der Schlüssel zu ihrer Entdeckung liegt darin, wie das Modell die verschiedenen Teile eines Prompts verarbeitet. In jedem gegebenen Prompt fungiert ein Teil des Textes als Regel, der dem Modell vorgibt, wie es seine Antwort strukturieren soll, während ein anderer Teil des Textes als Beleg dient, der die spezifischen Fakten bereitstellt, die verwendet werden sollen. Die Forscher fanden heraus, dass das Modell den Unterschied zwischen diesen Rollen intern tatsächlich „versteht“. Es erzeugt ein spezifisches, organisiertes Aktivitätsmuster in seinem neuronalen Netzwerk, um darzustellen, ob es sich gerade eine Regel oder ein Stück Evidenz ansieht. Das bloße Vorhandensein dieser internen Repräsentation reicht jedoch nicht aus, um eine korrekte Antwort zu garantieren. Das Modell kann die Rolle des Textes erkennen, ohne dass diese Erkenntnis die endgültige Ausgabe tatsächlich steuert.
Um zu entschlüsseln, wie dies funktioniert, entwickelten die Forscher eine Methode, um den Einfluss spezifischer Teile des Prompts auf die Entscheidungen des Modells zu messen. Sie konzentrierten sich auf die „Role Span“, also den spezifischen Textabschnitt, der entweder die Regel oder die Belege enthält. Durch den Vergleich des Verhaltens des Modells, wenn dieser Text vorhanden ist gegenüber dem, wenn er durch andere Inhalte ersetzt wurde, konnten sie isolieren, wie stark dieser spezifische Text das Modell zu einer bestimmten Antwort drängte. Sie entdeckten, dass für das Modell, um einer Regel zu folgen oder Beweise korrekt zu nutzen, der Einfluss aus diesem Text stark genug sein muss und in die richtige Richtung zeigen muss. Es reicht nicht aus, dass das Modell die Regel nur „sieht“; das mathematische Signal von dieser Regel muss groß genug sein, um andere konkurrierende Signale im Gehirn des Modells zu überwinden, und es muss in jedem Schritt des Generierungsprozesses mit der Richtung der korrekten Antwort übereinstimmen.
Die Studie zeigt, dass der Grund, warum Modelle Regeln so gut befolgen, aber oft bei Fakten versagen, darin liegt, wo und wie dieser Einfluss angewendet wird. Wenn ein Modell einer Regel folgt, wie etwa der Formatierung einer Antwort als Liste, muss der Einfluss vom Regeltext über viele verschiedene Entscheidungen hinweg aufrechterhalten werden. Das Modell muss wiederholt die richtige Struktur wählen, und das Signal der Regel muss in jedem dieser Schritte stark genug bleiben, um das Modell auf Kurs zu halten. Im Gegensatz dazu ist der kritische Moment, wenn ein Modell Beweise verwenden soll, viel spezifischer. Der Einfluss des Belegtextes muss im exakten Moment, in dem das Modell sich für einen spezifischen Fakt entscheidet, kraftvoll genug sein. Wenn das Signal von den Belegen in diesem präzisen Augenblick zu schwach ist oder durch andere Signale ausgehebelt wird, driftet das Modell ab und erfindet einen Fakt, anstatt den bereitgestellten zu verwenden.
Die Forscher testeten diese Theorie, indem sie direkt in die Berechnungen des Modells eingriffen. Sie fanden heraus, dass das Modell häufig das Format vergaß, das es befolgen sollte, wenn sie das Signal, das vom Regeltext kommt, künstlich abschwächten. Ähnlich verhielt es sich, als sie den Einfluss des Belegtextes reduzierten: Das Modell hörte auf, die bereitgestellten Fakten zu nutzen, und begann zu halluzinieren. Vielleicht aufschlussreichster war, dass sie zeigten, dass dieses Versagen nicht immer permanent ist. In Fällen, in denen das Modell anfangs versagte, die Belege zu nutzen, konnten die Forscher den Fehler rückgängig machen, indem sie das Signal vom Belegtext künstlich verstärkten. Als die Unterstützung für den korrekten Fakt stark genug gemacht wurde, um das anfängliche Zögern des Modells zu überwinden, wechselte es erfolgreich zur richtigen Antwort. Dies deutet darauf hin, dass das Modell die korrekten Informationen oft intern verfügbar hat, aber nicht danach handelt, weil das Signal nicht stark genug ist, um den internen Wettbewerb im Moment der Entscheidung zu gewinnen.
Diese Arbeit bietet eine einheitliche Erklärung für zwei scheinbar gegensätzliche Verhaltensweisen. Sie legt nahe, dass der Unterschied zwischen einem Modell, das Anweisungen perfekt befolgt, und einem, das bei Fakten lügt, nicht ein Unterschied darin ist, wie es den Prompt versteht, sondern ein Unterschied darin, wie der Einfluss dieses Prompts während des Generierungsprozesses aufrechterhalten wird. Für Regeln muss der Einfluss eine stetige, beständige Kraft sein, die die Struktur der Antwort leitet. Für Fakten muss der Einfluss ein scharfer, entscheidender Stoß zum exakten Zeitpunkt der Wahl eines spezifischen Wertes sein. Die Studie kommt zu dem Schluss, dass die Zuverlässigkeit eines Modells davon abhängt, ob das interne Signal aus dem Prompt stark genug ist und korrekt organisiert wird, um diese kritischen Momente der Entscheidung zu gewinnen. Durch das Verständnis dieses Mechanismus erhalten wir ein klareres Bild davon, warum diese leistungsstarken Werkzeuge manchmal wie ein perfekter Assistent funktionieren und manchmal wie ein selbstbewusster Lügner – und wie dieselbe interne Maschinerie für beide Ergebnisse verantwortlich ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.