💬 NLP

Attention-Guided Layer Selection for Contrastive Decoding in Large Language Models

Dieses Paper schlägt drei aufmerksamkeitsgesteuerte Schichtauswahlstrategien (Attention-JSD, Attention-Entropy-Max und Attention-Entropy-Min) vor, die interne Self-Attention-Mechanismen nutzen, um die Faktizität von Large Language Models zu verbessern, wobei es konsistente Leistungssteigerungen gegenüber der ursprünglichen DoLa-Methode auf TruthfulQA-Benchmarks demonstriert.

Ursprüngliche Autoren: Yusuke Sakai, Natthawut Kertkeidkachorn, Kiyoaki Shirai

Veröffentlicht 2026-07-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yusuke Sakai, Natthawut Kertkeidkachorn, Kiyoaki Shirai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sprechen mit einem superintelligenten Roboter, der fast jedes Buch im Internet gelesen hat. Er kann Gedichte schreiben, mathematische Probleme lösen und Witze erzählen. Aber manchmal wird dieser Roboter ein wenig zu selbstbewusst und fängt an, Dinge zu erfinden. Er könnte Ihnen erzählen, dass der Mond aus grünem Käse besteht oder dass eine berühmte historische Persönlichkeit das Smartphone erfunden hat. In der Welt der künstlichen Intelligenz nennt man das „Halluzination“. Das ist ein großes Problem, denn wenn wir diese Roboter für reale Aufgaben wie das Beantworten medizinischer Fragen oder das Schreiben von Nachrichten nutzen wollen, müssen sie wahrheitsgetreu sein und nicht nur kreativ.

Um dies zu beheben, versuchen Wissenschaftler, den Robotern beizubringen, ihre eigene Arbeit zu überprüfen, während sie nachdenken. Eine beliebte Methode wird „Contrastive Decoding“ genannt. Stellen Sie sich das wie eine interne Debatte des Roboters vor. Der Roboter hat viele Schichten des „Nachdenkens“ in sich, fast wie einen Stapel Pfannkuchen. Einige Schichten sind „unreif“ (sie denken schnell und oberflächlich) und einige sind „reif“ (sie denken tiefgründig und sorgfältig). Die alte Methode, die eigene Arbeit zu überprüfen, bestand darin, die flachen Schichten mit den tiefen Schichten zu vergleichen. Wenn die flache Schicht zu selbstbewusst bezüglich einer falschen Antwort war, ignorierte der Roboter sie. Aber diese Arbeit stellt eine neue Frage: Ist das Betrachten der Wörter, die der Roboter in Betracht zieht, der einzige Weg, um zu wissen, ob er die Wahrheit sagt? Oder können wir darauf schauen, wie der Robbot seiner eigenen Gedanken Aufmerksamkeit schenkt, um die Wahrheit zu finden?

Diese Arbeit mit dem Titel „Attention-Guided Layer Selection for Contrastive Decoding in Large Language Models“ schlägt eine kluge neue Art vor, diesen Robotern zu helfen, die Wahrheit zu sagen. Die Autoren, vom Japan Advanced Institute of Science and Technology, schlagen vor, dass wir, anstatt nur die finalen Wörter zu vergleichen, die der Roboter sagen möchte, auf die „Aufmerksamkeit“ (Attention) des Roboters schauen sollten. Stellen Sie sich Aufmerksamkeit wie einen Scheinwerfer vor, den der Roboter auf verschiedene Teile seines Gedächtnisses richtet. Die Forscher fanden heraus, dass sie, indem sie beobachteten, wie sich dieser Scheinwerfer bewegt, die beste „Denkschicht“ auswählen konnten, um Fakten zu prüfen.

Sie testeten drei neue Strategien:

Attention-JSD: Dies sucht nach der Schicht, in der der „Scheinwerfer“ des Roboters am stärksten von seinem finalen, reifen Gedanken abweicht. Es ist, als würde man die Schicht finden, die das Problem aus einem völlig anderen Blickwinkel betrachtet.
Attention-Entropy-Max: Dies wählt die Schicht, in der der Scheinwerfer sehr weit gestreut ist und viele Dinge gleichzeitig betrachtet.
Attention-Entropy-Min: Dies wählt die Schicht, in der der Scheinwerfer super fokussiert ist und sich ganz eng auf nur wenige spezifische Beweise konzentriert.

Als sie diese Ideen auf einen berühmten Quiz namens TruthfulQA testeten, der darauf ausgelegt ist, Roboter mit gängigen Mythen und Missverständnissen in die Irre zu führen, waren die Ergebnisse aufregend. Die neuen Methoden, insbesondere diejenigen, die danach sahen, wie fokussiert oder weit gestreut die Aufmerksamkeit war, machten sich besser als die alte Methode. Sie waren besonders gut darin, mehrere richtige Antworten zu finden, nicht nur eine. Zum Beispiel erreichte die „Attention-Entropy-Min“-Strategie (der super-fokussierte Scheinwerfer) beim LLaMA-7B-Modell eine Punktzahl von 62,8 % beim Test mit mehreren Antworten und schlug damit den bisherigen Bestwert von 56,5 %.

Die Autoren blickten auch in das Gehirn des Roboters, um zu sehen, warum das funktionierte. Sie entdeckten, dass nicht alle Teile der Aufmerksamkeit des Roboters gleichwertig sind. Einige spezifische „Attention Heads“ (winzige Unterprozessoren innerhalb des Roboters) scheinen ein stärkeres Signal für Wahrhaftigkeit zu tragen als andere. Tatsächlich fanden sie heraus, dass die Verwendung eines einzigen spezifischen Attention Heads (Head 6) den Roboter manchmal sogar intelligenter machen konnte, als wenn man alle zusammen verwendete. Dies deutet darauf hin, dass die internen „Scheinwerfer-Muster“ des Roboters ein sehr empfindliches Signal für die Faktenprüfung sind, vielleicht sogar mehr, als nur auf die Liste der Wörter zu schauen, die er als Nächstes sagen könnte.

Die Arbeit weist jedoch vorsichtig darauf hin, dass dies kein Zauberstab ist, der alles löst. Die Forscher schlagen vor, dass wir zwar sehen müssen, wie diese Methoden mit freier Textgestaltung umgehen, bei der der Roboter lange Geschichten oder Essays von Grund auf neu schreiben muss, aber sie weisen auch darauf hin, dass sie noch zusätzliche Tests durchführen müssen, um genau zu entscheiden, welche Schichten für verschiedene Robotergrößen zu verwenden sind, und dass sie noch nicht vollständig verstehen, warum bestimmte Attention Heads so gut darin sind, Fakten zu erkennen. Aber für den Moment deutet diese Arbeit darauf an, dass wir, wenn wir wollen, dass unsere KI ehrlicher wird, aufhören sollten, nur darauf zu hören, was sie sagt, und statfangen sollten, zu beobachten, wie sie aufmerksam ist.

Technisches Resümee: Aufmerksamkeitsgestützte Schichtselektion für kontrastives Dekodieren in Large Language Models

Problemstellung

Large Language Models (LLMs) sind anfällig für Halluzinationen, indem sie plausible, aber faktisch falsche Inhalte generieren. Während kontrastive Dekodierungsmethoden wie DoLa (Decoding by Contrasting Layers) die Faktizität durch den Kontrast der Ausgabeverteilungen von „reifen“ (finalen) und „unreifen“ (frühen) Schichten innerhalb eines einzelnen Modells verbessert haben, verlassen sie sich ausschließlich auf Divergenzen in den Ausgabevokabular-Verteilungen (Logits). Dieser Ansatz ignoriert die strukturellen Informationen, die in den internen Self-Attention-Mechanismen des Modells eingebettet sind, welche möglicherweise sensitivere Signale zur Identifizierung der Schichten liefern könnten, in denen faktisches Wissen hervortritt.

Methodik

Die Autoren schlagen drei aufmerksamkeitsgestützte Strategien vor, um die unreife Schicht im DoLa-Framework auszuwählen. Anstatt die Ausgabelogits zu vergleichen, nutzen diese Methoden die Self-Attention-Verteilungen ( $A_l$ ) zwischenerlegener Schichten, um zu bestimmen, welche Schicht mit der finalen Schicht ( $L$ ) kontrastiert werden soll.

Für eine Token-Position $t$ berechnen die Methoden eine kopf-gemittelte Attention-Zeile $a^l_t$ , die die Attention-Verteilung der Schicht $l$ über vergangene Token darstellt. Die drei Strategien sind:

Attention-JSD: Wählt die Schicht $l^*$ , die die Jensen-Shannon-Divergenz (JSD) zwischen ihrer Attention-Verteilung und der finalen Verteilung maximiert.
$l^* = \arg \max_{l \in C} \text{JSD}(a^L_t, a^l_t)$
Attention-Entropy-Max: Wählt die Schicht mit der maximalen Attention-Entropie, unter der Hypothese, dass eine breit verteilte Attention als Signal für die Schichtselektion dient.
$l^* = \arg \max_{l \in C} H(a^l_t)$
Attention-Entropy-Min: Wählt die Schicht mit der minimalen Attention-Entropie, unter der Hypothese, dass konzentrierte Attention eine starke Abhängigkeit von spezifischen Evidenz-Token widerspiegelt.
$l^* = \arg \min_{l \in C} H(a^l_t)$

Diese Strategien bewahren das DoLa-Framework, einschließlich der Plausibilitätsbeschränkung (Einschränkung der Kandidaten auf hochwahrscheinliche Token unter der finalen Schicht) und des dynamischen Selektionsprozesses bei jedem Token.

Zentrale Beiträge

Neuartige Selektionssignale: Die Arbeit führt die erste systematische Verwendung von strukturellen Informationen aus Self-Attention-Mechanismen (Divergenz und Entropie) als dynamische Signale für die Token-Ebene der Schichtselektion in der kontrastiven Dekodierung ein und bewegt sich damit über die bloße Abhängigkeit von Ausgabevokabular-Verteilungen hinaus.
Empirische Validierung: Umfangreiche Experimente auf den TruthfulQA- und FACTOR-Benchmarks über sechs Modelle hinweg (LLaMA-7B/13B/33B/65B, Gemma-7B, Mistral-7B) zeigen, dass aufmerksamkeitsgestützte Strategien das ursprüngliche DoLa konsistent übertreffen, insbesondere bei Metriken, die mehrere korrekte Antworten bewerten (MC2 und MC3).
Mechanistische Erkenntnisse: Durch eine Kopf-weise Analyse identifizieren die Autoren, dass spezifische Attention-Heads distinkte Signale tragen, die für die Diskriminierung der Faktizität förderlich sind. Sie zeigen, dass die Verbesserungen der Faktizität nicht über alle Köpfe hinweg gleichmäßig sind; beispielsweise lieferte Head 6 in LLaMA-7B signifikant höhere MC3-Scores als der Durchschnitt aller Köpfe.

Experimentelle Ergebnisse

TruthfulQA: Die vorgeschlagenen Methoden übertrafen die Baseline und DoLa konsistent. Attention-Entropy-Min erreichte die höchsten MC2 (62,8 %) und MC3 (36,5 %) Scores für LLaMA-7B und übertraf damit DoLa deutlich. Attention-JSD lieferte die besten Ergebnisse für LLaMA-13B. Während DoLa bei größeren Modellen (33B/65B) den höchsten MC1-Wert (einzige korrekte Antwort) beibehielt, übertrafen die aufmerksamkeitsbasierten Methoden DoLa in MC2 und MC3, was darauf hindeutet, dass Attention-Verteilungen sensitiver sind, um faktisches Wissen in Szenarien mit mehreren Antworten aufzulösen.
FACTOR: Bei der Faktizität in Langform-Texten zeigten die Methoden eine vergleichbare oder bessere Leistung als DoLa. Beispielsweise erreichte Attention-Entropy-Max eine Genauigkeit von 62,6 % im LLaMA-7B Wiki-Subset (gegenüber 62,1 % bei DoLa), und Attention-JSD erreichte 64,1 % im Gemma-7B Wiki-Subset (gegenüber 63,3 % bei DoLa).
Schichtselektionsmuster: Die Analyse ergab, dass DoLa und Attention-JSD dazu neigen, die flachsten verfügbaren Schichten zu wählen, während Attention-Entropy-Min adaptiv Schichten über einen breiteren, tieferen Bereich auswählt (z. B. Schichten 22–30 in LLaMA-7B), was darauf hindeutet, dass es dynamischer auf den Input-Kontext reagiert.
Score-Verteilung: DoLa neigt dazu, „scharfe“ Verteilungen mit hoher Konfidenz in einer einzigen korrekten Antwort zu erzeugen (vorteilhaft für MC1), wohingegen aufmerksamkeitsbasierte Methoden „flachere“ Verteilungen erzeugen, die Scores über mehrere korrekte Optionen verteilen (vorteilhaft für MC2/MC3).

Bedeutung und Behauptungen

Die Arbeit behauptet, dass interne Attention-Verteilungen ein sensitiveres Signal zur Auflösung von faktischem Wissen liefern als Ausgabevokabular-Verteilungen, insbesondere für Aufgaben, die die Identifizierung mehrerer valider Antworten erfordern. Durch die Nutzung struktureller Informationen aus der Self-Attention verbessern die vorgeschlagenen Methoden die Faktizität, ohne zusätzliches Training oder externe Modelle zu benötigen.

Die Autoren betonen, dass ihr Ansatz ein praktisches Plug-in zur Inferenzzeit ist, das den Rechenaufwand in einem angemessenen Rahmen hält. Sie kommen zu dem Schluss, dass, obwohl die aktuellen Methoden eine Vorab-Validierung zur Auswahl der Kandidaten-Schicht-Buckets erfordern, die Entdeckung, dass spezifische Attention-Heads (statt nur der Durchschnitt) die Faktizität vorantreiben, einen Weg für weitere Optimierungen durch kontextabhängige Head-Selektion aufzeigt.

Limitationen

Die Autoren räumen ein, dass ihre Evaluierung derzeit auf Multiple-Choice-Benchmarks beschränkt ist und die Anwendbarkeit auf die freie Textgenerierung noch verifiziert werden muss. Zudem erfordert die Auswahl der Kandidaten-Schicht-Buckets noch eine Validierung, und die theoretische Basis dafür, warum spezifische Attention-Heads besonders gut bei der faktischen Rekonstruktion abschneiden, ist noch nicht vollständig geklärt.