Technische Samenvatting: Aandacht-gestuurde Laagselectie voor Contrastieve Decodering in Large Language Models

Probleemstelling

Large Language Models (LLM's) zijn gevoelig voor hallucinaties, waarbij ze plausibele maar feitelijk onjuiste inhoud genereren. Hoewel contrastieve decoderingsmethoden zoals DoLa (Decoding by Contrasting Layers) de feitelijkheid hebben verbeterd door de outputdistributies van "volwassen" (uiteindelijke) en "premature" (vroege) lagen binnen één enkel model te contrasteren, vertrouwen zij uitsluitend op divergenties in de output-vocabulaire-distributies (logits). Deze aanpak negeert de structurele informatie die besloten ligt in de interne self-attention mechanismen van het model, welke mogelijk gevoeligere signalen bieden voor het identificeren van de lagen waar feitelijke kennis naar voren komt.

Methodologie

De auteurs stellen drie aandacht-gestuurde strategieën voor om de premature laag in het DoLa-framework te selecteren. In plaats van output-logits te vergelijken, maken deze methoden gebruik van de self-attention distributies ($A_l$) van tussenliggende lagen om te bepalen welke laag gecontrasteerd moet worden met de uiteindelijke laag ($L$).

Voor een gegeven tokenpositie $t$ berekenen de methoden een head-gemiddelde attention-rij $a^l_t$ die de aandachtdistributie van laag $l$ over het verleden van de tokens vertegenwoordigt. De drie strategieën zijn:

1. Attention-JSD: Selecteert de laag $l^*$ die de Jensen-Shannon Divergentie (JSD) maximaliseert tussen de aandachtdistributie van die laag en de distributie van de uiteindelijke laag.
   $$l^* = \arg \max_{l \in C} \text{JSD}(a^L_t, a^l_t)$$
2. Attention-Entropy-Max: Selecteert de laag met de maximale aandacht-entropie, uitgaande van de hypothese dat breed verdeelde aandacht dient als een aanwijzing voor laagselectie.
   $$l^* = \arg \max_{l \in C} H(a^l_t)$$
3. Attention-Entropy-Min: Selecteert de laag met de minimale aandacht-entropie, uitgaande van de hypothese dat geconcentreerde aandacht duidt op een sterke afhankelijkheid van specifieke bewijstokens.
   $$l^* = \arg \min_{l \in C} H(a^l_t)$$

Deze strategieën behouden het DoLa-framework, inclusief de plausibiliteitsbeperking (het beperken van kandidaten tot tokens met een hoge waarschijnlijkheid onder de uiteindelijke laag) en het dynamische selectieproces bij elk token.

Belangrijkste Bijdragen

• Nieuwe Selectiesignalen: Het artikel introduceert het eerste systematische gebruik van structurele informatie uit self-attention mechanismen (divergentie en entropie) als dynamische signalen voor token-niveau laagselectie bij contrastieve decodering, waarmee de afhankelijkheid van output-vocabulaire-distributies wordt overstegen.
• Empirische Validatie: Uitgebreide experimenten op TruthfulQA en FACTOR benchmarks over zes modellen (LLaMA-7B/13B/33B/65B, Gemma-7B, Mistral-7B) tonen aan dat de aandacht-gestuurde strategieën de originele DoLa consistent overtreffen, met name op metrieken die meerdere correcte antwoorden evalueren (MC2 en MC3).
• Mechanistische Inzichten: Door middel van head-wise analyse identificeren de auteurs dat specifie vrije aandacht-heads (attention heads) onderscheidende signalen dragen die gunstig zijn voor de discriminatie van feitelijkheid. Ze tonen aan dat verbeteringen in feitelijkheid niet uniform zijn over alle heads; bijvoorbeeld leverde Head 6 in LLaMA-7B significant hogere MC3-scores op dan het gemiddelde van alle heads.

Experimentele Resultaten

• TruthfulQA: De voorgestelde methoden presteerden consequent beter dan de baseline en DoLa. Attention-Entropy-Min behaalde de hoogste MC2 (62,8%) en MC3 (36,5%) scores voor LLaMA-7B, wat DoLa aanzienlijk overtreft. Attention-JSD leverde de beste resultaten voor LLaMA-13B. Hoewel DoLa de hoogste MC1 (enkelvoudig correct antwoord) behield voor grotere modellen (33B/65B), presteerden de aandacht-gebaseerde methoden beter dan DoLa in MC2 en MC3, wat suggereert dat aandacht-distributies gevoeliger zijn voor het oplossen van feitelijke kennis in scenario's met meerdere antwoorden.
• FACTOR: Op het gebied van langere tekst-feitelijkheid vertoonden de methoden een prestatie die vergelijkbaar met of beter dan DoLa was. Zo behaalde Attention-Entropy-Max een nauwkeurigheid van 62,6% op de LLaMA-7B Wiki subset (tegenover 62,1% voor DoLa), en Attention-JSD bereikte 64,1% op de Gemma-7B Wiki subset (tegenover 63,3% voor DoLa).
• Laagselectiepatronen: Analyse toonde aan dat terwijl DoLa en Attention-JSD de neiging hebben om de meest ondiepe beschikbare lagen te selecteren, Attention-Entropy-Min adaptief lagen selecteert over een breder, dieper bereik (bijv. lagen 22–30 in LLaMA-7B), wat suggereert dat het meer dynamisch reageert op de input-context.
• Scoreverdeling: DoLa heeft de neiging om "scherpe" distributies te produceren met een hoge mate van vertrouwen in één enkel correct antwoord (gunstig voor MC1), terwijl de aandacht-gebaseerde methoden "vlakkere" distributies produceren die scores verspreiden over meerdere correcte opties (gunstig voor MC2/MC3).

Betekenis en Claims

Het artikel beweert dat interne aandacht-distributies een gevoeliger signaal bieden voor het oplossen van feitelijke kennis dan output-vocabulaire-distributies, met name voor taken die vereisen dat meerdere geldige antwoorden worden geïdentificeerd. Door gebruik te maken van structurele informatie uit self-attention, verbeteren de voorgestelde methoden de feitelijkheid zonder dat er extra training of externe modellen nodig zijn.

De auteurs benadrukken dat hun aanpak een praktische, tijdens de inferentie bruikbare plug-in is die de computationele overhead binnen een redelijke marge houdt. Ze concluderen dat hoewel de huidige methoden voorafgaande validatie vereisen om kandidaat-laag-buckets te selecteren, de ontdekking dat specifieke aandacht-heads (in plaats van alleen het gemiddelde) de feitelijkheid drijven, wijst op een pad voor verdere optimalisatie via context-afhankelijke head-selectie.

Beperkingen

De auteurs erkennen dat hun evaluatie momenteel beperkt is tot multiple-choice benchmarks, en dat de toepasbaarheid op vrije tekstgeneratie nog geverifieerd moet worden. Daarnaast vereist de selectie van de kandidaat-premature-laag-buckets nog steeds validatie, en is de theoretische basis waarom specifieke aandacht-heads uitblinken in feitelijke herinnering nog niet volledig verklaard.