Technische Samenvatting: Faithful-Patchscopes

1. Probleemstelling

Large Language Models (LLMs) hebben het vermogen getoond om hun eigen interne verborgen representaties te interpreteren via het Patchscopes-framework (Ghandeharioun et al., 2024). Dit framework decodeert verborgen toestanden naar menselijk leesbare verklaringen door een bronrepresentatie in een doelprompt te "patchen". Echter, dit paper identificeert een kritieke beperking: systematische ongetrouwelijkheid in deze verklaringen.

De auteurs observeren dat LLM's vaak vertrouwen op inherente linguïstische patronen (empirische priors) in plaats van op de contextuele informatie die tijdens het decodeerproces in de verborgen representaties is gecodeerd. Bijvoorbeeld, als een verborgen representatie het attribuut "paars" codeert voor "broccoli" (in tegenstelling tot de gebruikelijke associatie van broccoli met "groen"), negeert het model vaak het gecodeerde "paars" en genereert het "groen" in de verklaring. Dit gedrag wordt gedreven door modelbias die wordt geïnduceerd door ongebalanceerde linguïstische patronen in de trainingsdata, waarbij hoogfrequente associaties laagfrequente contextuele attributen overstemmen.

Het paper betoogt dat bestaande debiasing-methoden niet geschikt zijn voor Patchscopes:

• Supervised Fine-Tuning (SFT) vereist dure geannoteerde datasets en verandert globaal de modelparameters, waardoor de oorspronkelijke verborgen representaties die Patchscopes juist probeert uit te leggen, worden gewijzigd.
• Prompt-gebaseerde methoden zijn instabiel en zeer gevoelig voor prompt-ontwerp.
• Steering vector interventies gaan ervan uit dat bias bestaat in goed gedefinieerde, lineair scheidbare richtingen, wat moeilijk betrouwbaar te schatten is.

2. Methodologie

2.1. Dataset en Analyse

Om dit probleem systematisch te bestudend, hebben de auteurs een dataset samengesteld die vier taken beslaat: Kleur, Geslacht, Cultuur en Leeftijd.

• Biased Subset (Bevooroordeelde subset): Bevat zelfstandig naamwoord-attribuut paren waarbij het model een sterke voorkeur vertoont voor een primair attribuut ($a_{pri}$) op basis van linguïstische frequentie (bijv. broccoli $\rightarrow$ groen), terwijl een secundair attribuut ($a_{sec}$) contextueel wordt meegegeven (bijv. broccoli $\rightarrow$ paars).
• Non-biased Subset (Niet-bevooroordeelde subset): Bevat paren waar geen sterke linguïstische voorkeur bestaat.

Bevindingen:

• Causaal verband: Logistische regressieanalyse bevestigt dat ongebalanceerde linguïstische patronen (frequentiekloof tussen attributen) een betekenende determinant van modelbias zijn. Een toename van één standaarddeviatie in het frequentieverschil vergroot de kans op bias met een factor ~9,3.
• Daling in getrouwheid: Op de bevooroordeelde subset neemt de getrouwheid van vanilla Patchscopes (gemeten via de Show Rate, de ratio van correcte attribuutgeneratie) af met gemiddeld 18,84% vergeleken met de niet-bevooroordeelde subset.

2.2. Lokaliseren van Bias-gevoelige Lagen

De auteurs stellen een methode voor om de specifieke lagen te identificeren waar bias wordt gecodeerd en begint invloed uit te oefenen op de downstream berekening. Ze introduceren twee metrieken:

1. Logit Difference (LD): Meet het verschil in logits tussen het context-gealigneerde attribuut en het bevooroordeelde attribuut in elke laag met behulp van een logit-lens benadering.
2. Gradient Similarity Alignment (GSA): Meet de uitlijning tussen de output-gradiënt en de attribuutrichting om te bepalen of het model vertrouwt op bevooroordeelde of contextuele informatie.

Deze metrieken worden gecombineerd in een laag-selectiescore ($l^*$) om de optimale laag voor interventie te identificeren. De auteurs vonden dat bias niet uniform verdeeld is maar verschijnt in intermediaire lagen.

2.3. Voorgestelde Oplossing: BALOR

Het paper introduceert Bias Alignment through Logit Recalibration (BALOR), een interventie tijdens het decoderen die bias mitigeert zonder de modelparameters te wijzigen.

Kernmechanisme:
BALOR maakt gebruik van een contrastief prompt-paar:

• Target Prompt ($T$): Bevat de gepatchte verborgen representatie (die het contextuele attribuut codeert).
• Contrastive Prompt ($T^*$): Vervangt de placeholder door het oorspronkelijke token, dat geen contextuele informatie bevat, en dus alleen de empirische bias/priors van het model reflecteert.

Logit Recalibratie:
De methode trekt de geschaalde logits van de contrastieve prompt af van de logits van de target prompt voordat de softmax-functie wordt toegepast:
$$p_{balor}(y | T) = \sigma \left[ (1 + \alpha) l_\theta(y | T) - \alpha l_\theta(y | T^*) \right]$$
Waar:

• $l_\theta(y | T)$ en $l_\theta(y | T^*)$ de pre-softmax logits zijn.
• $\alpha$ een hyperparameter is die het amplificatieniveau regelt.

Theoretische Garantie:
Theorem 4.1 bewijst dat in de log-odds ruimte, indien een token meer wordt ondersteund door het gepatchte bewijs dan door de contrastieve prior, BALOR de relatieve voorkeur ervan monotoon verhoogt naarmate $\alpha$ toeneemt. Dit isoleert effectief het bias-component en ampliciteert de contextuele informatie.

Modi:

• Shared (Mode S): De gerecalibreerde distributie wordt gebruikt om tokens te samplen voor beide prompts, waardoor de sequenties gesynchroniseerd blijven.
• Divided (Mode D): Recalibratie wordt alleen toegepast op de target prompt; de contrastieve prompt decodeert met de oorspronkelijke logits.

3. Belangrijkste Bijdragen

1. Dataset en Analyse: Ontwierp een dataset om Patchscopes te evalueren onder bevooroordeelde condities, waarmee werd aangetoond dat modelbias de getrouwheid van verklaringen fundamenteel beperkt (wat een afname van 11,84% tot 28,47% in prestaties veroorzaakt).
2. BALOR: Introduceerde een logit-recalibratie decoding methode die bias tijdens de inferentiefase mitigeert door gepatchte representaties te contrasteren met empirische priors.
3. Empirische Validatie: Voerde uitgebreide experimenten uit over vier moderne LLM's (Llama2-7b, Llama3.2-1b, Llama3-8b, Qwen3-4b), waarbij werd aangetoond dat BALOR consistent beter presteert dan de baselines.

4. Experimentele Resultaten

Experimenten werden uitgevoerd onder zero-shot en few-shot settings over de vier taken.

• Prestaties: BALOR (specifiek Mode S) presteerde consequent beter dan alle baselines, inclusief Vanilla Patchscopes, prompt-guidance methoden (Closed-Book, Internal-Evidence, Data-Bound), SFT, en FairSteer.
• Verbetering: BALOR behaalde tot wel een relatieve prestatieverbetering van 33% in Show Rate (SR) vergeleken met de vanilla baseline.
• Stabiliteit: Mode S vertoonde een hoge stabiliteit over verschillende hyperparameters ($\alpha$) en sampling temperaturen. Mode D vertoonde meer variabiliteit en incidentele instabiliteit door sequentie-divergentie tussen de prompts.
• Vergelijking:
  • Prompt-gebaseerde baselines waren instabiel en presteerden vaak slechter dan de vanilla baseline.
  • SFT-methoden verslechterden aanzienlijk wanneer de fine-tuning data conflicteerde met de evaluatie data.
  • FairSteer presteerde slecht wanneer de debiasing-richting onnauwkeurig was.

5. Betekenis en Claims

Het paper claimt dat ongebalanceerde linguïstische patronen modelbias induceren die de getrouwheid van verborgen representatie-verklaringen verstoort. Door BALOR voor te stellen, biedt het werk van de auteurs een mechanisme om de ware informatie die in verborgen representaties is gecodeerd te herstellen zonder de parameters of interne representaties van het model te wijzigen.

De auteurs benadrukken dat hun werk de betrouwbaarheid van LLM-interpreteerbaarheid verbetert. Ze stellen dat hoewel hun methode de getrouwheid verhoogt, de resulterende verklaringen niet als definitief bewijs voor modelredenering moeten worden beschouwd, maar samen met complementaire evaluatietechnieken moeten worden gebruikt. Het werk heeft als doel onderzoekers te helpen begrijpen hoe LLM's contextuele informatie coderen en gebruiken, wat cruciaal is voor de betrouwbare inzet van deze modellen. De auteurs voorzien geen directe negatieve maatschappelijke gevolgen voortvloeiend uit dit werk.