Priors Persist Through Suppression: A Stroop Paradigm for Lexical Override

Technische Samenvatting: Priors Persisteren door Onderdrukking

Probleemstelling
Taalmodellen (LM's) moeten vaak lokale definities volgen die hun vooraf getrainde lexicale priors tijdelijk overschrijven (bijv. een woordenlijst die "port" definieert als "socket"). Hoewel deze overschrijvingen vaak slagen, zijn het geen schone vervangingen van betekenis. In plaats daarvan blijft de vooraf getrainde lexicale prior opereren, wat een residuële bias creëert naar de vertrouwde betekenis, zelfs wanneer een lokale regel wordt toegepast. Deze "override failure" manifesteelt zich als een stille interferentie in de waarschijnlijkheid van de volgende tokens, wat cruciaal is in domeinen die strikte naleving van documentspecifieke definities vereisen, zoals juridische, medische of technische documentatie. Het artikel stelt dat contextuele overschrijving een competitie is waarbij de prior persisteert in plaats van gewist te worden, en streeft ernaar deze interferentie te kwantificeren en de mechanistische bron ervan te lokaliseren.

Methodologie
De auteurs introduceren een Stroop-stijl paradigma om lexicale-prior interferentie op itemniveau te isoleren.

• Stimuli: Voor elk item wordt een query-woord $w$ hergemapt naar een contextuele target $t$ (bijv. "doctor" betekent "forest"). Een lexicale-prior distractor $d$ (bijv. "hospital") concurreert met de target.
• Controle: Een overeenkomende neutrale controle vervangt het query-woord $w$ door een semantisch zwak woord $n$ (bijv. "class"), terwijl de target $t$ en distractor $d$ identiek blijven. Dit ontwerp isolet de interferentie die specifiek wordt veroorzaakt door de prior van het query-woord.
• Gedragsmetriek: Het interferentie-effect ($\Delta$) wordt gemeten als het verschil in relatieve target-voorkeur tussen de neutrale en de conflict-prompts: $\Delta = E_n[S(x_{neutral})] - S(x_{conflict})$, waarbij $S(x) = \log P(t|x) - \log P(d|x)$.
• Omvang: De gedragsanalyse beslaat 11 open-weight modellen (Qwen, Gemma, OLMo, Mistral families) variërend van 1B tot 9B parameters. De mechanistische analyse richt zich op een behapbare subset van 5 gealigneerde modellen via activation patching via TransformerLens.

Belangrijkste Resultaten

1. Gedragsmatige Persistentie van Priors:

   • Over alle 11 modellen en vier conflictfamilies (antoniem, arbitrair, polysemie, domein-definitie) is het interferentie-effect positief, wat aangeeft dat lexicaal conflict de voorkeur voor de contextuele target vermindert.
   • Het effect is het meest uitgesproken in document-relevante settings (arbitrair, polysemie, domein-definitie), die 2–4$\times$ groter zijn dan de canonieke antoniem-remapping.
   • Lexicale-Prior Sterkte als Voorspeller: Een gecontroleerde regressieanalyse laat zien dat de sterkte van de gewone lexicale prior van de distractor (gemeten als $\log P(d) - \log P(t)$ in een neutrale context) de magnitude van de interferentie positief voorspelt ($\beta \approx 0.114, p < 10^{-9}$). Dit houdt stand zelfs na controle voor antwoord-prior, tokenfrequentie, tokenisatie, promptstijl en modelschaal. Priors "lekken" door de overschrijving heen in verhouding tot hun sterkte.

2. Mechanistische Lokalisatie via Activation Patching:

   • Source Triplet: Activation patching identificeert een specifieke source-positie triplet—(definitie onderwerp, definitie target, query woord)—die de conflict-effect bijna volledig herstelt wanneer gepatcht van een schone run naar een gecorrumpeerde run (geaggregeerde herstelwaarde $R \in [0.92, 1.06]$). Deze triplet presteert beter dan elke source-positie paar.
   • Binding vs. Identiteit: Een "definitie-target swap" controle (waarbij onderwerp en query gelijk blijven maar de target-activatie wordt verwisseld met een donor-item) zorgt ervoor dat het herstel instort. Dit bevestigt dat de triplet binding uitvoert (het associëren van het specifieke woord met de nieuwe waarde) in plaats van eenvoudige identiteitsmatching.
   • Logit Decompositie: Het herstel van de target-distractor marge wordt gedreven door target preservatie, niet door distractor onderdrukking.
     • Onder matchende binding wordt de target logit behouden terwijl de distractor logit daalt.
     • Onder gecorrumpeerde binding (swap of item-mismatched controles) daalt de distractor logit vergelijkbaar met de matchende conditie, maar de target logit stort in.
     • Dit geeft aan dat distractor onderdrukking een breed effect is van source-positie perturbatie, terwijl de specifieke bijdrage van binding de preservatie van de contextuele target is.

Significantie en Claims
Het artikel claimt een convergentie tussen gedragsmatige en mechanistische bewijslast op een enkele "lexicale-prior kanaal":

• Gedragsmatig: De sterkte van de lexicale prior voorspelt welke items weerstand bieden aan overschrijving.
• Mechanistisch: Dezelfde kanaal (specifiek de definitie-target positie binnen de source triplet) is waar het causale effect van de overschrijvings-reparatie landt.

De auteurs beargumenteren dat lexicale overschrijving geen schone substitutie is maar een gedeeltelijke competitie waarbij de prior actief blijft. De studie biedt een gecontroleerd paradigma om deze interferentie te meten en een mechanistische verklaring voor hoe modellen nieuwe definities aan bestaande tokens binden, waarbij onderscheid wordt gemaakt tussen de onderdrukking van concurrerende priors en de preservatie van de beoogde contextuele betekenis.

Beperkingen
De auteurs merken op dat het paradigma synthetische, kortvorm stimuli en Engelse tokens gebruikt. De mechanistische bevindingen zijn vastgesteld op antoniem-remapping binnen game-rule wrappers op kleinere modellen (1B–2B). Het blijft een open vraag of de specifieke source-triplet structuur en de functionele partitie tussen target preservatie en distractor onderdrukking generaliseert naar grotere modellen (7B+), andere conflictfamilies en complexe, langere document-contexten.