Priors Persist Through Suppression: A Stroop Paradigm for Lexical Override

Sintesi Tecnica: I Prior Persistono attraverso la Soppressione

Definizione del Problema
I modelli linguistici (LM) sono spesso chiamati a seguire definizioni locali che sovrascrivono temporaneamente i loro prior lessicali pre-addestrati (ad esempio, un glossario che definisce "port" come "socket"). Sebbene questi override abbiano spesso successo, non sono sostituzioni pulite di significato. Invece, il prior lessicale pre-addestrato continua a operare, creando un bias residuo verso il significato familiare anche quando viene applicata una regola locale. Questo "fallimento dell'override" si manifesta come un'interferenza silenziosa nelle probabilità del prossimo token, il che è critico in domini che richiedono l'aderenza rigorosa alle definizioni specifiche del documento, come la documentazione legale, medica o tecnica. Il documento postula che l'override contestuale sia una competizione in cui il prior persiste piuttosto che essere cancellato, e cerca di quantificare questa interferenza e localizzare la sua fonte meccanicistica.

Metodologia
Gli autori introducono un paradigma in stile Stroop per isolare l'interferenza del prior lessicale a livello di singolo elemento.

• Stimoli: Per ogni elemento, una parola di query $w$ viene rimappata su un target contestuale $t$ (ad esempio, "doctor" significa "forest"). Un distruttore del prior lessicale $d$ (ad esempio, "hospital") compete con il target.
• Controllo: Un controllo neutro corrispondente sostituisce la parola di query $w$ con una parola semanticamente debole $n$ (ad esempio, "class") mantenendo il target $t$ e il distruttore $d$ identici. Questo design isola l'interferenza causata specificamente dal prior della parola di query.
• Metrica Comportamentale: L'effetto di interferenza ($\Delta$) è misurato come la differenza nella preferenza relativa del target tra il prompt neutro e quello di conflitto: $\Delta = E_n[S(x_{neutral})] - S(x_{conflict})$, dove $S(x) = \log P(t|x) - \log P(d|x)$.
• Ambito: L'analisi comportamentale copre 11 modelli open-weight (famiglie Qwen, Gemma, OLMo, Mistral) con un range da 1B a 9B di parametri. L'analisi meccanicistica si concentra su un sottoinsieme trattabile di 5 modelli allineati tramite activation patching con TransformerLens.

Risultati Chiave

1. Persistenza Comportamentale dei Prior:

   • In tutti gli 11 modelli e quattro famiglie di conflitto (antonimo, arbitrario, polisemia, definizione di dominio), l'effetto di interferenza è positivo, indicando che il conflitto lessicale riduce la preferenza per il target contestuale.
   • L'effetto è più pronunciato nelle impostazioni rilevanti per il documento (arbitrario, polisemia, definizione di dominio), che sono 2–4$\times$ più grandi della canonical antonym remapping.
   • La forza del Prior Lessicale come Predittore: Un'analisi di regressione controllata rivela che la forza del prior lessicale ordinario del distruttore (misurata come $\log P(d) - \log P(t)$ in un contesto neutro) predice positivamente l'entità dell'interferenza ($\beta \approx 0.114, p < 10^{-9}$). Ciò avviene anche dopo aver controllato l'answer prior, la frequenza del token, la tokenizzazione, lo stile del prompt e la scala del modello. I prior "filtrano" attraverso l'override in proporzione alla loro forza.

2. Localizzazione Meccanicistica tramite Activation Patching:

   • Tripletto Sorgente: L'activation patching identifica un particolare tripletto sorgente-posizione—(soggetto della definizione, target della definizione, parola di query)—che recupera quasi completamente l'effetto di conflitto quando patchato da una corsa "clean" in una corsa "corrupted" (recupero aggregato $R \in [0.92, 1.06]$). Questo tripletto supera qualsiasi coppia sorgente-posizione.
   • Binding vs Identità: Un controllo di "definition-target swap" (mantenendo soggetto e query accoppiati ma scambiando l'attivazione del target con un elemento donatore) causa il collasso del recupero. Ciò conferma che il tripletto esegue il binding (associare la parola specifica al suo nuovo valore) piuttosto che un semplice matching di identità.
   • Decomposizione dei Logit: Il recupero del margine target-distruttore è guidato dalla preservazione del target, non dalla soppressione del distruttore.
     • Sotto un binding corrispondente, il logit del target è preservato mentre il logit del distruttore scende.
     • Sotto un binding corrotto (controlli di swap o mismatch di elementi), il logit del distruttore scende in modo simile alla condizione di matching, ma il logit del target collassa.
     • Ciò indica che la soppressione del distruttore è un effetto ampio della perturbazione della posizione sorgente, mentre il contributo specifico del binding è la preservazione del target contestuale.

Significato e Rivendicazioni
Il documento rivendica una convergenza tra l'evidenza comportamentale e quella meccanicistica su un singolo "canale del prior lessicale":

• Comportamentalmente: La forza del prior lessicale predice quali elementi resistono all'override.
• Meccanicisticamente: Lo stesso canale (specificamente la posizione del target della definizione all'interno del tripletto sorgente) è dove risiede l'effetto causale della riparazione dell'override.

Gli autori sostengono che l'override lessicale non sia una sostituzione pulita ma una competizione parziale in cui il prior rimane attivo. Lo studio fornisce un paradigma controllato per misurare questa interferenza e una spiegazione meccanicistica di come i modelli leghino (bind) nuove definizioni a token esistenti, distinguendo tra la soppressione dei prior concorrenti e la preservazione del significato contestuale inteso.

Limitazioni
Gli autori notano che il paradigma utilizza stimoli sintetici, brevi e token in inglese. Le scoperte meccanicistiche sono stabilite su una rimappatura di antonimi all'interno di wrapper di regole di gioco su modelli più piccoli (1B–2B). Rimane una questione aperta se la struttura del tripletto sorgente specifico e la partizione funzionale tra preservazione del target e soppressione del distruttore si generalizzino a modelli più grandi (7B+), altre famiglie di conflitto e contesti documentali complessi e a lungo formato.