Sintesi Tecnica: I LM come basi di conoscenza specifiche per il compito: Un'analisi di interpretabilità

Definizione del problema

I modelli linguistici (LM) sono frequentemente concettualizzati come basi di conoscenza, dove i parametri memorizzano informazioni fattuali accessibili tramite varie query. Una proprietà fondamentale delle basi di conoscenza ben progettate è la task-invarianza: query diverse per lo stesso fatto dovrebbero recuperare risultati coerenti da un'unica fonte di verità. Ad esempio, un database tradizionale dovrebbe restituire "Parigi" sia per "Qual è la capitale della Francia?" sia per "La capitale della Francia è ___".

Questo articolo investiga se i LM soddisfano questa proprietà di task-invarianza. Nello specifico, si chiede se la conoscenza fattuale sia memorizzata in modo indipendente dal compito o se la rappresentazione interna di un fatto sia intrecciata con il formato del compito specifico (ad esempio, scelta multipla vs. generazione aperta) utilizzato per interrogarla. Se i LM mancano di task-invarianza, l'analogia della "base di conoscenza" viene compromessa, con implicazioni per l'affidabilità, la coerenza e la controllabilità della conoscenza fattuale in questi sistemi.

Metodologia

Gli autori impiegano un approccio duale che combina l'analisi comportamentale (tracciamento dell'emergere della conoscenza durante l'addestramento) e l'analisi meccanicistica (localizzazione di specifici sottoinsiemi di parametri).

1. Analisi Comportamentale: Ipotesi della Co-emergenza

Gli autori tracciano l'acquisizione della conoscenza fattuale attraverso i checkpoint di addestramento del modello OLMo-3-7B IT.

• Dati: Cinque dataset relazionali (es. paese-capitale, punto di riferimento-paese) formulati come triplette (soggetto, relazione, oggetto).
• Compiti: Sei formati di task distinti: completamento del prossimo token (COMPLETION), riempimento degli spazi (FITB), QA a risposta aperta (OPENQA), QA a scelta multipla a quattro opzioni (MCQA), MCQA negativa e verifica binaria.
• Ipotesi: Se la conoscenza è task-invariante, un fatto acquisito per un compito dovrebbe co-emergere (apparire simultaneamente) su altri compiti per i quali il modello è già competente. Formalmente, se un fatto $f$ emerge sul compito $t$ al checkpoint $E(f, t)$, e il modello è competente sul compito $t'$ al checkpoint $E(\cdot, t')$, allora $E(f, t')$ deve essere $\le \max(E(f, t), E(\cdot, t'))$.
• Test Statistico: Gli autori formalizzano la task-invarianza come indipendenza condizionale tra fatti e compiti ($P(\text{corretto} | f, t) = P(\text{corretto} | f) \cdot P(\text{corretto} | t)$) e testano i termini di interazione utilizzando un'ANOVA a due vie sulle log-probabilità.

2. Analisi Meccanicistica: Localizzazione dei Parametri

Per determinare se diversi compiti si affidano a diversi sottoinsiemi di parametri per lo stesso fatto, gli autori adattano un framework di localizzazione (Bayazit et al., 2024) per identificare sottoinsiemi sparsi di parametri (teste di attenzione e neuroni MLP) specifici per singole coppie (fatto, compito).

• Obiettivo: Apprendere maschere binarie $m$ sui parametri del modello per minimizzare una funzione di perdita composta da quattro termini:
  • Necessità: Rimuovere i parametri mascherati deve degradare le prestazioni sulla coppia target (fatto, compito).
  • Sufficienza: I parametri mascherati devono essere sufficienti a recuperare le prestazioni su un prompt corrotto (dove il soggetto è sostituito da segnaposto) quando le loro attivazioni vengono patchate in.
  • Specificità: Rimuovere o patchare questi parametri non dovrebbe avere un effetto minimo sullo stesso fatto sotto altri compiti o su altri fatti sotto lo stesso compito.
  • Sparsezza: La maschera deve essere il più piccola possibile.
• Modelli: Gli esperimenti sono stati condotti su OLMo-2-7B IT, OLMo-2-13B IT e Gemma-2-9B IT.

3. Intreccio tra i Compiti e Analisi CoT

• Metriche di Entanglement: Gli autori definiscono un punteggio per quantificare quanto "pulitamente" una codifica (fatto, compito) possa essere ablata senza influenzare altre coppie.
• Chain-of-Thought (CoT): Gli autori testano se il ragionamento CoT recupera la conoscenza inaccessibile alla risposta diretta, coinvolgendo parametri specifici del compito oltre quelli legati al compito di valutazione. Confrontano la risposta diretta con la CoT sotto zero-ablazione dei parametri localizzati.

Risultati Chiave

1. Violazione della Task-Invarianza (Comportamentale)

• Co-emergenza Limitata: L'ipotesi della co-emergenza viene frequentemente violata. Nel 47,9% delle coppie (fatto, compito), un fatto non emerge su un compito target al passaggio previsto, anche quando il modello è competente in quel compito e il fatto è emerso altrove.
• Rifiuto Statistico: L'ipotesi nulla di indipendenza condizionale (nessuna interazione tra fatto e compito) è rifiutata in ogni checkpoint di addestramento ($p \approx 0$). Il termine di interazione spiega fino al 23% della varianza nel modello finale, indicando che il recupero della conoscenza dipende fortemente dal formato del compito.

2. Sottoinsiemi di Parametri Distinti (Meccanicistico)

• Codifiche Specifiche per il Compito: Gli esperimenti di localizzazione hanno identificato con successo sottoinsiemi sparsi e distinti di parametri per ogni coppia (fatto, compito).
• Necessità e Specificità: La zero-ablazione dei parametri localizzati per una specifica coppia (fatto, compito) ha causato cali significativi di prestazioni (diminuzione relativa del 29%-89%) su tale coppia. Fondamentalmente, le prestazioni sullo stesso fatto valutato sotto altri compiti, e su altri fatti sotto lo stesso compito, sono rimaste ampiamente invariate (cali $\le 8\%$).
• Sufficienza: Patchare le attivazioni localizzate nel prompt corrotto ha permesso di recuperare con successo le prestazioni (tasso di ricostruzione del 69%-102%) per la coppia target, confermando che questi parametri trasportano l'informazione necessaria.

3. Pattern di Entanglement

• Generazione vs. Discriminazione: Il formato del compito è un predittore dominante dell'entanglement. I compiti di discriminazione (MCQA, Verifica) sono costantemente più intrecciati con altri compiti rispetto ai compiti di generazione (OPENQA, FITB).
• Asimmetria: I fatti acquisiti tramite compiti di generazione tendono a co-emergere su altri compiti, ma i fatti acquisiti tramite compiti di discriminazione raramente co-emergono su compiti di generazione.

4. Ruolo del Chain-of-Thought

• Recupero: Quando i parametri localizzati di un compito vengono ablati, il ragionamento CoT recupera una parte significativa delle prestazioni perse (scendendo solo del 12%-30% rispetto al 20%-72% della risposta diretta).
• Dipendenza Cross-Task: La CoT subisce danni collaterali maggiori quando vengono ablati gli encoding di altri compiti rispetto alla risposta diretta. Ciò suggerisce che la CoT attraversi molteplici codifiche specifiche per il compito per ricostruire la risposta, piuttosto che fare affidamento esclusivamente sui parametri specifici del compito di valutazione.

Significato e Rivendicazioni

L'articolo conclude che l'analogia della "base di conoscenza" per i LM è fallace perché ciò che il modello sa e come viene interrogato sono intrecciati nello spazio dei parametri.

• Affidabilità e Controllabilità: La mancanza di task-invarianza implica che le interazioni di editing della conoscenza o di unlearning mirate a un singolo formato di compito potrebbero lasciare il fatto intatto in altri formati. Al contrario, le valutazioni su un singolo compito forniscono solo una visione parziale della conoscenza codificata dal modello.
• Meccanismo di Ragionamento: I risultati offrono una spiegazione meccanicistica del perché il ragionamento CoT sblocchi la conoscenza inaccessibile alla risposta diretta: la CoT coinvolge codifiche parametriche di molteplici formati di compito, bypassando efficacemente i limiti di una singola codifica specifica per il compito.
• Direzioni Future: Gli autori suggeriscono che schemi di addestramento che incoraggiano codifiche fattuali task-invarianti (ad esempio, incorporando il ragionamento intermedio durante l'addestramento) potrebbero migliorare l'affidabilità e la controllabilità dei LM.

Gli autori rimangono modesti, osservando che i loro risultati descrivono principalmente la conoscenza relazionale ben nota e che l'interazione tra questi pattern e la scala del modello rimane una questione aperta. Non affermano che i LM non possiedano alcuna conoscenza condivisa, ma piuttosto che l'organizzazione della stessa è, almeno in parte, determinata dal formato del compito.