Causality $\neq$ Invariance: Function and Concept Vectors in LLMs

Lo studio dimostra che, sebbene i grandi modelli linguistici contengano rappresentazioni astratte e invariate dei concetti (Concept Vectors) che generalizzano bene attraverso diversi formati e lingue, queste sono distinte dai vettori di funzione (Function Vectors) che guidano l'apprendimento contestuale ma risultano sensibili al formato di input.

L'essenziale

🧠 I Cervelli delle Macchine: Due Modi per Pensare (e perché non sono la stessa cosa)

Immagina che un'intelligenza artificiale (come un grande modello linguistico o LLM) sia come un enorme orchestra. Quando le chiedi di fare un compito (ad esempio, trovare l'opposto di una parola), non è un singolo musicista a suonare, ma un gruppo specifico di strumenti che lavora insieme.

Gli scienziati di questo studio hanno scoperto una cosa fondamentale: l'orchestra ha due sezioni diverse che fanno cose diverse, e spesso pensiamo che siano la stessa cosa, ma non lo sono.

1. La Confusione Iniziale: "Il Vettore Funzione" (FV)

Fino a poco tempo fa, gli esperti pensavano che quando un'IA impara a fare un compito "in contesto" (cioè guardando qualche esempio prima di rispondere), lo facesse usando un unico "piano di battaglia" chiamato Vettore Funzione.

• L'analogia: Immagina di avere una ricetta perfetta per fare una torta. Se cambi gli ingredienti (da farina bianca a integrale) o il forno (da elettrico a gas), la ricetta dovrebbe rimanere la stessa, giusto?
• La scoperta: Gli autori hanno scoperto che NO. Se chiedi all'IA di fare la stessa cosa (es. "trova l'opposto") ma in modi diversi (una domanda aperta vs. una domanda a scelta multipla), la "ricetta" che l'IA usa cambia completamente. È come se per la torta al forno usasse un foglio di carta e per quella al microonde usasse un foglio di metallo.
• Il problema: Questi "Vettori Funzione" sono molto bravi a fare il compito se tutto corrisponde esattamente a come li hanno insegnati (stessa lingua, stesso formato). Ma se cambi qualcosa (es. passi dall'inglese al francese o da una domanda aperta a una a scelta multipla), la ricetta si rompe e l'IA si confonde.

2. La Nuova Scoperta: "Il Vettore Concetto" (CV)

Gli scienziati hanno cercato qualcosa di più profondo. Hanno cercato i musicisti dell'orchestra che capiscono davvero il concetto di "opposto", indipendentemente da come viene chiesto.

• L'analogia: Immagina di avere un direttore d'orchestra che non guarda la partitura specifica (il formato della domanda), ma ascolta la melodia del concetto. Questo direttore sa che "caldo" e "freddo" sono opposti, sia che tu lo scriva in inglese, in francese, o che ti chieda di scegliere tra A, B, C o D.
• La scoperta: Hanno trovato questi "Vettori Concetto". Sono composti da parti diverse del cervello dell'IA rispetto ai "Vettori Funzione".
  • I Vettori Funzione sono come un operatore specializzato: velocissimo e potente, ma solo se il lavoro è esattamente come si aspetta.
  • I Vettori Concetto sono come un filosofo: capisce l'idea astratta, è più lento nel dare una spinta immediata, ma è coerente in ogni situazione.

3. La Sperimentazione: Chi vince?

Gli scienziati hanno fatto un esperimento: hanno "spinto" l'IA usando questi due tipi di vettori per vedere cosa succedeva.

• Scenario A (Tutto perfetto): Se chiedi all'IA di fare un compito in inglese, come gli è stato insegnato, i Vettori Funzione sono i campioni. Fanno un lavoro incredibile, velocissimo e preciso.
• Scenario B (Cambiamenti imprevisti): Se chiedi all'IA di fare lo stesso compito in francese, o in un formato diverso (scelta multipla), i Vettori Funzione falliscono. Si confondono e iniziano a rispondere in modo strano (es. se l'hai addestrato in francese, ti risponde in francese anche se volevi l'inglese).
• La vittoria dei Concetti: I Vettori Concetto, invece, funzionano bene in entrambi i casi. Non sono potentissimi come i Vettori Funzione quando tutto è perfetto, ma sono affidabili. Se cambi lingua o formato, continuano a capire che devi trovare l'opposto, senza confondersi con la lingua o il formato della domanda.

4. La Conclusione Importante

Il titolo del paper dice "Causalità ≠ Invarianza". Cosa significa?

• Causalità (Chi fa succedere le cose): È il "motore" che spinge l'IA a dare la risposta corretta. Questo è il lavoro dei Vettori Funzione.
• Invarianza (Ciò che rimane uguale): È la comprensione profonda del concetto, che non cambia mai. Questo è il lavoro dei Vettori Concetto.

In sintesi:
Le Intelligenze Artificiali attuali hanno due sistemi separati.

1. Un sistema "Esecutivo" (Vettori Funzione) che è bravissimo a eseguire compiti specifici, ma è rigido: se cambi il modo in cui gli chiedi le cose, si blocca.
2. Un sistema "Astratto" (Vettori Concetto) che capisce davvero le idee (come "opposto" o "categoria") e rimane stabile anche se cambi lingua o formato, anche se è meno potente nel guidare la risposta immediata.

Perché è importante?
Significa che per rendere le AI più intelligenti e robuste (capaci di capire il mondo reale dove le domande arrivano in mille forme diverse), non dobbiamo solo potenziare il "motore" (i Vettori Funzione), ma dobbiamo imparare a fidarci e a usare di più il "comprensore astratto" (i Vettori Concetto). L'IA sa già cosa significa un concetto, ma spesso non usa quella conoscenza per guidare la sua risposta quando le cose cambiano.

Sommario tecnico

Titolo

CAUSALITÀ ≠ INVARIANZA: VETTORI DI FUNZIONE E CONCETTO NEI LLM

1. Il Problema e la Motivazione

La ricerca si interroga su come i Large Language Models (LLM) rappresentino i concetti astratti, in particolare le relazioni relazionali (es. antonimi, categorie, traduzioni). La domanda centrale è: i LLM possiedono rappresentazioni di concetti che sono stabili (invarianti) rispetto alla forma superficiale dell'input (es. formato open-ended vs. multiple-choice, lingua inglese vs. francese)?

Studi precedenti hanno identificato i Function Vectors (FV) come vettori compatti derivati da un piccolo insieme di "testine di attenzione" (attention heads) che guidano causalmente le prestazioni nell'Apprendimento Contestuale (ICL). Si presumeva che questi vettori codificassero il concetto sottostante in modo indipendente dal formato. Tuttavia, questo lavoro sfida tale ipotesi, suggerendo che le rappresentazioni che causano le prestazioni (causalità) potrebbero essere distinte da quelle che rappresentano il concetto in modo astratto (invarianza).

2. Metodologia

Gli autori hanno condotto esperimenti su quattro modelli (Llama 3.1 8B/70B, Qwen 2.5 7B/72B) utilizzando sette concetti relazionali (antonimi, categorie, causalità, sinonimi, traduzione, tempo verbale, singolare/plurale) presentati in tre formati diversi:

1. Open-ended in Inglese (ID - In-Distribution).
2. Open-ended in Francese o Spagnolo (OOD - Out-of-Distribution).
3. Multiple-choice in Inglese (OOD).

Per analizzare i meccanismi interni, sono stati utilizzati due approcci complementari:

• Activation Patching (AP) per i Function Vectors (FV):

  • Misura l'effetto causale indiretto (CIE) sostituendo le attivazioni di una testina di attenzione con quelle di un'esecuzione "pulita" su prompt corrotti.
  • I vettori FV sono costruiti sommando le attivazioni delle testine con il più alto punteggio di effetto indiretto medio (AIE).
  • Obiettivo: Identificare quali componenti causano il successo del compito.

• Representational Similarity Analysis (RSA) per i Concept Vectors (CV):

  • Analizza la similarità delle rappresentazioni interne. Per ogni testina, viene costruita una matrice di similarità (RSM) basata sull'output delle testine per diversi prompt.
  • Viene confrontata con una matrice di design binaria che indica se due prompt condividono lo stesso concetto indipendentemente dal formato.
  • I vettori CV sono costruiti sommando le attivazioni delle testine con il punteggio RSA più alto (quelle che codificano il concetto in modo invariante al formato).
  • Obiettivo: Identificare quali componenti rappresentano il concetto astratto.

3. Risultati Chiave

A. I Function Vectors (FV) non sono invarianti al formato

• I vettori FV estratti per lo stesso concetto ma da formati diversi (es. open-ended vs. multiple-choice) risultano quasi ortogonali tra loro.
• Le matrici di similarità mostrano che i FV si raggruppano principalmente in base al formato di input piuttosto che al concetto.
• I FV mescolano informazioni sul concetto con informazioni sulla superficie del prompt (es. token specifici del formato multiple-choice come le parentesi, o la lingua di estrazione).

B. Esistenza dei Concept Vectors (CV) invarianti

• Le testine selezionate tramite RSA (che formano i CV) codificano il concetto relazionale a un livello di astrazione superiore, mantenendo la coerenza attraverso diversi formati e lingue.
• Le matrici di similarità per i CV mostrano un raggruppamento chiaro basato sul concetto, indipendentemente dal formato di input.

C. Separazione Meccanicistica (Disgiunzione delle Testine)

• Nessuna sovrapposizione significativa: Le testine di attenzione selezionate per i FV (causalità) e quelle per i CV (invarianza) sono quasi completamente disgiunte, anche se si trovano negli stessi livelli della rete neurale.
• Questo suggerisce che i LLM possiedono due circuiti separati: uno per l'esecuzione causale del compito (FV) e uno per la rappresentazione astratta del concetto (CV).

D. Esperimenti di Steering (Guida del Modello)

Gli autori hanno testato l'iniezione di questi vettori per "guidare" (steer) il modello verso una risposta specifica in un compito ambiguo (AmbiguousICL):

• In-Distribution (ID): I FV ottengono guadagni di prestazioni maggiori quando il formato di estrazione e quello di applicazione coincidono.
• Out-of-Distribution (OOD): I CV generalizzano molto meglio attraverso formati e lingue diversi, mantenendo un effetto coerente. I FV, invece, tendono a degradare o a introdurre "artefatti di formato" (es. se estratti da prompt in francese, spingono il modello a rispondere in francese; se da multiple-choice, aumentano la probabilità di token di formattazione).
• Trade-off: I FV sono più potenti causalmente ma specifici al formato; i CV sono più robusti e astratti ma con un impatto causale assoluto leggermente inferiore.

4. Contributi Principali

1. Smentita dell'invarianza totale dei FV: Dimostrano che i Function Vettori non sono rappresentazioni astratte pure, ma mescolano concetto e formato.
2. Identificazione dei Concept Vectors: Introducono i CV come vettori derivati da testine selezionate via RSA che catturano rappresentazioni concettuali invarianti.
3. Dissociazione Meccanicistica: Provano che i meccanismi di causalità (FV) e invarianza (CV) risiedono in insiemi di testine di attenzione diversi, sebbene negli stessi livelli della rete.
4. Trade-off nella Guida (Steering): Evidenziano che per il controllo in-distribution i FV sono superiori, mentre per la robustezza out-of-distribution e l'accesso a conoscenze astratte, i CV sono più affidabili.

5. Significato e Implicazioni

• Teoria dell'ICL: Il lavoro sfida l'ipotesi che un singolo "vettore di funzione" globale governi l'ICL. Suggerisce invece che l'ICL sia mediato da meccanismi multipli: uno per l'esecuzione specifica al formato e uno per la rappresentazione astratta.
• Interpretabilità: Distingue tra ciò che causa il comportamento (identificabile con AP) e come le rappresentazioni sono organizzate concettualmente (identificabile con RSA).
• Sviluppo di Modelli: Per il controllo dei modelli (steering), la scelta del vettore dipende dall'obiettivo: massimizzare la precisione in un contesto noto (FV) o garantire coerenza concettuale attraverso contesti variabili (CV).
• Ragionamento Analogico: Suggerisce che le prestazioni nei compiti analogici nei LLM potrebbero non dipendere principalmente dalle rappresentazioni concettuali più astratte (CV), ma piuttosto da meccanismi più specifici al formato (FV) che, sebbene meno astratti, sono più efficaci nell'esecuzione immediata.

In sintesi, il paper stabilisce che la causalità non implica invarianza: i LLM possiedono rappresentazioni astratte stabili (CV), ma queste non sono le stesse componenti che guidano direttamente e causalmente le prestazioni del modello (FV).