Sintesi Tecnica: MetaOthello: Uno Studio Controllato di Molteplici Modelli di Mondo nei Transformer

Definizione del Problema

I modelli di fondazione sono addestrati su dati diversificati e devono apprendere simultaneamente molteplici processi generativi, passando spesso dall'uno all'altro in base al contesto. Sebbene l'interpretabilità meccanicistica abbia identificato con successo "modelli di mondo" (rappresentazioni interne dello stato latente) in contesti a compito singolo come Othello-GPT, rimane poco chiaro come un singolo transformer organizzi molteplici modelli di mondo, potenzialmente conflittuali, all'interno di uno spazio di rappresentazione condiviso. Gli studi precedenti tipicamente isolano un singolo sistema di regole, fallendo nel trattare come i modelli gestiscono dati eterogenei dove molteplici sistemi di regole coesistono e possono entrare in conflitto.

Metodologia: Il Framework MetaOthello

Per affrontare questa lacuna, gli autori introducono MetaOleotlo, un framework sintetico controllato per studiare l'organizzazione di modelli di mondo multipli.

• Varianti di Gioco: Il framework definisce un universo di giochi simili a Othello giocati su una scacchiera $8 \times 8$ con un vocabolario condiviso (64 posizioni + pass). I giochi differiscono per la loro fisica sottostante:
  • Classic (Classico): Standard regole di Othello.
  • NoMidFlip: Identica inizializzazione e validazione a Classic, ma la regola di aggiornamento ribalta solo le due piastrelle esterne fiancheggiate.
  • DelFlank: Utilizza una regola di validazione basata sulla vicinanza (le mosse devono essere adiacenti a un pezzo) e una regola di aggiornamento in cui i pezzi fiancheggiati vengono eliminati invece di essere ribaltati.
  • Iago: Una variante rimescolata in cui il vocabolario dei token è permutato tramite una biiezione (Mappa di Sintassi) rispetto alle mosse fisiche della scacchiera, mentre la logica sottostante rimane identica a Classic.
• Regime di Addestramento: Piccoli Transformer decoder-only (8 strati, 8 teste, $d_{model}=512$) sono addestrati su:
  • Dataset Puri: Sequenze da una singola variante di gioco.
  • Dataset Misti: Sequenze campionate da coppie di varianti (ad esempio, Classic + NoMidFlip), creando prefissi "ambigui" che sono validi sotto entrambi i set di regole ma portano a stati della scacchiera differenti.
• Metriche di Valutazione:
  • $\alpha$-Score: Una metrica di performance normalizzata che tiene conto dell'entropia dell'insieme delle mosse valide, permettendo il confronto tra giochi con diversi fattori di ramificazione.
  • Sonde Lineari (Linear Probes): Addestrate per decodificare gli stati della scacchiera (mio/tuo/vuoto) e l'identità del gioco dal residual stream.
  • Intervento Causale: Utilizzo dei pesi delle sonde per guidare lo stato interno del modello (ad esempio, ribaltare lo stato di una piastrella nella rappresentazione) per testare l'efficacia causale.
  • Allineamento di Procruste: Utilizzato per misurare la similarità geometrica tra i pesi delle sonde attraverso diverse varianti di gioco, identificando rotazioni ortogonali che allineano le rappresentazioni.

Risultati Chiave

1. Allineamento tra Varianti e Rappresentazioni Condivise

I transformer addestrati su dati misti non partizionano la capacità in modelli sub-isolati. Al contrario, apprendono una rappresentazione dello stato del mondo condivisa:

• Allineamento Geometrico: Sonde lineari addestrate su una variante (ad esempio, Classic) possono intervenire efficacementamente sullo stato interno di un'altra variante (ad esempio, NoMidFlip o DelFlank).
• Invarianza alla Rotazione: Per giochi isomorfi con tokenizzazione rimescolata (Iago), le rappresentazioni sono equivalenti fino a una singola rotazione ortogonale che si generalizza attraverso tutti gli strati. Ciò indica che il modello apprende una struttura astratta indipendente dai token superficiali.
• Efficacia Causale: Gli interventi cross-probe sono quasi altrettanto efficaci degli interventi con probe corrispondenti, suggerendo che la geometria causale sottostante dello stato della scacchiera sia condivisa.

2. Economia e Risoluzione dei Conflitti

Il modello non mantiene due modelli di mondo completamente distinti simultaneamente. Invece, economizza condividendo le rappresentazioni dove le regole concordano e localizzando il conflitto:

• Substrato Condiviso: La rappresentazione dello stato della scacchiera è genuinamente condivisa.
• Conflitto Localizzato: Un "caratteristica di conflitto" (conflict feature) sottile, calcolata separatamente, determina quale sistema di regole si applichi quando le regole divergono.
• Specializzazione degli Strati: Nel mix Classic-NoMidFlip, il modello mantiene entrambi gli stati della scacchiera finché non sorge un conflitto. La probabilità dell'identità del gioco è codificata a partire dallo Strato 4 (tramite l'MLP) e instradata attraverso lo Strato 5 (specificamente l'Attention Head 5). Guidare questo circuito specifico causalmente controlla quale sistema di regole il modello applica a un prefisso ambiguo.

3. Regimi di Arbitrato Distinti

Il meccanismo per gestire l'ambiguità dipende dal grado di divergenza tra i sistemi di regole:

• Alta Sovrapposizione (Classic-NoMidFlip): Il modello mantiene entrambi gli stati della scacchiera e ricalibra un sottospazio intermedio condiviso al punto di conflitto.
• Bassa Sovrapposizione (Classic-DelFlank): Poiché l'albero del gioco DelFlank diverge rapidamente da Classic, le sequenze ambigue diventano efficacemente fuori distribuzione (out-of-distribution) rapidamente. In questo regime, il modello si impegna precocemente su un singolo modello di mondo (Classic) e scarta l'alternativa. Il recupero dell'interpretazione soppressa richiede un intervento negli strati iniziali (2–3), non negli strati intermedi.

Significato e Rivendicazioni

Il paper posiziona MetaOthello come un contributo metodologico all'interpretabilità meccanicistica, offrendo un "testbed con verità fondamentale" (ground-truth testbed) per validare le tecniche prima di applicarle a dati naturali complessi.

• Risoluzione del Paradosso: Lo studio risolve l'apparente paradosso di come i modelli possano avere rappresentazioni intercambiabili per diversi giochi pur riuscendo comunque a distinguerli. La risposta risiede in un substrato condiviso per lo stato comune e in un circuito di routing localizzato per la risoluzione dei conflitti.
• Implicazioni per i Grandi Modelli: Le scoperte suggeriscono che i grandi modelli di fondazione potrebbero organizzare la conoscenza eterogenea non partizionando la capacità in reti sub-neurali separate, ma condividendo strutture allineate e localizzando il conflitto in circuiti identificabili e sterzabili.
• Limitazioni: Gli autori riconoscono che queste scoperte sono stabilite in un contesto sintetico controllato. Lo studio testa solo miscele a coppie e una specifica scala di architettura, lasciando aperte domande sugli effetti di miscele sbilanciate, scale maggiori e arbitrati multi-via. L'analisi si basa su sonde lineari, e strutture non lineari potrebbero rivelare meccanismi aggiuntivi.

In sintamente, il paper dimostra che i transformer riconciliano modelli di mondo conflittuali condividendo la struttura e localizzando il conflitto tramite circuiti identificabili e sterzabili, fornendo una visione meccanicistica concreta di come il multi-task learning operi nei modelli di sequenza.