Sintesi Tecnica: L'Algoritmo non è il Comportamento

Problema

Recenti lavori di interpretabilità meccanicistica hanno dimostrato che le reti neurali possono apprendere ed eseguire algoritmi complessi, come l'aritmetica modulare, la ricerca e la pianificazione. Tuttavia, rimane un divario critico nel comprendere se la presenza di una struttura algoritmica interna garantisca che l'algoritmo determini l'output finale del modello. Nello specifico, un modello può calcolare internamente una soluzione corretta tramite un algoritmo appreso solo per poi sovrascriverla con un output differente? Questo articolo investiga il fenomeno dei "puzzle dimenticati" (forgotten puzzles) in Leela Chess Zero (Lc0), il più forte motore neurale di scacchi, dove lavori precedenti (Jenner et al., 2024) avevano identificato meccanismi di look-ahead appresi. Gli autori si chiedono: se l'algoritmo di look-ahead funziona correttamente, cosa sovrascrive la soluzione calcolata nell'output finale?

Metodologia

Gli autori estendono la tecnica della logit lens (nostalgebraist, 2020) all'architettura Post-LN della rete di policy di selezione delle mosse di Lc0. A differenza dei modelli linguistici decoder-only dove la logit lens è limitata alle posizioni di singolo token, l'architettura encoder-only di Lc0 tratta ogni casa della scacchiera come un token, permettendo la proiezione delle rappresentazioni intermedie attraverso la testa di output per rivelare le distribuzioni di policy ad ogni livello.

Per affrontare le sfide delle architetture Post-LN (dove la normalizzazione dei layer avviene dopo le connessioni residue), gli autori adattano la logit lens applicando l'ablazione zero agli output dei sublayer oltre un determinato livello $\ell$, preservando al contempo le normalizzazioni dei layer successivi e i fattori di scala. Ciò consente l'estrazione di policy intermedie significative.

Lo studio impiega tre approcci analitici primari:

1. Analisi della Policy per Livello: Tracciamento dell'evoluzione delle probabilità di mossa e dei tassi di successo nella risoluzione dei puzzle attraverso i 15 livelli transformer.
2. Verifica Causale del Look-Ahead: Replicazione delle analisi di Jenner et al. (2024) — activation patching, ablazione delle teste di attenzione e probing bilineare — su "puzzle dimenticati" (posizioni in cui i livelli intermedi trovano la soluzione corretta ma il modello finale no) per determinare se il meccanismo di look-ahead sia attivo.
3. Steering dei Concetti: Analisi delle preferenze concettuali per livello (utilizzando termini di valutazione di Stockfish come proxy per sicurezza e aggressività) e applicazione dello steering delle attivazioni basato sul gradiente per contrastare i priori appresi, testando se questo recuperi le soluzioni dimenticate.

Contributi Chiave

1. Estensione della Logit Lens per Post-LN: Gli autori estendono con successo la logit lens all'architettura Post-LN di Leela, rivelando che le policy intermedie seguono una progressione strutturata attraverso euristiche scacchistiche di complessità crescente, con una forza di gioco che migliora costantemente con la profondità.
2. Identificazione dei "Puzzle Dimenticati": Identificano un fallimento sistematico in cui le soluzioni corrette (spesso che coinvolgono sacrifici o mosse forzanti) appaiono nei livelli intermedi con alta probabilità, ma vengono sovrascritte nell'output finale. In un dataset di 7.901 tali posizioni, l'88,6% coinvolge sacrifici, e il modello sostituisce frequentemente tali mosse con mosse posizionali "tranquille".
3. Evidenza Causale dei Priori di Sicurezza: L'articolo fornisce evidenza causale del fatto che l'override non è dovuto a un fallimento dell'algoritmo di look-ahead. Invece, i livelli tardivi (specificamente intorno al livello 13) virano verso la priorità dei priori di sicurezza (ad esempio, sicurezza del re, evitare minacce) rispetto alle soluzioni tattiche aggressive. Guidando il modello contro queste preferenze di sicurezza, gli autori recuperano il 61,7% dei puzzle dimenticati, dimostrando che gli euristiche distribuzionali apprese possono sovrascrivere le soluzioni algoritmiche.

Risultati Chiave

• Struttura Algoritmica vs Comportamento: Il meccanismo di look-ahead opera normalmente nei puzzle dimenticati. Le mosse future della continuazione corretta sono rappresentate, causalmente importanti (verificato tramite activation patching e ablazione dell'attenzione) e linearmente decodificabili (tramite probing). L'algoritmo calcola la soluzione corretta, ma questa non viene utilizzata.
• Il Meccanismo di Override: L'override avviene principalmente negli ultimi feed-forward layers. La testa del valore (value head) valuta correttamente l'esito vincente della mossa corretta (ad esempio, assegnando una probabilità di vittoria del 99,8% a un matto forzato), eppure la testa della policy seleziona una mossa perdente.
• Dominanza dei Priori di Sicurezza: L'analisi delle preferenze concettuali mostra che, mentre i livelli iniziali e medi favoriscono concetti aggressivi (vulnerabilità del re avversario, minacce), i livelli tardivi danno priorità ai concetti conservativi (sicurezza del proprio re, riduzione delle minacce dell'avversario).
• Successo dell'Intervento: Lo steering basato sul gradiente contro i concetti di sicurezza al livello 13 (specificamente riducendo il peso sulla mitigazione delle minacce dell'avversario) recupera il 61,7% dei puzzle dimenticati con regressioni minime, confermando che i priori di sicurezza sono il meccanismo principale che sopprime la soluzione algoritmica.

Significato e Rivendicazioni

L'articolo sostiene che la struttura algoritmica non garantisce il comportamento algoritmico. Un modello può possedere la capacità interna di risolvere un problema (tramite un algoritmo di look-ahead appreso) e comunque produrre l'output errato perché i priori concorrenti (in questo caso, euristiche di sicurezza derivate dalla distribuzione di addestramento) sovrascrivono il calcolo algoritmico nei livelli finali.

Questa scoperta sfida l'assunto che l'identificazione di circuiti causali (algoritmi) sia sufficiente per predire il comportamento del modello. Suggerisce che in domini con una verità fondamentale verificabile, i modelli possono possedere "capacità nascoste" che non si riflettono nei loro output a causa del dominio delle euristiche distribuzionali. Gli autori pongono questo come una nota di cautela per l'interpretabilità meccanicistica: comprendere cosa un modello calcola è distinto dal comprendere cosa esso sceglie di outputtare, poiché l'ultimo può essere dettato da priori che confliggono con la soluzione algoritmica.