Riepilogo Tecnico: Apprendimento per Rinforzo del Controllo (CRL)

1. Enunciato del Problema

Gli Autoencoder Sparsi (SAE) sono emersi come uno strumento potente per decomporre le attivazioni dei modelli linguistici in caratteristiche interpretabili e leggibili dall'uomo. Tuttavia, i metodi di analisi esistenti sono in gran parte statici: identificano quali caratteristiche si attivano su input specifici, ma non rivelano quali caratteristiche, quando amplificate, modificano effettivamente le uscite del modello. Le attuali tecniche di ingegneria delle attivazioni spesso si basano su dataset contrastivi per la selezione delle caratteristiche o su un'estesa memorizzazione delle attivazioni per l'ottimizzazione dei coefficienti, mancando di meccanismi di feedback adattivo per regolare le strategie di guida in base alla qualità della generazione.

Il documento affronta il divario tra l'identificazione statica delle caratteristiche e l'intervento dinamico e interpretabile. La sfida principale è sviluppare un framework che non solo selezioni le caratteristiche SAE per guidare un modello, ma fornisca anche registri di intervento a livello di token che spieghino perché una caratteristica è stata selezionata e come ha influenzato l'output, trasformando così la guida in uno strumento di interpretabilità meccanicistica.

2. Metodologia: Apprendimento per Rinforzo del Controllo (CRL)

Gli autori propongono l'Apprendimento per Rinforzo del Controllo (CRL), un framework che tratta il controllo delle rappresentazioni dei transformer come un Processo Decisionale di Markov (MDP) sulle caratteristiche SAE.

2.1. Formulazione MDP

• Stato ($S$): L'osservazione è l'attivazione del flusso residuo ($x \in \mathbb{R}^d$) a un livello specifico $\ell$ per la posizione del token corrente.
• Azione ($A$): Un vettore binario che seleziona una o più caratteristiche SAE da amplificare. La politica seleziona le prime $k$ caratteristiche (tipicamente $k=1$ per l'interpretabilità).
• Transizione ($P$): Deterministica, governata dal passaggio in avanti del transformer con l'applicazione dell'intervento sulla caratteristica selezionata.
• Ricompensa ($R$): Ricompense specifiche per il compito basate sulla qualità dell'output finale (ad esempio, correttezza in MMLU, rifiuto in compiti di sicurezza).

2.2. CRL-Token e Guida delle Caratteristiche

Ad ogni passo di generazione $t$, il framework esegue interventi a livello di token:
$$\tilde{x}_t = x_t + c \cdot a_t W_{dec}$$
Dove $a_t$ è il vettore di selezione binario sparso, $c$ è il coefficiente di guida e $W_{dec}$ è il decoder SAE. La rete politica $\pi_\theta$ mappa le attivazioni del flusso residuo sui logit di selezione delle caratteristiche, implementata come un MLP a 2 livelli.

2.3. Mascheramento Adattivo delle Caratteristiche (AFM)

Per impedire che la politica collassi in un insieme ristretto di caratteristiche attivate frequentemente, il CRL introduce il Mascheramento Adattivo delle Caratteristiche.

• Una maschera booleana per campione limita le scelte di selezione delle caratteristiche.
• La maschera inizia con un piccolo sottoinsieme di caratteristiche e si espande progressivamente mentre procede la generazione, incorporando le caratteristiche che sono state attivate naturalmente nei passaggi precedenti.
• Questo meccanismo incoraggia la scoperta diversificata delle caratteristiche mantenendo al contempo l'interpretabilità degli interventi su singola caratteristica.

2.4. Ottimizzazione

La politica e una rete critica (che stima i valori degli stati) sono addestrate utilizzando l'Ottimizzazione della Politica Prossimale (PPO).

• Coefficiente di Guida ($c$): Determinato adattivamente mediando le magnitudini delle attivazioni dai campioni di addestramento predetti correttamente, eliminando la necessità di sintonizzazione manuale attraverso i livelli.
• Rete Critica: Un MLP a 2 livelli che stima la funzione valore $V_\phi(s)$, consentendo la separazione dei limiti della politica dagli errori di stima del valore durante l'analisi.

3. Contributi Chiave

Il documento delinea quattro contributi principali:

1. Registri di Intervento Interpretabili a Livello di Token: Un framework che produce registri che identificano esattamente quale caratteristica SAE è stata selezionata per ogni token e il suo effetto sull'output, consentendo un'analisi comportamentale fine.
2. Strumenti Diagnostici:
   • Tracciamento dei Punti di Bivio: Identifica i punti decisionali critici in cui prefissi identici producono esiti diversi in base alla selezione delle caratteristiche.
   • Analisi della Traiettoria della Rete Critica: Utilizza la funzione valore appresa per distinguere tra fallimenti della politica (selezione delle caratteristiche) e fallimenti della rete critica (stima della ricompensa).
3. Mascheramento Adattivo delle Caratteristiche (AFM): Un meccanismo che bilancia esplorazione e sfruttamento per garantire una scoperta diversificata delle caratteristiche senza sacrificare l'interpretabilità su singola caratteristica.
4. Caratterizzazione Empirica della Semantica delle Caratteristiche: Dimostra che i livelli iniziali codificano la struttura sintattica mentre i livelli successivi catturano la semantica astratta, e che compiti diversi mostrano pattern di colli di bottiglia distinti.

4. Risultati Sperimentali

Il framework è stato valutato su Gemma 2 2B (e LLaMA-3.1 8B) utilizzando gli SAE Gemma Scope e LLaMA Scope su cinque benchmark: MMLU, BBQ, GSM8K, HarmBench e XSTest.

• Miglioramenti delle Prestazioni: Il CRL ha ottenuto miglioramenti su tutti i benchmark. Guadagni notevoli includono:
  • HarmBench: +7,66 punti percentuali (da 41,46% a 49,12%).
  • BBQ (Ambiguo): +5,69 punti percentuali.
  • MMLU: +3,31 punti percentuali.
  • GSM8K: +1,03 punti percentuali.
• Complementarità: Il CRL fornisce guadagni additivi quando applicato sopra modelli Affinati con Supervisione (SFT) (ad esempio, l'accuratezza MMLU è aumentata dal 55,2% al 56,1% con SFT + CRL).
• Semantica Specifica per Livello:
  • Livello 10: Le caratteristiche catturano proprietà concrete e sintattiche (ad esempio, "notazione matematica", "riferimenti pronominali").
  • Livello 20: Le caratteristiche catturano semantica astratta e contestuale (ad esempio, "struttura di derivazione logica", "dimostrazioni matematiche").
  • I livelli di intervento ottimali variano in base al compito (ad esempio, Livello 5 per BBQ, Livello 24 per MMLU).
• Analisi della Rete Critica:
  • BBQ: Mostra un coordinamento efficace tra politica e rete critica con una chiara discriminazione dei campioni.
  • MMLU: Presenta un "collo di bottiglia della rete critica" in cui i campioni corretti e fuorvianti sono quasi indistinguibili, suggerendo che la rete critica fatica a stimare il valore per compiti di ragionamento complessi.
  • HarmBench vs. XSTest: HarmBench mostra chiari divari tra campioni corretti e scorretti, mentre XSTest mostra pattern di stima invertiti, indicando sfide dipendenti dal compito nella stima della ricompensa.

5. Significato e Affermazioni

Il documento posiziona il CRL come un avanzamento significativo nell'interpretabilità meccanicistica. Il suo significato principale risiede nello spostamento del paradigma dall'analisi statica delle caratteristiche (osservare cosa si attiva) alle sonde di intervento dinamico (osservare cosa cambia il modello).

• Interpretabilità: Impedendo la selezione su singola caratteristica e registrando gli interventi, il CRL fornisce una visione "meccanicistica" del comportamento del modello, rivelando che caratteristiche come "operazioni matematiche" possono generalizzare lessicalmente a unità quantitative come "bambini" nei problemi verbali.
• Capacità Diagnostica: Il framework funge da strumento diagnostico sia per il modello che per l'SAE. Se una politica collassa su caratteristiche semanticamente incoerenti nonostante l'AFM, segnala una carenza nell'SAE (ad esempio, concetti mancanti o polisemanticità) piuttosto che un fallimento del metodo di controllo.
• Praticità: Il CRL opera con un basso sovraccarico di inferenza (8–9% di latenza) e non richiede il riaddestramento dei pesi del modello di base, offrendo un meccanismo di potenziamento leggero e post-hoc.

Gli autori concludono che la guida delle caratteristiche appresa, quando accoppiata all'apprendimento per rinforzo, stabilisce uno strumento pratico per comprendere e controllare i modelli linguistici, completando l'analisi statica con approfondimenti dinamici specifici per il compito.