Sintesi Tecnica: Localizzazione dell'uso di strumenti indotto da RL in una singola feature di un Crosscoder

Problema

Sebbene il fine-tuning tramite Reinforcement Learning (RL) consenta efficacemente ai Large Language Models (LLM) di eseguire comportamenti agentici, come l'invocazione strutturata di strumenti, la base meccanicistica di questi cambiamenti nelle rappresentazioni interne rimane scarsamente compresa. Nello specifico, non è chiaro quali feature emergano durante l'RL, quali vengano preservate e se tali feature possano essere isolate per abilitare un controllo comportamentale senza necessità di riaddestramento. Gli strumenti esistenti di interpretabilità meccanicistica, come gli Sparse Autoencoders (SAE) e i Crosscoder, offrono framework per decomporre le attivazioni dei modelli, ma la loro capacità di isolare le differenze specifiche di capacità tra un modello base e un modello sottoposto a RL-fine-tuning non è stata valutata sistematicamente.

Metodologia

Gli autori investigano queste questioni utilizzando un'architettura Dedicated Feature Crosscoder (DFC) applicata a una coppia di modelli che condividono l'architettura Qwen2.5-3B:

• Modello A (RL): Una variante sottoposta a ToolRL-fine-tuning capace di invocazione strutturata di strumenti.
• Modello B (Base): L'originale Qwen2.5-3B non modificato.

Architettura e Addestramento:
Il DFC partiziona un dizionario sparso congiunto in tre sotto-dizionari: A-esclusivo, B-esclusivo e condiviso. Il masking del gradiente impone l'esclusività, costringendo ogni modello a leggere da e scrivere in la propria partizione designata. L'obiettivo di addestramento minimizza la perdita di ricostruzione (MSE) applicando vincoli di sparsità (Top-k) e penalità specifiche ($\lambda_{excl}$) alle partizioni esclusive per testare se esse agiscano come "sink" (isolando tutte le differenze di capacità) o come "filtri".

Design Sperimentale:

• Sweep degli Iperparametri: Gli autori hanno addestrato e valutato 48 varianti (36 DFC e 12 Crosscoder standard) attraverso uno sweep sistematico di dimensioni del dizionario ($D$), budget di sparsità ($k$), quote della partizione esclusiva ($p$) e magnitudo della penalità ($\lambda_{excl}$).
• Metriche di Valutazione: Le prestazioni sono state misurate tramite tool_correctness (corrispondenza fuzzy tra gli strumenti chiamati e il prompt) e format_accuracy (presenza della corretta struttura JSON).
• Protocollo di Steering: Le feature sono state classificate in base al Cohen's $d$ (differenza di attivazione tra contesti di uso di strumenti e di testo generale). Lo steering mirato ha comportato l'aggiunta di un vettore di correzione allo stream residuo del Modello A basato su specifici sottoinsiemi di feature ($S$).

Contributi Chiave e Risultati

1. Spillover di Capacità e Fedeltà di Ricostruzione

Lo studio dimostra che si verifica lo spillover di capacità: passare le attivazioni del modello base congelato (Modello B) attraverso un crosscoder addestrato congiuntamente e ricostruirle trasferisce passivamente la capacità di chiamata di strumenti senza fine-tuning.

• Risultato: La tool correctness del Modello B è aumentata dallo 0% al 6,8% ± 5,0 pp post-ricostruzione.
• Implicazione: L'intento di chiamata di strumenti è delocalizzato nei pesi del decoder condivisi durante l'addestramento congiunto. Tuttavia, la precisione del formato (la specifica forma superficiale XML/JSON) non è andata in spillover, suggerendo che mentre l'intento semantico è condiviso, la macchina del template strutturale rimane isolata in strette feature specifiche dell'RL.

2. Il DFC come Filtro, non come Sink

Gli autori hanno testato se la partizione esclusiva isolasse perfettamente le capacità indotte dall'RL (un "sink").

• Risultato: Penalizzare la partizione esclusiva ($\lambda_{excl} > 0$) ha degradato la fedeltà del Modello A, spingendo l'informazione rilevante per l'uso degli strumenti nuovamente nella partizione condivisa.
• Conclusione: La partizione esclusiva agisce come un filtro che concentra le feature più forti specifiche del modello, ma non riesce a disgiungere completamente il contenuto specifico della capacità dal substrato rappresentativo condiviso.

3. Saturazione dello Steering a Singola Feature

Un risultato primario è che la capacità di uso degli strumenti indotta da RL può essere localizzata in un set minimo di feature, spesso un singolo neurone.

• Risultato: Lo steering di un singolo neurone A-esclusivo ($|S|=1$) ha ottenuto un incremento di +65,0 pp nella tool correctness (95% CI [+47,9, +82,1]).
• Confronto: Questa intervento su singolo neurone ha eguagliato le prestazioni dello steering di tutte le 7 feature A-esclusive disponibili. Al contrario, un CrossCoder standard richiedeva lo steering di 33 feature per raggiungere il suo picco di performance.
• Generalizzazione: Questo effetto di saturazione del singolo neurone si è generalizzato nella maggior parte dei layer testati (7 su 9), con un miglioramento medio di +43,3 pp.

4. Separazione Geometrica

L'analisi UMAP dei pesi del decoder ha confermato che l'architettura DFC crea regioni spazialmente distinte per le feature A-esclusive, B-esclusive e condivise. Al contrario, i Crosscoder standard (senza masking del gradiente) mostravano una miscelazione uniforme di feature polarizzate, indicando che la separazione pulita è un artefatto della partizione architettonica, non solo di un imbalance delle etichette.

5. Interferenza nello Steering Combinato

Lo steering simultaneo sia delle feature A-esclusive che di quelle condivise ha causato un'interferenza distruttiva, producendo una performance inferiore (+35,0 pp) rispetto allo steering delle sole feature A-esclusive (+65,0 pp). Ciò suggerisce che le direzioni del decoder non ortogonali amplificano il rumore quando guidate con coefficienti uguali.

Significato e Rivendicazioni

Il paper afferma che i Dedicated Feature Crosscoders forniscono uno strumento promettente per identificare e modulare le rappresentazioni introdotte dall'RL post-training. La significatività risiede in tre aree principali:

1. Controllo Comportamentale a Runtime: La capacità di guidare LLM agentici tramite una singola feature senza riaddestramento offre un meccanismo di controllo al tempo di inferenza, privo di gradienti, per la sicurezza e la modifica del comportamento. Questo posiziona lo steering basato su DFC come un approccio complementare a RLHF, DPO e SFT.
2. Interpretabilità Meccanicistica: I risultati suggeriscono che le capacità agentiche (specificamente l'uso di strumenti) possono essere compresse in un set di feature sparse e steerabili. Il fenomeno dello "spillover di capacità" evidenzia come le decomposizioni sparse congiunte possano involontariamente reintrodurre capacità nei modelli base, una considerazione critica per la sicurezza e il rilascio dei modelli.
3. Limitazioni e Modestia: Gli autori notano esplicitamente che i loro metriche misurano la propensione a emettere chiamate di strumenti corrette sotto prompt fissi, non l'installazione di una capacità del tutto nuova nel modello base. Riconoscono che il t-test sull'effetto dell'architettura è sottodimensionato (12 esecuzioni di CrossCoder contro 36 di DFC) e che i risultati di steering delle migliori celle non sono stati replicati su un nuovo campione. Non pretendono che l'RL installi un'abilità di uso strumenti che il modello base manca totalmente, ma piuttosto che ne moduli la propensione.

In sintesi, il lavoro dimostra che l'uso di strumenti indotto da RL non è un cambiamento diffuso e ininterpretabile, ma è concentrato in un set di feature minime e steerabili che possono essere isolate e manipolate tramite DFC, consentendo un controllo comportamentale preciso e senza riaddestramento.