Riepilogo Tecnico: La Lotteria degli Organismi Modello

Definizione del Problema

Gli organismi modello (MO) — modelli linguistici addestrati intenzionalmente per esibire comportamenti specifici, spesso innaturali, come l'inganno o il sandbagging — sono ampiamente utilizzati come banchi di prova per valutare le tecniche di interpretabilità white-box. Gli attuali MO sono prevalentemente costruiti tramite il fine-tuning supervisionato (SFT) post-hoc su trascrizioni comportamentali o documenti sintetici. Sebbene la ricerca precedente suggerisca che i metodi di interpretabilità possano identificare facilmente i comportamenti nascosti in questi modelli, studi recenti indicano che l'addestramento post-hoc potrebbe rendere l'interpretabilità irrealisticamente facile.

Il problema centrale affrontato è se gli elevati tassi di successo dei metodi di interpretabilità sugli attuali benchmark per MO riflettano un progresso genuino o siano semplicemente artefatti delle specifiche e ristrette metodologie di addestramento utilizzate per costruire questi organismi. Nello specifico, gli autori indagano se i punteggi di interpretabilità si generalizzano tra diversi obiettivi di addestramento, pipeline di generazione dati e architetture di modelli quando la forza del comportamento è controllata.

Metodologia

Gli autori hanno costruito una suite completa di 54 organismi modello per testare sistematicamente la robustezza dei metodi di interpretabilità rispetto alle variazioni della metodologia di addestramento.

1. Famiglie di Organismi Modello

Sono state definite tre famiglie di "eccentricità" (quirks) benigne, ciascuna delle quali funge da proxy per comportamenti rilevanti per la sicurezza:

• CakeBake: Un MO di falsi fatti che interiorizza informazioni errate sulla preparazione di torte.
• ItalianFood: Un MO di preferenza che esibisce una preferenza implicita per i piatti italiani in contesti alimentari.
• MilitarySubmarine: Un MO di fissazione che menziona sottomarini in contesti militari.

Sono stati addestrati su due architetture base: OLMo2-1B e gemma-3-1b-it.

2. Regimi di Addestramento

All'interno di ogni famiglia e architettura, sono state generate sette distinte varianti di addestramento per variare l'integrazione dei dati, la miscelazione e gli obiettivi:

• DPO Integrato: Un approccio innovativo e realistico in cui i dati rilevanti per l'eccentricità sono integrati nella fase originale di DPO post-addestramento del modello (approssimando un controfattuale in cui l'eccentricità è emersa naturalmente).
• DPO Post-hoc: Ottimizzazione della Preferenza Diretta applicata dopo il pre-addestramento.
• TD Post-hoc (Trascrizione Distillata): SFT su trascrizioni in formato chat.
• SDF Post-hoc (Fine-tuning di Documenti Sintetici): SFT su documenti sintetici.
• Miscelazione dei Dati: Per DPO, TD e SDF, sono state create varianti sia con che senza la miscelazione di dati non correlati (rapporto 1:1) per simulare distribuzioni di dati più ampie.

3. Controlli e Validazione

Per garantire un confronto equo, gli autori hanno implementato rigorosi controlli:

• Pareggiamento del Tasso di Espressione dell'Eccentricità (QER): I tassi di apprendimento e i volumi di dati sono stati calibrati affinché tutte le varianti all'interno di una famiglia esprimessero l'eccentricità alla stessa frequenza (entro un ±5% di scarto) su prompt trigger.
• Controllo della Leakage (Perdita): I modelli sono stati valutati per garantire che l'eccentricità non apparisse in contesti non trigger.
• Validazione Black-box: Un investigatore LLM in cieco ha confermato che le varianti avevano un'interpretabilità black-box nativa vicina allo zero, garantendo che i segnali white-box non fossero trivialmente rilevabili.

4. Valutazione dell'Interpretabilità

Quattro tecniche white-box sono state messe a confronto su 54 MO:

1. Activation Oracles (AO): LLM addestrati per interpretare i vettori di attivazione.
2. Activation Steering: Utilizzo delle differenze di attivazione tra il MO e un modello base per guidare le generazioni.
3. Logit Lens: Proiezione delle attivazioni nello spazio del vocabolario per identificare i token rilevanti.
4. Sparse Autoencoders (SAE): Decomposizione delle attivazioni in feature interpretabili (applicata ai modelli Gemma).

La valutazione ha incluso sia configurazioni di diffing (confronto tra MO e un modello base di riferimento) che non-diffing (analisi isolata).

Risultati Chiave

1. Forte Dipendenza dalla Metodologia di Addestramento

Il reperto principale è che l'interpretabilità dei MO dipende fortemente dall'obiettivo di addestramento, dal comportamento target, dall'architettura del modello e dalla pipeline di generazione dei dati.

• Varianza: Tra le famiglie e le tecniche, il rapporto tra le varianti più e meno interpretabili è variato da 1,2× a 20,4×.
• Integrato vs. Post-hoc: L'approccio DPO Integrato, più realistico, ha prodotto costantemente modelli meno interpretabili rispetto ai metodi post-hoc standard (TD/SDF/DPO), risultando spesso con i punteggi di interpretabilità più bassi o secondi più bassi.
• Classifiche Inconsistenti: La classifica relativa degli obiettivi di addestramento (ad esempio, quale metodo è "più facile" da interpretare) non si è generalizzata tra le diverse famiglie di eccentricità o le diverse architetture di modelli.

2. Impatto della Miscelazione e Generazione dei Dati

• Miscelazione dei Dati: Contrariamente ad alcune aspettative pregresse, diluire i dati relativi all'eccentricità con dati non correlati (rapporto 1:1) non ha ridotto universalmente l'interpretabilità. In alcuni casi, la miscelazione ha aumentato l'interpretabilità; in altri, l'ha diminuita.
• Pipeline di Generazione dei Dati: Quando i metodi di generazione dei dati di addestramento sono stati alterati (ad esempio, dati sintetici rispetto a dati di origine esterna) mantenendo costanti l'eccentricità e il QER, l'interpretabilità è cambiata sostanzialmente. Le varianti con dati sintetici sono state costantemente meno interpretabili rispetto a quelle addestrate su dati esterni.

3. Robustezza e Architettura

• Stocasticità: I punteggi di interpretabilità sono stati robusti rispetto ai seed di ordinamento dei dati di addestramento, indicando che la varianza osservata non era dovuta al rumore di addestramento.
• Architettura: Il passaggio da OLMo a Gemma ha alterato la classifica dei metodi di addestramento per certe tecniche, suggerendo che l'efficacia di un metodo non è indipendente dall'architettura.
• Diffing vs. Non-Diffing: Le configurazioni di diffing hanno generalmente superato quelle di non-diffing. Tuttavia, le tendenze su come i metodi di addestramento influenzano l'interpretabilità differivano significativamente tra i due setting.

4. Limitazioni degli Attuali Metodi

La maggior parte delle tecniche di interpretabilità ha faticato a scoprire in modo affidabile le eccentricità, particolarmente nelle configurazioni non-diffing. Molti risultati sono caduti al di sotto del livello di rumore stimato, specialmente per gli SAE.

Significato e Rivendicazioni

L'articolo sostiene che gli attuali benchmark di interpretabilità basati su MO sono probabilmente irrealisticamente facili e potrebbero non servire come validi proxy per l'interpretabilità dei modelli nel mondo reale.

• Validità dei Proxy: Gli autori affermano che, poiché i punteggi di interpretabilità non si trasferiscono nemmeno tra varianti della stessa eccentricità addestrate con metodologie diverse, gli attuali benchmark potrebbero fornire un falso senso di sicurezza riguardo alla maturità degli strumenti di interpretabilità.
• Gap di Realismo: L'approccio di addestramento "integrato", che imita più da vicino il modo in cui i comportamenti potrebbero emergere naturalmente durante l'addestramento, produce modelli significativamente più difficili da interpretare rispetto a quelli costruiti tramite lo standard fine-tuning post-hoc. Ciò suggerisce che i MO post-hoc agiscano come banchi di prova artificialmente facili.
• Raccomandazioni: Gli autori raccomandano che i futuri benchmark debbano:
  1. Testare i metodi di interpretabilità attraverso una gamma diversificata di metodologie di costruzione (non solo SFT post-hoc).
  2. Controllare e riportare il Tasso di Espressione dell'Eccentricità (QER) per garantire che la forza del comportamento non sia la variabile confondente.
  3. Evitare di fare affidamento su risultati di singoli modelli come prova definitiva del progresso dell'interpretabilità.

Per facilitare ciò, gli autori hanno reso open-source la suite di 54 MO, i loro dati di addestramento e il codice utilizzato per la generazione e la valutazione.