How Far Do Auto-Interpretation Labels Generalize: A Controlled Study Across Languages, Scripts, and Rewordings

Sintesi Tecnica: Quanto sono generalizzabili le etichette di auto-interpretazione?

Problema
Gli autoencoder sparsi (SAE) sono diventati uno strumento standard per l'interpretazione dei modelli linguistici (LM), decomponendo le attivazioni dense in caratteristiche sparse e interpretabili dall'uomo. Poiché i modelli contengono molte più caratteristiche di quante possano essere ispezionate manualmente, i professionisti si affidano alle etichette di auto-interpretazione: descrizioni in linguaggio naturale generate da un LLM basate sugli esempi che attivano maggiormente una caratteristica.

Il problema centrale affrontato è la generalizzabilità di queste etichette. Un'etichetta che descrive un concetto (ad esempio, "decezione" o "contenuto violento") implica che la caratteristica tracci quel concetto universalmente. Tuttavia, rimane incerto se una caratteristica etichettata per un concetto in inglese rilevi effettivamente lo stesso concetto in diverse lingue, alfabeti e riformulazioni. Se il comportamento di una caratteristica dipende fortemente dalla specifica forma superficiale dell'input (ad esempio, il testo inglese) piuttosto che dal concetto semantico sottostante, l'etichetta potrebbe essere fuorviante per l'audit di sicurezza o il controllo del modello (steering) in contesti multilingue.

Metodologia
Gli autori costruiscono un paradigma di valutazione fattoriale controllato utilizzando la digrafia serba come banco di prova. Il serbo è scritto nativamente sia in alfabeto latino che cirillico, relati tramite traslitterazione deterministica e priva di perdite. Ciò consente ai ricercatori di variare l'alfabeto mantenendo costanti lingua, formulazione e significato.

Lo studio utilizza:

• Dataset: 300 frasi dal partizione devtest di FLORES+, che copre registri di notizie, istruzioni e viaggi.
• Varianti: Ogni frase appare in quattro forme: inglese (latino), serbo (latino), serbo (cirillico) e russo (cirillico).
• Condizioni: Per ogni variante, vengono testate tre condizioni:
  1. Originale: La traduzione professionale o la sua traslitterazione.
  2. Parafrasi: Una riscrittura che preserva il significato con una forma superficiale variata.
  3. Casuale: Una frase non correlata di lunghezza simile nella stessa lingua/alfabeto.
• Modelli e SAE: L'analisi primaria utilizza Gemma-3-27B con SAE Gemma Scope 2 (ampiezza del dizionario 16k, attivazione JumpReLU). I risultati sono validati attraverso diverse scale di modelli (1B, 12B) e architetture (Llama-3.1-8B con Llama Scope SAE).
• Metriche di valutazione:
  • Sovrapposizione delle caratteristiche (Feature Overlap): Misurata tramite la similarità di Jaccard degli insiemi di caratteristiche attive attraverso i livelli per determinare se le caratteristiche codificano un significato astratto.
  • Falsificazione dell'auto-interpretazione: Le caratteristiche vengono selezionate se si attivano sia sugli originali inglesi che sulle parafrasi russe (confermando il tracciamento semantico cross-lingue). Le loro etichette auto-generate (da Neuronpedia, usando Claude Sonnet e Gemini) vengono poi testate contro le versioni in serbo latino e cirillico. Un "errore" (miss) si verifica se una caratteristica etichettata per un contenuto non riesce ad attivarsi sullo stesso significato in un alfabeto o lingua diversa.

Risultati Chiave

1. Le caratteristiche SAE codificano il significato astratto:
   Lo studio conferma che le caratteristiche SAE codificano realmente contenuti semantici che sopravvivono ai cambiamenti di alfabeto, lingua e formulazione.

   • Invarianza dell'alfabeto: La traslitterazione tra serbo latino e cirillico preserva un alto grado di sovrapposizione delle caratteristiche (media Jaccard 0.73).
   • Caratteristiche semantiche cross-lingue: Le caratteristiche attivate dallo stesso contenuto in inglese e russo (che differiscono per alfabeto, lingua e formulazione) mostrano una sovrapposizione sostanziale (picco Jaccard 0.57), significativamente superiore ai baseline casuali (0.13). Ciò dimostra che esistono caratteristiche semantiche cross-lingue e che vale la pena etichettarle.

2. Le etichette di auto-interpretazione falliscono sistematicamente sulle forme meno rappresentate:
   Nonostante l'esistenza di caratteristiche semantiche, le etichette auto-generate non predicono accuratamente il comportamento delle caratteristiche in tutte le forme.

   • Tassi di errore (Miss Rates): Le caratteristiche etichettate per contenuto mancano lo stesso significato in serbo fino a 4 volte più spesso rispetto all'inglese. Ad esempio, al livello 53, il tasso di errore per le parafrasi inglesi è del 7,3%, mentre il tasso di errore medio per il serbo è del 30,1%.
   • Asimmetria dell'alfabeto: Anche tra i due alfabeti serbi (che sono traslitterazioni deterministiche l'uno dell'altro), le caratteristiche mancano il serbo cirillico più spesso del serbo latino. Il rapporto di errore tra cirillico e latino cresce con la profondità della rete, raggiungendo 1,35× nell'ultimo livello.
   • Correlazione con la distribuzione di addestramento: Questi fallimenti si allineano con la copertura stimata dei dati di addestramento. L'inglese è dominante nei corpora di pre-addestramento, il russo è ad alta risorsa ma meno dominante, mentre il serbo (specialmente il cirillico) è raro. L'affidabilità delle caratteristiche del modello degrada man mano che diminuisce la rappresentazione della forma di input nei dati di addestramento.

3. Divergenza dipendente dalla profondità:
   Il divario nella affidabilità si amplia all'aumentare della profondità della rete. Mentre l'affidabilità intra-lingua (inglese) migliora o rimane stabile negli strati più profondi, l'affidabilità cross-lingua (serbo) degrada. Ciò suggerisce che gli strati più profondi possano legare le rappresentazioni più strettamente a specifici input superficiali piuttosto che a concetti astratti.

4. Invisibilità del fallimento:
   Fondamentalmente, le etichette di auto-interpretazione stesse non forniscono alcuna indicazione di questi fallimenti. Un'etichetta come "atleti olimpici" appare accurata in base alle attivazioni massime della caratteristica (probabilmente esempi in inglese), ma fallisce nel predire il silenzio della caratteristica sul medesimo concetto in serbo cirillico.

Significatività e Rivendicazioni
L'articolo sostiene che le etichette di auto-interpretazione dovrebbero essere intese non come garanzie su un concetto in generale, ma come rivendicazioni sul comportamento di una caratteristica sui suoi input meglio rappresentati.

• Limitazioni degli strumenti attuali: I professionisti che si affidano a queste etichette per l'audit di sicurezza o il controllo del modello potrebbero essere tratti in inganno. Una caratteristica etichettata per un concetto critico per la sicurezza potrebbe rilevarlo in inglese ma non attivarsi in serbo cirillico, permettendo a contenuti dannosi di passare inosservati.
• Fallimento graduato: Il fallimento non è binario (alta risorsa vs bassa risorsa), ma graduato, correlato alla frequenza della specifica lingua/alfabeto nei dati di addestramento.
• Contributo metodologico: Lo studio fornisce un set di valutazione fattoriale controllato (rilasciato con il paper) che isola alfabeto, lingua, formulazione e significato, offrendo un metodo robusto per testare la generalizzabilità degli strumenti di interpretabilità in futuro.

Gli autori concludono che, sebbene gli SAE estraggono con successo caratteristiche semantiche, le attuali pipeline di auto-interpretazione non tengono il passo con la complessità della generalizzazione multilingue, creando un "punto cieco" in cui le etichette sono localmente accurate ma globalmente inaffidabili.