A Universal Vibe? Finding and Controlling Language-Agnostic Informal Register with SAEs

1. Il Problema: Il "Divario di Registro" (Register Gap)

Nonostante i Modelli Linguistici di Grande Dimensione (LLM) abbiano eccellenti capacità multilingue nella sintassi e nella conoscenza fattuale, faticano a gestire i registri pragmatici informali (come lo slang).

• Il Gap: I modelli sono addestrati prevalentemente su testi standard e formali, portando a una mancata comprensione o generazione appropriata del linguaggio colloquiale, che è fondamentale per la segnalazione sociale e l'intimità culturale.
• La Domanda di Ricerca: Quando un LLM incontra registri informali in culture diverse, li elabora come memorizzazioni isolate e specifiche per lingua, o costruisce un'astrazione unificata e agnostica alla lingua del "casual human interaction"?
• Limiti delle ricerche precedenti: Gli studi precedenti si sono concentrati su fatti e sintassi, o hanno utilizzato classificatori "black-box" che non rivelano i meccanismi interni. Inoltre, spesso non riescono a distinguere tra la semplice presenza di parole slang e l'effettivo contesto pragmatico.

2. Metodologia

Gli autori hanno indagato le rappresentazioni interne del modello Gemma-2-9B-IT utilizzando Sparse Autoencoders (SAE) per decomporre le attivazioni neurali dense in caratteristiche sparse e interpretabili.

• Dataset Innovativo: Per isolare il registro pragmatico dal bias lessicale (evitando che il modello riconosca lo slang solo per la presenza di parole specifiche), è stato creato un dataset multilingue (Inglese, Ebraico, Russo) basato su termini polisemici.
  • Ogni termine target appare sia in un contesto letterale/standard che in uno slang/informale (es. "fire" come incendio vs. "fire" come "fantastico").
  • Questo costringe il modello a risolvere il registro esclusivamente dal contesto pragmatico, non dall'identità della parola.
• Estrazione delle Caratteristiche:
  • Sono state analizzate le attivazioni del residual stream su token target specifici.
  • È stato calcolato un punteggio di differenza di attivazione ($\Delta_i$) per ogni feature SAE: quanto più spesso si attiva per lo slang rispetto al significato letterale.
  • Sono state selezionate le top-100 feature per ogni lingua e analizzate le sovrapposizioni.
• Analisi Geometrica: Le feature condivise sono state analizzate nello spazio vettoriale del decoder per verificare la coerenza geometrica (similarità coseno).
• Steering Attivazionale (Causalità): Per provare che queste feature causano il registro informale e non solo lo correlano, gli autori hanno utilizzato lo steering. Hanno creato vettori di steering sommando i pesi dei decoder delle feature condivise e li hanno iniettati nel residual stream durante la generazione per vedere se potevano spostare il registro del output.

3. Contributi Chiave

Il lavoro offre tre contributi principali:

1. Metodologico: Introduzione di un dataset controllato lessicalmente con termini polisemici per isolare il registro pragmatico da bias lessicali, applicato a tre lingue tipologicamente diverse.
2. Osservazionale: Identificazione di un "sottospazio di registro informale" geometricamente coerente e condiviso tra le lingue, che diventa più definito negli strati profondi del modello.
3. Causale: Dimostrazione che lo steering con queste feature condivise modula causalmente la formalità dell'output, con un trasferimento zero-shot su lingue mai viste durante l'estrazione delle feature.

4. Risultati Principali

• Struttura Ibrida: La maggior parte del segnale di registro informale è distribuita su feature specifiche per lingua o bilingui. Tuttavia, esiste un nucleo condiviso piccolo ma robusto (9 feature comuni a Inglese, Ebraico e Russo).
• Coerenza Geometrica: Questo nucleo condiviso non è una coincidenza statistica; le sue feature occupano una regione coerente e densa nello spazio del decoder, specialmente nello strato profondo (Layer 20), formando un "isola" geometrica distinta.
• Steering Causale:
  • Applicando vettori di steering derivati da questo nucleo condiviso, è stato possibile spostare sistematicamente l'output da formale a informale (e viceversa) in tutte e tre le lingue sorgente.
  • Trasferimento Zero-Shot: Lo stesso vettore di steering ha funzionato su 6 lingue non viste (Tedesco, Giapponese, Hindi, Thai, Georgiano, Amarico), appartenenti a famiglie linguistiche e sistemi di scrittura completamente diversi.
  • Questo dimostra che il modello non sta semplicemente traducendo slang inglese, ma sta attivando un concetto astratto di "informalità" che si manifesta con slang culturalmente appropriato per la lingua target.
• Profondità del Modello: Il segnale di registro informale è più diffuso e meno coerente geometricamente negli strati superficiali (Layer 9), ma diventa più selettivo, coerente e potente negli strati profondi (Layer 20).

5. Significato e Implicazioni

Questo studio fornisce la prima evidenza meccanicistica che gli LLM multilingue internalizzano il registro informale non come un insieme di euristiche superficiali specifiche per lingua, ma come un'astrazione pragmatica portatile e agnostica alla lingua.

• Interpretabilità: Dimostra che i concetti sociali e pragmatici complessi possono essere mappati in sottospazi geometrici condivisi all'interno delle reti neurali.
• Sicurezza e Allineamento: Comprendere questi meccanismi è cruciale per colmare il "register gap", permettendo di calibrare i modelli non solo per l'accuratezza fattuale, ma anche per la competenza sociolinguistica, riducendo i rischi di sicurezza legati a messaggi dannosi mascherati da linguaggio informale.
• Linguistica Computazionale: Apre la strada allo studio di universali pragmatici e alla mappatura strutturale dei registri linguistici attraverso gli spazi latenti dei modelli.

In sintesi, il paper conferma che esiste un "vibe universale" (una rappresentazione interna comune) per l'informalità, che può essere identificata, isolata e controllata meccanicisticamente attraverso diverse lingue.