Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders

Sintesi Tecnica: Sonda delle Inferenze Latenti dell'Identità Colombiana in Qwen2.5-7B con Autoencoder di Linguaggio Naturale

Definizione del Problema
Si sa che i grandi modelli linguistici (LLM) inferiscono attributi demografici — come nazionalità, dialetto e stato socioeconomico — da sottili indizi linguistici, anche quando tali attributi non sono esplicitamente dichiarati. Sebbene i modelli istruiti (instruction-tuned) spesso rifiutino di rispondere a query demografiche esplicite, continuano a condizionare la propria generazione su attributi inferiti, portando a output distorti. Questo fenomeno è particolarmente acuto per le varietà di spagnolo sottorappresentate; lo spagnolo colombiano, ad esempio, ottiene punteggi significativamente più bassi nei benchmark di riconoscimento rispetto allo spagnolo peninsulare, una disparità attribuita alla composizione dei dati di addestramento piuttosto che al volume di risorse digitali.

Nonostante le prove che le inferenze demografiche avvengano, manca una ricerca che ispezioni cosa i modelli rappresentino internamente prima di verbalizzare un output. Nello specifico, non è noto se i modelli inferiscano l'identità colombiana da indizi impliciti nello stesso modo in cui si è dimostrato che inferiscono altre nazionalità (ad esempio, la russa) prima che appaia qualsiasi evidenza lessicale nel prompt. Questo studio affronta il divario tra gli studi di probing lineare (che mostrano l'esistenza dell'inferenza demografica) e gli studi di audit del bias (che mostrano il danno di tale inferenza), con l'obiettivo di localizzare quando un'inferenza dell'identità colombiana emerga da indizi indiretti utilizzando un approccio non supervisionato e privo di addestramento (training-free).

Metodologia
Gli autori impiegano Natural Language Autoencoders (NLA), specificamente la coppia open-source rilasciata da Fraser-Taliente et al. [2026], per verbalizzare le attivazioni del residual stream. Lo studio utilizza il modello Qwen2.5-7B-Instruct.

• Design dei Dati: Il dataset consiste in 30 prompt organizzati in 15 coppie spagnolo-inglese accoppiate. Questi sono categorizzati in tre livelli di esplicitezza ($n=5$ per livello):
  • Esplicito: Contiene marcatori colombiani inequivocabili (controllo positivo).
  • Implicito: Contiene esattamente un indizio sottile (analogo al caso "vodka" $\to$ "russo" in lavori precedenti).
  • Neutro: Correlato tematicamente ma privo di marcatori nazionali (controllo negativo).
• Estrazione delle Attivazioni: Gli autori estraggono le attivazioni del residual stream dallo strato 20 ($\ell=20$), la profondità per la quale l'NLA è stato addestrato. Per ogni prompt, la sequenza di token è divisa in quattro quartili posizionali contigui. Viene selezionato il vettore di attivazione del token finale di ciascun quartile ($q_1, q_2, q_3, q_4$), producendo quattro vettori distinti per prompt.
• Verbalizzazione: Ogni vettore di attivazione viene passato una sola volta al verbalizzatore (AV) dell'NLA per generare una spiegazione in linguaggio naturale ($z_k$). Ciò produce quattro spiegazioni per prompt.
• Analisi: I 120 risultati delle spiegazioni (30 prompt $\times$ 4 quartili) vengono codificati da un LLM (Claude Sonnet) per menzioni di nazionalità, stato socioeconomico e stereotipi. La codifica richiede rigorosamente l'evidenza testuale esplicita e citazioni testuali. Per distinguere tra la confabulazione generale della nazionalità e la specifica identità colombiana, gli autori taggano le menzioni che nominano specificamente la Colombia o metonimie inequivocabili (es. Bogotá, TransMilenio).
• Approccio Statistico: Dato il piccolo campione ($n=5$ per cella), lo studio riporta tassi descrittivi con intervalli Wilson score e utilizza il test esatto di Fisher per i confronti implicito-vs-neutro. Evita di imputare casi di "mai occorso" nelle distribuzioni di onset, trattando la loro assenza come dato informativo.

Risultati Chiave

• Emergenza dell'Inferenza Latente: Nel gruppo Implicito, il tasso di menzioni della nazionalità nelle spiegazioni AV cresce monotonicamente attraverso i quartili (da 0.10 in Q1 a 0.78 in Q4), supportando l'ipotesi dell'accumulo di contesto.
• Risultati Specifici per la Colombia: Restringendo l'analisi alle menzioni specifiche della Colombia (escludendo le confabulazioni di Spagna, Turchia o Canada), il gruppo di controllo Neutro rimane a 0.00 in tutti i quartili. Al contrario, il gruppo Implicito mostra un aumento delle menzioni specifiche della Colombia a partire da Q2 (0.10) e un incremento attraverso Q4.
• Tempistica della Rappresentazione: Sebbene il quartile medio della prima menzione sia comparabile tra i gruppi (circa Q3) per i prompt che attivano una menzione, la frequenza di attivazione della menzione differisce significativamente. Il gruppo Esplicito attiva una menzione in 10/10 casi, l'Implicito in 8/10, e il Neutro in 6/10.
• Significatività Statistica: Un test esatto di Fisher che confronta i gruppi Implicito e Neutro rivela una differenza statisticamente significativa solo nell'ultimo quartile (Q4, $p=0.023$). Gli autori interpretano questo come un'evidenza direzionale piuttosto che un effetto confermativo a causa del piccolo campione e della mancanza di correzione per confronti multipli.
• Divergenza Cross-Lingual: L'analisi qualitativa dei prompt neutri rivela che le rappresentazioni interne del modello divergono per lingua. I prompt in spagnolo spesso attivano assunzioni di vulnerabilità migratoria o contesti locali (es. EPS, TransMilenio), mentre i prompt in inglese tendono a internazionalizzare il contesto (es. spostandosi su equivalenti canadesi o statunitensi) o a diluire i riferimenti culturali specifici in framework globali generici.

Contributi e Rivendicazioni
Il documento presenta i seguenti modesti contributi:

1. Applicazione Metodologica: Dimostra l'applicazione degli Autoencoder di Linguaggio Naturale per sondare le inferenze latenti della nazionalità in varietà di spagnolo, estendendo il lavoro precedente focalizzato su altre lingue.
2. Evidenza di Inferenza Non Verbalizzata: Fornisce evidenza direzionale che Qwen2.5-7B-Instruct rappresenta internamente l'identità colombiana partendo da un singolo indizio lessicale implicito prima che tale identità venga verbalizzata nell'output del modello.
3. Identificazione dei Modelli di Fallimento: Lo studio evidenzia un modello di fallimento specifico degli NLA in cui essi confabulano nazionalità plausibili ma contestualmente errate (es. sostituendo la Spagna con la Colombia). Gli autori propongono un meccanismo di filtraggio specifico (controllo di metonimie specifiche della Colombia) per mitigare questo problema in future sonde di identità regionale.
4. Bias Specifici della Lingua: Offre evidenza qualitativa che la contestualizzazione interna del modello per i prompt neutri è fortemente dipendente dalla lingua, con lo spagnolo che innesca bias locali/migratori e l'inglese che innesca normalizzazioni internazionalizzate o eurocentriche/statunitensi.

Significatività
Gli autori posizionano questo lavoro come uno studio pilota che collega l'interpretabilità a livello di attivazione con la valutazione del bias per le varietà di spagnolo sottorappresentate. Non pretendono di aver provato un effetto definitivo e statisticamente potente, ma di aver stabilito un percorso metodologico per rilevare quando e come emergono le inferenze latenti. La significatività risiede nell'osservazione che il bias persiste nelle rappresentazioni contestualizzate anche quando le query demografiche esplicite vengono rifiutate, e che queste inferenze possono essere localizzate in strati specifici e quartili posizionali utilizzando verbalizzatori non supervisionati. Gli autori concludono che il passo successivo necessario è replicare questo design con campioni più ampi e attraverso molteplici strati del residual stream per determinare se l'osservata separazione nel quartile finale sia una proprietà della profondità specifica testata o un fenomeno generale.