Riepilogo Tecnico: Steering Cross-Linguale per la Generazione di Linguaggio Figurato

Definizione del Problema

I Large Language Models (LLM) multilingue dimostrano la capacità di generare linguaggio figurato (ad esempio, metafore, idiomi, ironia) attraverso varie lingue. Tuttavia, rimane poco chiaro se i segnali neurali interni che guidano questo comportamento siano strettamente specifici per la lingua o se contengano componenti riutilizzabili e cross-linguali. Distinguere tra queste possibilità è fondamentale per comprendere l'entità delle rappresentazioni semantiche condivise nei modelli multilingue oltre il vocabolario e la sintassi superficiali. Nello specifico, il paper indaga se le direzioni di steering derivate dalle differenze di attivazione tra figurato e letterale in una lingua possano effettivamente indurre una generazione figurata simile in una lingua target differente senza riaddestramento o fine-tuning.

Metodologia

Gli autori utilizzano lo steering delle attivazioni come una sonda basata su interventi per testare la portabilità delle rappresentazioni del linguaggio figurato. La pipeline sperimentale prevede tre fasi principali:

1. Costruzione dei Vettori:

   • Contrastive Activation Addition (CAA): Per una lingua sorgente $g$ e una specifica categoria figurata $c$, gli autori costruiscono un vettore di steering $\hat{v}^{(l)}_{g,c}$ calcolando la differenza normalizzata tra le medie delle attivazioni degli stati nascosti degli esempi figurati ($D^+_{g,c}$) e degli esempi letterali ($D^-_{g}$) in uno specifico strato transformer $l$.
   • Dati: Lo studio utilizza set bilanciati di fino a 500 esempi figurati e 500 didascalie monolingue letterali (ad esempio, didascalie COCO) per ogni impostazione lingua-categoria.
   • Lingue e Categorie: Gli esperimenti coprono sei lingue (Inglese, Cinese, Bengalese, Spagnolo, Italiano, Tedesco) e cinque categorie figurative (idioma, metafora, similitudine, ironia, sarcasmo).

2. Intervento:

   • Durante la fase di prefill della generazione, il vettore di steering viene aggiunto allo stream residuo per ogni posizione del token del prompt: $h^{(l)'}_t = h^{(l)}_t + \alpha \hat{v}^{(l)}_{g,c}$.
   • L'intensità dell'intervento $\alpha$ è fissata a 1.0.
   • Steering Monolingue: I vettori vengono applicati a prompt nella stessa lingua da cui sono stati derivati.
   • Trasferimento Cross-Linguale Zero-Shot: Vettori derivati da una lingua sorgente (ad esempio, il Cinese) vengono applicati a prompt in una lingua target differente (ad esempio, l'Inglese) per testarne la trasferibilità.

3. Interventi Geometrici:

   • Aggregazione della Media Linguistica: Gli autori sintetizzano una direzione cross-linguale centrale mediando i vettori normalizzati da più lingue sorgenti (sia includendo che escludendo la lingua target, nota come Leave-Target-Out o LTO).
   • Ablazione Residua: Per testare se un nucleo geometrico condiviso guidi il comportamento, la componente di un vettore nativo target che si allinea con l'aggregato cross-linguale viene matematicamente rimossa (proiettata fuori). Le prestazioni di questo vettore residuo vengono poi valutate.

4. Valutazione:

   • Target Category Rate (TCR): La proporzione di continuazioni generate che esibiscono il fenomeno figurato target, valutata utilizzando DeepSeek-v4-flash come LLM-as-a-judge.
   • Coerenza: Una valutazione su scala 0–4 per la rilevanza contestuale e la coerenza logica.
   • Analisi Statistica: Vengono riportate le differenze percentuali accoppiate con intervalli di confidenza bootstrap al 95% e valori McNemar $q$ aggiustati.

Contributi Chiave

Il paper presenta tre contributi primari:

1. Efficace Steering Monolingue: Nelle impostazioni monolingue, i vettori di steering aumentano costantemente il Target Category Rate (Timento) rispetto ai baseline non steerati e ai controlli con vettori casuali. Questo effetto è osservato in 74 casi su 96, con la massima robustezza per le figure retoriche strutturali come metafora e similitudine.
2. Portabilità Cross-Linguale Zero-Shot: I vettori in lingua sorgente riescono a guidare con successo la generazione in lingua target in 369 casi su 416 di zero-shot. In particolare, in diversi casi, i vettori derivati da altre lingue eguagliano o superano persino le prestazioni dei vettori derivati direttamente dalla lingua target. Il Tedesco è identificato come un target particolarmente ricettivo, mentre il Bengalese mostra una forte capacità sorgente ma una debole ricettività.
3. Una Base Geometrica Condivisa per il Trasferimento:
   • Aggregazione: Gli aggregati cross-linguali sintetizzati (specificamente la media Leave-Target-Out) competono sistematicamente o superano i vettori di steering della lingua nativa.
   • Ablazione: Rimuovere la componente cross-linguale condivisa dai vettori nativi (ablazione residua) riduce drasticamente le capacità di generazione figurata. Ciò indica che lo steering trasferibile dipende da una componente rappresentativa comune e riutilizzabile piuttosto che da artefatti specifici della lingua.

Risultati

• Dipendenza dalla Categoria: La trasferibilità dei segnali di steering varia significamente per categoria. Metafora e similitudine esibiscono il trasferimento cross-linguale più robusto, con la metafora che mostra un guadagno medio di +17,2 punti percentuali attraverso le rotte. Al contrario, sarcasmo e ironia, che si basano fortemente sul contesto pragmatico e sulle sfumature culturali, mostrano una trasferibilità più debole e sono più resistenti allo steering cross-linguale.
• Asimmetria: Il trasferimento cross-linguale è asimmetrico. Mentre alcune lingue (come il Tedesco) sono altamente ricettive ai segnali di steering esterni, altre (come il Bengalese) sono target scarsi nonostante siano sorgenti potenti. Ciò suggerisce che la capacità di ricevere un segnale figurato sia limitata dai priori generativi della lingua target.
• Geometria vs. Prestazioni Native: Gli aggregati di vettori "Leave-Target-Out" (LTO), costruiti interamente senza dati dalla lingua target, raggiungono TCR funzionalmente comparabili ai vettori nativi nella stragrande maggioranza degli scenari (85%–98% dei casi testati).
• Coerenza: L'utilizzo di una geometria cross-linguale condivisa non comporta penalità di coerenza aggiuntive rispetto allo steering nativo. Tuttavia, l'ablazione del segnale condiviso causa il regresso del modello verso il suo stato predefinito altamente coerente e non steerato, confermando che la perdita nella generazione figurata non è dovuta all'incoerenza ma alla rimozione dello specifico segnale di steering.

Significato e Rivendicazioni

Il paper sostiene di fornire una prova diretta che i modelli linguistici multilingue organizzano l'intento figurato complesso attraverso un segnale cross-linguale riutilizzabile ma dipendente dal target.

• Rappresentazione Condivisa: I risultati suggeriscono che i meccanismi interni per la generazione di certi tipi di linguaggio figurato (particolarmente quelli strutturali come la metafora) non sono isolati a specifiche lingue, ma sono radicati in un nucleo geometrico condiviso e indipendente dalla lingua all'interno dello spazio di rappresentazione del modello.
• Dipendenza Comportamentale: Lo studio stabilisce che, sebbene il segnale sia riutilizzabile, l'efficacia dell'applicazione è strettamente dipendente dalla capacità generativa della lingua target. Il modello può concettualmente organizzare l'intento figurato attraverso le lingue, ma la proiezione di successo di tale intento è vincolata dai priori appresi della lingua target.
• Implicazioni per il Controllo: Questi risultati dimostrano che lo steering cross-linguale è un meccanismo vitale per controllare comportamenti fini nei modelli multilingue, offrendo una base strutturale per l'allineamento e il controllo che trascende i confini delle singole lingue.

Gli autori mantengono una posizione modesta, osservando che le loro scoperte riflettono schemi comportamentali osservabili sotto l'attuale disponibilità di dati e che il disaccoppiamento completo delle rappresentazioni specifiche per categoria dalla varianza di costruzione rimane un importante ambito per il lavoro futuro. Evidenziano inoltre i limiti riguardanti la scarsità di dataset paralleli per certe categorie (ad esempio, la similitudine) e le sfide nel valutare categorie pragmatiche come il sarcasmo in contesti di continuazione della frase.