Sintesi Tecnica: STEEREVAL – Interventi al momento dell'inferenza per metriche di riassunto neurale multilingue

Definizione del Problema

La valutazione dei compiti di Generazione di Linguaggio Naturale (NLG), in particolare della sintesi (summarization), affronta un collo di bottiglia significativo negli scenari multilingue. Sebbene metriche come BLEU e ROUGE abbiano stabilito la valutazione automatica, le tendenze recenti favoriscono le metriche basate su modelli (ad esempio, BERTScore, COMET) e i Large Language Models (LLM) come giudici grazie alla loro più forte correlazione con i giudizi umani. Tuttavia, studi empirici indicano che queste metriche multilingue spesso non riescono a correlare bene con i giudizi umani attraverso diverse lingue.

Gli autori ipotizzano che questo divario di prestazioni derivi dall'architettura interna degli LLM multilingue, che spesso utilizzano l'inglese come "lingua pivot" per l'elaborazione. Quando un modello elabora una lingua a basse risorse, le rappresentazioni interne possono disallinearsi con questo pivot inglese, portando a una degradazione delle prestazioni a valle. Questo disallineamento, precedentemente collegato a problemi nella traduzione automatica, è proposto qui come causa radice per la scarsa performance della valutazione della sintesi in contesti non inglesi.

Metodologia

Il documento propone STEEREVAL, un framework che applica interventi al momento dell'inferenza per "guidare" (steer) le attivazioni interne delle metriche neurali verso un pivot inglese. Questo approccio non richiede il riaddestramento del modello. La metodologia prevede due tecniche primarie di intervento applicate al momento del test:

1. Intervento basato su Vettore: Basandosi sull'ipotesi della rappresentazione lineare, gli autori calcolano un vettore di guida che rappresenta la direzione da una lingua sorgente ($h_s$) all'inglese ($h_t$) utilizzando dati paralleli (dataset FLORES).

   • Il vettore è calcolato come la differenza tra le rappresentazioni medie della lingua target e della lingua sorgente: $\bar{h}_v = \bar{h}_t - \bar{h}_s$.
   • Durante l'inferenza, questo vettore viene aggiunto alle attivazioni del modello: $h^{mix}_{q,l} = h_s + \rho \bar{h}_v$, dove $\rho$ controlla la forza della guida.

2. Intervento basato su Mappa: Ispirato ai recenti lavori sulla generazione cross-linguale, questo metodo apprende una matrice di mappatura lineare $W_l$ che proietta le rappresentazioni della lingua sorgente nello spazio della lingua target.

   • La mappatura viene appresa minimizzando la distanza tra le rappresentazioni sorgente e target su dati paralleli.
   • Durante l'inferenza, la rappresentazione sorgente viene proiettata e miscelata con l'originale: $h^{mix}_{q,l} = (1 - \sigma)h_s + \sigma \hat{h}_t$, dove $\sigma$ controlla il grado di deviazione.

Gli autori valutano questi interventi su due tipi di metriche:

• LLM-as-a-Judge (LLM come Giudice): Prompting diretto (punteggio 1–5) e GPTScore (utilizzando le probabilità di generazione condizionale). I modelli testati includono Llama-3-8B, Bloom-7B e Aya-Expanse (8B e 32B).
• Metrica basata su Encoder: COMET (specificamente il modello wmt22-comet-da), che è tipicamente usato per la traduzione automatica ma qui adattato per la sintesi.

La valutazione è condotta su un dataset di meta-valutazione che copre otto lingue tipologicamente diverse (arabo, spagnolo, ebraico, giapponese, turco, ucraino, yoruba, cinese) con giudizi umani su coerenza e completezza.

Risultati Chiave

Lo studio dimostra che guidare le attivazioni verso un pivot inglese migliora costantemente la correlazione tra le metriche neurali e i giudizi umani:

• Miglioramento Generale: I metodi di guida (sia Vettore che Mappa) migliorano quasi sempre la correlazione rispetto ai baseline non guidati. In molti casi, in particolare dove la performance del baseline era bassa, il miglioramento relativo ($\Delta\%$) ha superato il 100%, raddoppiando efficacemente la correlazione.
• Impatto sulle Lingue a Basse Risorse: Le lingue con una performance di baseline più debole (ad esempio, ebraico, turco, yoruba) hanno beneficiato maggiormente della guida. Ad esempio, il prompting diretto di Bloom-7B sulla coerenza del giapponese è migliorato da una correlazione quasi nulla a 0,18 dopo la guida.
• Specificità della Metrica:
  • COMET: Ha mostrato un'alta reattività alla guida, con grandi miglioramenti in quasi tutte le lingue e dimensioni.
  • Prompting Diretto: Ha esibito un comportamento altamente variabile. Sebbene i guadagni relativi fossero spesso drammatici, essi si verificavano frequentemente quando le correlazioni di baseline erano vicine allo zero, risultando in correlazioni assolute modeste.
  • GPTScore: Ha beneficiato moderatamente della guida, con rendimenti decrescenti osservati quando le correlazioni di baseline erano già forti.
• Vettore vs Mappa: La guida vettoriale ha generalmente prodotto guadagni maggiori rispetto alla guida basata su mappa, in particolare per COMET e le coppie lingua-metrica con prestazioni inferiori. Tuttavia, la forza di guida ottimale ($\rho$ o $\sigma$) variava significamente per lingua, suggerendo che un singolo parametro globale sia subottimale.
• Lingua Pivot: Gli esperimenti utilizzando il francese come lingua pivot alternativa hanno prodotto anch'essi miglioramenti significativi, supportando l'ipotesi che guidare verso una lingua ad alte risorse e ben allineata migliori le prestazioni.

Contributi Chiave

1. Guida delle Attivazioni per le Metriche: Il documento introduce e valida l'applicazione delle tecniche di guida delle attivazioni alle metriche di sintesi multilingue. Questa è la prima esplorazione della guida per le metriche basate su encoder (come COMET) e mostra miglioramenti coerenti per gli evaluator basati su LLM.
2. Meta-Analisi Multilingue: Gli autori forniscono una meta-analisi completa delle metriche di sintesi basate su modelli attraverso otto lingue diverse, evidenziando l'inconsistenza degli attuali approcci LLM-as-a-judge negli ambienti non inglesi.
3. Similarità Cross-Linguale dei Vettori: Lo studio misura empiricamente la similarità dei vettori di guida lingua-inglese attraverso i layer. Trova che questi vettori sono ampiamente simili tra le lingue (eccetto per outlier come lo yoruba), corroborando il lavoro precedente sulla geometria condivisa delle rappresentazioni linguistiche.

Significato e Rivendicazioni

Il documento afferma che la dipendenza interna degli LLM multilingue dall'inglese come pivot è un fattore critico che limita l'affidabilità della valutazione automatica in altre lingue. Correggendo esplicitamente questo disallineamento al momento dell'inferenza, STEEREVAL offre un metodo pratico e senza addestramento per migliorare le prestazioni delle metriche.

Gli autori pongono questo lavoro come un passo verso l'utilizzo di intuizioni interne ai modelli per scenari di valutazione pratica. Notano che, sebbene il loro focus sia sulla sintesi, i risultati suggeriscono che la guida potrebbe essere una strategia generalizzabile per migliorare la generalizzazione multilingue nelle metriche neurali. Il documento rimane modesto riguardo alle implicazioni future, suggerendo che il lavoro futuro potrebbe investigare la combinazione di interventi specifici per lingua e per dimensione, ma non propone nuove applicazioni specifiche oltre l'ambito della valutazione delle metriche.