The Translation Tax Is Not a Scalar: A Counterfactual Audit of English-Source Cue Inheritance in Chinese Multilingual Benchmarks

Sintesi Tecnica: La Tassa di Traduzione Non è uno Scalare

Enunciato del Problema
La valutazione dei Modelli Linguistici di Grande Dimensione (LLM) in contesti multilingue si basa frequentemente su benchmark tradotti (ad es. MMMLU, Belebele, XCOPA). Un'ipotesi prevalente, definita "Tassa di Traduzione", postula che i benchmark tradotti gonfino artificialmente i punteggi dei modelli perché questi sfruttano indizi residui di origine inglese preservati attraverso la traduzione, piuttosto che dimostrare una genuina comprensione linguistica. Tuttavia, la letteratura manca di una quantificazione rigorosa di tale effetto. Le preoccupazioni esistenti riguardanti gli artefatti della traduzione (ad es. Artetxe et al., 2020) e le lacune di rappresentatività (ad es. Sitaram, 2025; Wu et al., 2025) suggeriscono che le variazioni dei punteggi indotte dalla traduzione sono complesse, eppure nessun singolo studio ha sistematicamente scomposto queste variazioni in inflazione guidata da indizi versus degradazione semantica attraverso molteplici strategie di stima.

Metodologia
Questo articolo conduce un audit controfattuale dei benchmark da inglese a cinese utilizzando un approccio di triangolazione con quattro distinti stimatori per isolare la "Tassa di Traduzione" (TT). Lo studio utilizza un sottoinsieme stratificato di 228 voci da MMMLU e 100 voci da Belebele, valutati su nove modelli (Gruppo A: modelli all'avanguardia incentrati sull'inglese; Gruppo B: ottimizzati per il cinese; Gruppo C: multilingue open-source).

1. Stimatore E1 (Traduzione Inversa): Misura il divario di punteggio tra le voci originali in inglese e le voci che hanno compiuto un viaggio di andata e ritorno attraverso il cinese fino all'inglese. Questo funge da proxy per il residuo di indizi strutturali, ma è riconosciuto come un limite superiore rumoroso a causa del rumore della traduzione inversa e della perdita di naturalità.
2. Stimatore E2 (Annotazione Bilingue Nativa): Un tentativo di calibrazione in cui gli annotatori assegnano un punteggio alle voci in base all'identificabilità degli indizi, al residuo culturale e al residuo sintattico. In questo studio, ciò è stato eseguito come calibrazione di una rubrica a un singolo annotatore su 30 voci utilizzando un LLM, fungendo da controllo sulla copertura della rubrica piuttosto che come stimatore umano completo.
3. Stimatore E3 (Controllo Non Tradotto INCLUDE): Confronta le prestazioni sul MMMLU cinese tradotto con INCLUDE Chinese, un dataset ottenuto nativamente da esami regionali. Questo fornisce un confronto di validità esterna, sebbene manchi di corrispondenza a livello di singola voce.
4. Stimatore E4 (Test di Stress di Naturalizzazione LLM Abbinato): Un controfattuale in cui il contenuto della voce (risposta, opzioni, semantica) rimane fisso mentre la forma superficiale cinese viene riscritta da un LLM per essere più "naturale". Questo è l'unico stimatore che varia la naturalità superficiale mantenendo fisso il contenuto. Un passaggio metodologico critico ha comportato la correzione di un bug nella costruzione del prompt (etichette di scelta duplicate) nella corsa iniziale, che ha alterato significativamente i risultati.

Risultati Chiave
Lo studio rileva che la Tassa di Traduzione non è una correzione scalare uniforme, ma un insieme di rischi di validità dipendenti dallo stimatore e dalla voce.

• E1 (Traduzione Inversa): Le stime puntuali sono piccole (variando da 0,000 a +0,047). Sebbene cinque delle sei celle modello-benchmark mostrassero stime positive, gli intervalli di confidenza per la maggior parte includevano lo zero. L'unica cella che escludeva marginalmente lo zero (MMMLU/gpt-5.4-mini) è stata identificata come fragile per il parser. Il bootstrap raggruppato per cluster di voci ha prodotto un piccolo effetto medio positivo (+0,022, IC 95% [0,001, 0,044]), suggerendo che esiste una lieve tassa di traduzione ma è altamente sensibile alla validità del parser.
• E2 (Annotazione): La corsa di calibrazione non ha trovato alcuna correlazione tra i punteggi degli indizi e i guadagni di prestazioni a livello di voce. Il modello gpt-4o ha mostrato una correlazione negativa e i dati erano dominati da punteggi in parità, rendendo questo stimatore inconcludente per lo sfruttamento degli indizi a questa scala.
• E3 (Controllo INCLUDE): I modelli incentrati sull'inglese (Gruppo A) hanno mostrato divari vicini allo zero tra MMMLU tradotto e INCLUDE nativo. I modelli ottimizzati per il cinese (Gruppo B) hanno mostrato risultati misti: due modelli (deepseek-chat, qwen-max) hanno performato significativamente peggio su MMMLU tradotto rispetto a INCLUDE nativo, mentre un terzo (glm-4.5) ha mostrato un divario positivo. Ciò suggerisce che potrebbero esistere interazioni tra famiglie di modelli, ma sono confondute dalle differenze di dominio (accademico vs esame regionale).
• E4 (Naturalizzazione): Dopo la correzione del bug del prompt, lo studio ha rilevato nessuna interazione statisticamente significativa tra famiglie di modelli. L'affermazione della bozza precedente di una forte interazione era un artefatto del bug combinato con la fragilità del parser di glm-4.5. Tuttavia, un effetto dose-risposta è persistito: le voci con alto "residuo di traduzione" (dove i modelli avevano precedentemente fallito in cinese ma avuto successo in inglese) hanno mostrato un guadagno di prestazioni quando naturalizzate (+0,103), mentre le voci a basso residuo non hanno mostrato guadagni (-0,015).

Significato e Affermazioni
L'articolo sostiene che la "Tassa di Traduzione" non può essere trattata come un singolo valore scalare da sottrarre ai punteggi dei benchmark. Al contrario, i rischi di validità sono eterogenei:

1. Dipendenza dallo Stimator: Diversi proxy producono diverse grandezze e direzioni dell'effetto.
2. Dipendenza dalla Voce: La tassa è concentrata su voci specifiche con alto residuo di traduzione, non distribuita uniformemente attraverso il benchmark.
3. Dipendenza dal Modello: Sebbene gli effetti aggregati delle famiglie di modelli fossero in gran parte assenti o confonduti dall'adattamento al dominio, la fragilità del parser e la sensibilità al prompt giocano un ruolo critico nei punteggi osservati.

Gli autori concludono che i benchmark tradotti introducono rischi di validità che sono meglio compresi come un insieme di condizioni piuttosto che come una penalità fissa. Rilasciano una lista di controllo per la segnalazione per i futuri articoli su benchmark tradotti, sottolineando la necessità di divulgare la portata dello stimatore, la fragilità del parser e i confronti tra sottogruppi. Lo studio non afferma di aver misurato direttamente la "latente" Tassa di Traduzione, ma fornisce un quadro per identificare quando e dove gli indizi di traduzione potrebbero gonfiare artificialmente i punteggi.