Sintesi Tecnica: Le Azioni Parlano Più delle Parole

Definizione del Problema

Le attuali valutazioni multilingue degli agenti che utilizzano strumenti si concentrano quasi esclusivamente sulla correttezza della risposta finale, scartando le tracce delle azioni intermedie. Questo approccio presuppone che se un agente produce la risposta corretta in più lingue, il suo comportamento sia coerente. Tuttavia, per un agente, la "rotta" (la sequenza di chiamate agli strumenti e i passaggi intermedi) è il prodotto effettivo. Rotte divergenti portano a costi, latenze, modalità di fallimento e problemi di audit differenti. Una salvaguardia validata su una traccia in inglese potrebbe non essere valida per una traccia non inglese se la politica di azione sottostante differisce, anche se l'output finale è identico.

Il problema centrale è la mancanza di una metrica difendibile per misurare la ritenzione della policy cross-lingue: il grado in cui un agente esegue la stessa sequione di azioni per compiti semanticamente identici in diverse lingue. Le misurazioni standard di similarità sono inaffidabili a causa di cinque specifici fattori di confondimento:

1. Assenza di Baseline: I modelli non sono perfettamente auto-coerenti; un modello interrogato sulla stessa domanda due volte nella stessa lingua produce spesso tracce diverse. Senza una baseline nella stessa lingua, le differenze cross-lingue non possono essere isolate.
2. Bias della Lunghezza della Traccia: Tracce più brevi ottengono punteggi artificialmente più alti nei parametri di similarità.
3. Bias della Traccia Vuota: Tracce senza azioni ottengono un punteggio perfetto (1.0) sulla similarità, falsando i risultati.
4. Effetto Soffitto (Ceiling Effect): Il massimo accordo possibile è limitato dalla riproducibilità dello stesso modello (auto-coerenza).
5. Pavimento del Caso (Chance Floor): Tracce non correlate concordano per caso più del 50% delle volte, creando una baseline non nulla per la similarità.

Metodologia

Gli autori propongono un protocollo per misurare la Ritenzione della Policy Normalizzata ($\tilde{I}$) correggendo esplicitamente per i cinque fattori di confondimento elencati sopra.

• Configurazione Sperimentale:

  • Modelli: 8 modelli istruiti (inclusi Gemma-3, Sarvam-M, Qwen3, Llama-4 e GPT-OSS) con range da 4B a 235B di parametri, che coprono architetture dense e Mixture-of-Experts.
  • Compiti: 6 benchmark paralleli (FLORES-200, XQuAD, XNLI, Belebele, XCOPA e una suite sintetica) renderizzati in 41 lingue.
  • Scala: 2,38 milioni di rollout di agenti attraverso 505 celle.
  • Scaffold: Uno scaffold di utilizzo strumenti simbolico fisso (Pensiero/Azione/Fine) con un alfabeto di 5 strumenti condiviso. Le tracce sono estratte tramite regex; gli strumenti sono simbolici (analizzati ma non eseguiti).

• Protocollo di Misurazione:

  • Repliche: Ogni coppia compito-lingua viene generata due volte sotto condizioni identiche (stesso seed, compito, budget) per stabilire una baseline nella stessa lingua ($I_{within}$).
  • Confronto Cross-Lingue: Le tracce di diverse lingue vengono confrontate ($I_{cross}$).
  • Normalizzazione: La metrica è definita come $\tilde{I} = I_{cross} / I_{within}$. Questo normalizza l'accordo cross-lingue rispetto al proprio soffitto di auto-coerenza del modello.
  • Correzioni:
    • Corrispondenza della lunghezza (length-matching) in entrambe le direzioni per eliminare il bias della lunghezza della traccia.
    • Esclusione delle tracce vuote.
    • Misurazione del pavimento del caso tramite permutazione piuttosto che per assunzione.
    • Correzione per l'effetto soffitto (auto-coerenza).

• Interventi:

  • Scala di Temperatura (Temperature Ladder): Test attraverso temperature $T \in \{0, 0.3, 0.5, 0.7, 1.0\}$ per distinguere il rumore di campionamento dalla divergenza strutturale.
  • Ablazione del Pivot in Inglese: Rimuovere lo strumento Translate o imporre esso come primo passo per testare la dipendenza causale dall'inglese.
  • Manipolazione della Lunghezza della Traccia: Variare artificialmente le lunghezze delle tracce per isolare gli effetti della lunghezza.

Risultati Chiave

1. L'Effetto Cresce con la Correzione

Contrariamente all'intuizione che correggere i fattori di confondimento possa ridurre l'effetto osservato, ogni correzione applicata (corrispondenza della lunghezza, rimozione tracce vuote, aggiustamento del pavimento del caso) ha aumentato la divergenza misurata. Il gap grezzo tra le lingue era un limite inferiore; il gap corretto era significativamente più ampio.

2. Convergenza alla Frontiera

Sotto decodifica greedy ($T=0$), quattro diversi modelli di frontiera (che spaziano per scala, architetture e mix di addestramento) hanno converguto su un tasso di ritenzione della policy quasi identico: 71–73%.

• L'identità del modello spiegava solo il 5,7% della varianza in questa metrica normalizzata.
• Al contrario, a $T=0.5$ (con campionamento incluso), l'identità del modello spiegava il 74,8% della varianza, e le classifiche si invertivano completamente.
• Ciò suggerisce che la ritenzione della policy cross-lingue è una proprietà strutturale dei modelli sotto decodifica greedy, non un artefatto del rumore di campionamento.

3. Il Confine della Regolarità

La regolarità del 71–73% decade per i modelli al di sotto di circa 10 miliardi di parametri.

• I modelli più piccoli (4B, 8B) hanno mostrato un'alta variabilità.
• L'apparente ordine dei piccoli modelli basato sulle metriche grezze era in gran parte un artefatto del "pavimento del caso" (tracce più brevi nei modelli piccoli portavano a punteggi di similarità artificialmente alti). Una volta corretti, la classifica dei piccoli modelli si è invertita.

4. Il Meccanismo del Pivot in Inglese

Lo studio identifica un meccanismo causale per la divergenza: Gli agenti incanalano i compiti non inglesi attraverso un pivot in inglese.

• Translate è stato lo strumento più utilizzato in ogni benchmark per i modelli conformi.
• Il testo del ragionamento era per il 99% in ASCII anche per gli script non latini.
• Test Causale: Rimuovere lo strumento Translate ha ridotto l'accordo cross-lingue proporzionalmente alla dipendenza del modello da esso. Imporre la traduzione ha migliorato la ritenzione per i modelli con "margine di manovra" (basso uso di base della traduzione).
• Robustezza: Istruire i modelli a ragionare nella lingua del compito è fallito (<1% di conformità), indicando che il pivot in inglese è una preferenza strutturale, non un default stilistico che può essere rimosso tramite prompt.

5. Patologia della Misurazione

Il documento evidenzia un fallimento critico della misurazione: una singola regex di estrazione traccia ha fatto apparire un modello competente (GPT-OSS-120B) come rotto.

• Il modello rispondeva in prosa ("Useremo Translate") invece della sintassi richiesta, risultando in un 76,4% di tracce vuote.
• Poiché le tracce vuote ottengono 1.0 sulla similarità, il modello appariva avere un'alta invarianza ma quasi zero accuratezza.
• L'aggiunta di due esempi few-shot ha ripristinato la parsabilità, aumentando l'accuratezza misurata di 26 volte senza cambiare la reale capacità del modello, cambiando solo la sua leggibilità.

Significato e Rivendicazioni

Il documento afferma che la parità a livello di risposta è compatibile con una significativa divergenza comportamentale, il che ha implicazioni reali per costi, latenza e sicurezza.

• Contributo Metrico: Gli autori forniscono un estimatore corretto per il soffitto ($\tilde{I}$) e un protocollo che quantifica cinque specifici fattori di confondimento, due dei quali sono stabiliti causalmente.
• Intuizione Strutturale: La divergenza cross-lingue non è rumore casuale ma una proprietà strutturale dove i modelli mantengono circa il 71–73% della loro policy di azione quando la lingua cambia, a patto che siano abbastanza grandi e decodificati greedymente.
• Meccanismo: La dipendenza da un pivot in inglese è un fattore causale portante che i modelli resistono ad abbandonare anche quando esplicitamente istruiti diversamente.
• Validità: Lo studio dimosta che la standard estrazione delle tracce tramite regex può fabbricare apparenti fallimenti multilingue, rendendo necessaria la segnalazione dei tassi di fallimento del parsing insieme all'accuratezza.

Il lavoro colma il divario tra i benchmark agentici (che si concentrano sugli esiti) e la valutazione cross-lingue (che si concentra sulle predizioni finali), sostenendo che la policy di azione stessa debba essere l'oggetto misurato per comprendere veramente il comportamento multilingue degli agenti.