💬 NLP

MAPS: A Multilingual Benchmark for Agent Performance and Security

MAPS è un nuovo benchmark multilingue progettato per valutare le prestazioni e la sicurezza dei sistemi di IA agentica in diverse lingue, evidenziando come il passaggio dall'inglese ad altre lingue possa compromettere l'affidabilità e la robustezza di tali sistemi.

Autori originali: Omer Hofman, Jonathan Brokman, Oren Rachmil, Shamik Bose, Vikas Pahuja, Toshiya Shimizu, Trisha Starostina, Kelly Marchisio, Seraphina Goldfarb-Tarrant, Roman Vainshtein

Pubblicato 2026-02-11

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Omer Hofman, Jonathan Brokman, Oren Rachmil, Shamik Bose, Vikas Pahuja, Toshiya Shimizu, Trisha Starostina, Kelly Marchisio, Seraphina Goldfarb-Tarrant, Roman Vainshtein

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🤖 Il Problema: L'Assistente "Genio" che parla solo Inglese (o quasi)

Immagina di avere un assistente personale digitale incredibile. È un genio: può prenotarti un volo, scrivere codice per un sito web, risolvere problemi di matematica complessi o persino gestire le tue finanze. Però, c'è un piccolo dettaglio: questo genio è stato addestrato quasi esclusivamente in una biblioteca enorme che contiene solo libri in inglese.

Cosa succede se gli chiedi qualcosa in italiano, in giapponese o in arabo?
Probabilmente capirà il senso generale, ma inizierà a fare piccoli errori. E in un assistente che deve "agire" nel mondo reale (prenotare, spostare soldi, scrivere programmi), un piccolo errore di traduzione non è solo un errore grammaticale: è come se l'assistente, per un malinteso, ti prenotasse un volo per la Luna invece che per Roma.

🗺️ Cos'è MAPS? (La "Mappa" per non perdersi)

I ricercatori hanno creato MAPS. Immaginalo come un test di resistenza globale per questi assistenti digitali.

Invece di chiedere al genio solo "come si dice mela in italiano?", MAPS gli dà dei veri e propri lavori da fare (compiti complessi) in 12 lingue diverse. È come sottoporre un pilota di Formula 1 a una gara non solo su una pista perfetta, ma anche su strade sterrate, sotto la pioggia e in mezzo al traffico di città diverse, per vedere se mantiene la stessa precisione.

🛠️ Come funziona il test? (Le 4 prove del fuoco)

MAPS mette alla prova l'intelligenza artificiale in quattro aree critiche:

La Vita Quotidiana (GAIA): L'assistente deve navigare sul web e risolvere problemi pratici. Metafora: È come chiedere all'assistente di organizzare un viaggio complesso usando solo siti web stranieri.
Il Programmatore (SWE-Bench): Deve correggere errori nel codice informatico. Metafora: È come dare a un meccanico un manuale di riparazione scritto in una lingua che conosce solo a metà.
Il Matematico (MATH): Deve risolvere equazioni difficili. Metafora: È come far risolvere un problema di fisica a qualcuno che deve tradurre i numeri e i simboli mentre pensa.
Il Guardia del Corpo (ASB - Sicurezza): Questa è la parte più delicata. I ricercatori provano a "ingannare" l'assistente usando ordini ambigui o pericolosi in altre lingue. Metafora: È come vedere se un buttafuori, se gli parli in una lingua straniera, si lascia distrarre e ti fa entrare anche se non dovresti.

🔍 Cosa hanno scoperto? (Il verdetto)

I risultati sono stati una "doccia fredda" per i creatori di IA:

Il calo di prestazioni: Quando l'assistente passa dall'inglese ad altre lingue, diventa meno bravo. Più il compito richiede di "leggere e capire" molto testo naturale, più l'assistente inciampa.
Il buco nella sicurezza: Questo è il punto più allarmante. Gli assistenti sono molto più facili da "ingannare" o manipolare se l'attacco avviene in una lingua diversa dall'inglese. È come se il "sistema di sicurezza" dell'assistente fosse molto forte in inglese, ma avesse dei buchi enormi nelle altre lingue.
La "distrazione" linguistica: Se il compito è fatto di numeri o codice (che sono quasi universali), l'assistente va bene. Ma se il compito dipende dal capire le sfumature di una frase, l'assistente inizia a "sognare ad occhi aperti" e commette errori di ragionamento.

💡 In conclusione: Perché è importante?

MAPS ci dice che non possiamo fidarci ciecamente di un assistente digitale solo perché sembra intelligente in inglese. Se vogliamo che l'intelligenza artificiale sia davvero utile e sicura per tutti — dal medico in Italia al programmatore in India — dobbiamo assicurarci che sia equa e robusta in ogni lingua.

MAPS è la bussola che aiuterà gli scienziati a costruire assistenti che non siano solo "geni in inglese", ma veri cittadini del mondo, capaci di capire e proteggere chiunque, ovunque.

Riassunto Tecnico: MAPS

1. Il Problema (Problem Statement)

Con l'avvento dell'IA agente (Agentic AI), i sistemi basati su Large Language Models (LLM) non si limitano più a generare testo, ma interagiscono con strumenti, memoria e ambienti esterni per risolvere compiti complessi (es. navigazione web, scrittura di codice, pianificazione).
Tuttavia, esiste un problema critico di equità e sicurezza: poiché gli LLM mostrano prestazioni degradate in contesti non inglesi, gli agenti rischiano di ereditare queste limitazioni. Ciò può portare a:

Degradazione delle prestazioni: Errori nel ragionamento o nell'uso degli strumenti quando l'input è in una lingua diversa dall'inglese.
Vulnerabilità alla sicurezza: Un aumento del rischio di comportamenti non sicuri o violazioni delle policy (es. jailbreak) quando le istruzioni sono fornite in lingue diverse dall'inglese.
Gli attuali benchmark per agenti sono quasi esclusivamente in lingua inglese, lasciando un vuoto nella valutazione della robustezza multilingue.

2. Metodologia (Methodology)

Gli autori propongono MAPS, una suite di benchmark multilingue progettata per valutare sia le prestazioni che la sicurezza.

Costruzione del Benchmark: MAPS estende quattro benchmark agentici consolidati in 11 lingue diverse (oltre all'inglese), coprendo un'ampia gamma di script e strutture linguistiche (Tedesco, Spagnolo, Portoghese, Giapponese, Russo, Cinese, Italiano, Arabo, Ebraico, Coreano e Hindi). I benchmark originali sono:
1. GAIA: Compiti del mondo reale (ragionamento e navigazione).
2. SWE-Bench: Ingegneria del software (correzione di bug).
3. MATH: Ragionamento matematico.
4. Agent Security Benchmark (ASB): Test di sicurezza e robustezza contro attacchi.
Pipeline di Traduzione Ibrida: Per garantire l'integrità semantica e strutturale (fondamentale per codice e formule LaTeX), gli autori utilizzano un approccio in più fasi:
- Traduzione NMT (Neural Machine Translation): Per preservare la struttura.
- Raffinamento tramite LLM: Per migliorare la fluidità contestuale.
- Verifica umana: Un sottoinsieme di campioni è stato verificato da madrelingua per garantire l'answerability (la capacità di risolvere il compito nonostante la traduzione).
Design Sperimentale: Gli autori hanno isolato la variabile linguistica mantenendo invariati gli ambienti (strumenti, codice, documentazione), che rimangono in inglese. Questo simula scenari reali dove l'utente interagisce in una lingua locale ma il sistema sottostante opera in un ecosistema prevalentemente anglofono.

3. Contributi Chiave (Key Contributions)

Primo Benchmark Standardizzato: Introduzione del primo framework di valutazione multilingue che combina domini diversi e consapevolezza della sicurezza per l'IA agente.
Analisi Quantitativa del "Multilingual Effect": Dimostrazione sistematica di come la lingua influenzi la capacità di pianificazione e l'uso degli strumenti.
Validazione della Qualità: Un processo di traduzione rigoroso con verifica umana che garantisce l'affidabilità del dataset.

4. Risultati Principali (Key Results)

L'analisi empirica ha rivelato tendenze significative:

Degradazione differenziata per dominio:
- Compiti "Language-Heavy" (GAIA, ASB): Mostrano una forte degradazione. In GAIA, le prestazioni calano fino al 16%; in ASB, la vulnerabilità agli attacchi aumenta fino al 27%. Questo accade perché questi compiti dipendono fortemente dalla comprensione del linguaggio naturale per la pianificazione.
- Compiti "Language-Light" (MATH, SWE-Bench): Mostrano una resilienza molto maggiore. Poiché si basano su sintassi formale (codice o matematica), la lingua naturale ha un impatto minore sul successo del compito.
Correlazione con il carico linguistico: La degradazione è direttamente correlata alla proporzione di token in lingua non inglese presenti nel prompt.
Fallimento della Pianificazione: L'analisi qualitativa mostra che la causa principale del fallimento è la "pianificazione incoerente": l'agente, ricevendo un input non inglese, genera piani d'azione che deviano dall'intento originale del compito.
Vulnerabilità alla Sicurezza: Le traduzioni dirette di prompt di "jailbreak" in inglese sono sufficienti per bypassare le difese degli agenti in altre lingue, dimostrando che la sicurezza multilingue è attualmente insufficiente.

5. Significato e Implicazioni (Significance)

Il lavoro di MAPS ha implicazioni profonde per lo sviluppo di IA globali:

Sicurezza come dimensione critica: La robustezza multilingue non può essere un'aggiunta postuma, ma deve essere parte integrante del red-teaming degli agenti.
Oltre l'LLM: La robustezza di un agente non può essere dedotta solo dalla competenza linguistica dell'LLM sottostante; è necessario valutare l'intero ciclo di ragionamento e azione (pianificazione $\rightarrow$ uso strumenti $\rightarrow$ esecuzione).
Raccomandazioni per lo sviluppo: Gli sviluppatori dovrebbero analizzare la composizione linguistica degli input attesi e utilizzare benchmark come MAPS per identificare i punti di rottura prima del deployment su scala globale.