More Agents Improve Math Problem Solving but Adversarial Robustness Gap Persists

1. Il Problema

Il lavoro affronta una domanda cruciale nel campo dei Large Language Models (LLM): mentre è noto che l'uso di più agenti LLM collaborativi (tramite strategie come il campionamento e il voto) migliora significativamente le prestazioni nella risoluzione di problemi matematici su dati "puliti" (Clean), questa collaborazione migliora anche la robustezza contro input avversariali?

La ricerca si concentra sulla vulnerabilità dei sistemi multi-agente a perturbazioni di input, che includono:

• Rumore sintetico: Inserimento casuale di punteggiatura a diverse intensità (10%, 30%, 50%).
• Rumore umano-like: Errori di battitura reali (estratti da Wikipedia, WikiTypo) e errori di battitura avversariali generati da attacchi specifici (R2ATA).

L'ipotesi di partenza era che un "bosco di agenti" (Agent Forest) potesse correggere gli errori causati dal rumore attraverso il consenso, ma il paper indaga se questo meccanismo sia sufficiente a colmare il divario di robustezza rispetto agli input puliti.

2. Metodologia

Gli autori hanno sviluppato un framework sperimentale unificato chiamato Agent Forest, basato su un approccio di campionamento e voto (sampling-and-voting).

• Framework Sperimentale:

  • Per ogni domanda, lo stesso modello base viene interrogato $N$ volte con seed casuali indipendenti.
  • Ogni chiamata agisce come un "agente" indipendente che produce una soluzione candidata.
  • Le risposte vengono normalizzate (estrazione di numeri canonici) e aggregate tramite voto di maggioranza per determinare la risposta finale.
  • Vengono testati diversi numeri di agenti: $n \in \{1, 2, 5, 10, 15, 20, 25\}$.

• Dataset e Modelli:

  • Dataset: Quattro benchmark matematici standard: GSM8K, MATH, MMLU (sottoinsieme matematico) e MultiArith.
  • Modelli: Sei modelli open-source di diverse dimensioni: Qwen3 (4B, 14B), Llama3.1 (8B), Mistral-7B, Gemma3 (4B, 12B).

• Tipologie di Rumore:

  • Punteggiatura (Punct-10/30/50): Inserimento casuale di simboli come .,!?;:.
  • WikiTypo: Sostituzione di parole con errori di ortografia reali tratti da Wikipedia.
  • R2ATA: Attacco di battitura avversariale che introduce errori comuni da tastiera mirati a parole chiave.

• Metriche:

  • Accuratezza: Percentuale di risposte corrette.
  • ASR (Attack Success Rate): La frazione di risposte che erano corrette in condizioni pulite ma diventano errate dopo l'applicazione del rumore. Un ASR più basso indica una migliore robustezza.

3. Contributi Chiave e Risultati

A. L'effetto della collaborazione sull'accuratezza

• Miglioramento Robusto: Aumentare il numero di agenti ($n$) migliora in modo affidabile l'accuratezza su tutti i dataset e modelli.
• Rendimenti Decrescenti: Il guadagno più significativo si osserva passando da $n=1$ a $n=5$. Oltre $n \approx 10$, i miglioramenti diventano marginali e le curve di accuratezza si stabilizzano.
• Recupero Parziale: La collaborazione riesce a recuperare gran parte della perdita di accuratezza causata dal rumore di punteggiatura (specialmente a intensità basse e medie).

B. Il Divario di Robustezza Adversariale (Il Risultato Principale)

Nonostante l'aumento dell'accuratezza assoluta, il divario di robustezza rispetto alle condizioni pulite persiste indipendentemente dal numero di agenti.

• ASR Stabile: L'Attack Success Rate (ASR) rimane quasi costante all'aumentare di $n$. Questo significa che se un singolo agente fallisce a causa del rumore, anche un gruppo di 25 agenti tenderà a fallire allo stesso modo, convergendo sullo stesso errore.
• Il Paradosso del Consenso: Gli errori indotti dal rumore non sono statistici (casuali), ma sistematici. Il rumore crea un bias che porta tutti gli agenti a fallire nello stesso modo, rendendo il meccanismo di voto di maggioranza inefficace nel correggere l'errore.

C. L'importanza del Tipo di Rumore

• Punteggiatura: Il danno scala con l'intensità, ma è parzialmente mitigabile con la collaborazione (specialmente per $n \ge 5$).
• Errori Umani (WikiTypo): Rappresentano il collo di bottiglia dominante. Anche con 25 agenti, gli errori di battitura umani causano il divario più grande rispetto all'accuratezza pulita e l'ASR più alto.
  • Motivo: Gli errori di ortografia alterano la rappresentazione semantica nel spazio degli embedding, portando i token a mapparsi su concetti non correlati o fuori vocabolario, un errore che il modello non riesce a "correggere" tramite consenso.

D. Impatto dei Modelli e dei Dataset

• Dimensione del Modello: I modelli più grandi (es. Qwen3-14B, Gemma3-12B) mantengono un'accuratezza assoluta più alta e un ASR leggermente inferiore rispetto ai modelli più piccoli, ma il divario di robustezza persiste per tutti.
• Difficoltà del Task: Dataset complessi come MATH mostrano un ASR più alto e una minore capacità di recupero rispetto a dataset più semplici come MultiArith o GSM8K.

4. Significato e Implicazioni

Il paper offre intuizioni fondamentali per lo sviluppo di sistemi LLM affidabili:

1. Limiti dello Scaling degli Agenti: Aumentare il numero di agenti non è una soluzione magica per la sicurezza o la robustezza. Sebbene migliori le prestazioni medie, non risolve le vulnerabilità sistemiche causate da perturbazioni semantiche (errori di battitura).
2. Natura degli Errori: La distinzione tra rumore morfologico (punteggiatura) e semantico (errori di battitura) è cruciale. Il consenso funziona bene contro il rumore che preserva la struttura semantica, ma fallisce contro errori che corrompono il significato.
3. Implicazioni per la Sicurezza: Per il deployment in ambienti critici (medicina, finanza, legale), non basta affidarsi a sistemi multi-agente. È necessario implementare pre-processing robusto, tokenizzazione resistente al rumore o meccanismi di verifica esterni prima che i dati entrino nel sistema di agenti.
4. Direzioni Future: La ricerca suggerisce la necessità di tecniche di campionamento consapevoli del rumore, agenti assistiti da strumenti di verifica e un addestramento specifico per gestire errori umani reali, piuttosto che affidarsi solo all'aggregazione di output.

In sintesi, il lavoro dimostra che mentre "più agenti" migliorano la capacità di ragionamento, non colmano il divario di robustezza adversariale, specialmente di fronte a errori umani realistici, evidenziando una vulnerabilità fondamentale nell'attuale architettura dei sistemi LLM collaborativi.