ArithmAttack: Evaluating Robustness of LLMs to Noisy Context in Math Problem Solving

1. Il Problema

Sebbene i Large Language Models (LLM) abbiano dimostrato capacità impressionanti nel risolvere problemi matematici, la loro robustezza rispetto a input rumorosi (noisy inputs) è scarsamente studiata. La ricerca esistente si è concentrata su attacchi che alterano semanticamente il testo (sostituzione di parole con sinonimi, errori ortografici, inserimento di contesto irrilevante), il che può cambiare il significato della domanda.
Il paper identifica un vuoto nella letteratura: come reagiscono gli LLM a un rumore contestuale che non altera il significato semantico ma introduce solo marcatura di punteggiatura irregolare? L'ipotesi è che anche piccole perturbazioni superficiali, come l'inserimento casuale di punti esclamativi, punti interrogativi o punti e virgola, possano degradare le capacità di ragionamento matematico dei modelli senza che vi sia una perdita di informazione lessicale.

2. Metodologia: ArithmAttack

Gli autori propongono ArithmAttack, un metodo di valutazione della robustezza ispirato alla tecnica di augmentation dei dati AEDA (An Easier Data Augmentation).

• Meccanismo di Attacco: L'attacco consiste nell'inserire casualmente caratteri di punteggiatura (., ,, !, ?, ;, :) all'interno del contesto dei problemi matematici.
• Vincoli Semantici: A differenza di altri attacchi, ArithmAttack non aggiunge né cancella parole. Di conseguenza, la similarità semantica tra la frase originale e quella perturbata rimane al 100% (misurata tramite Universal Sentence Encoder). Questo isola l'effetto del "rumore" strutturale dal cambiamento di significato.
• Livelli di Rumore: Il rumore viene introdotto in tre livelli di intensità, corrispondenti al 10%, 30% e 50% della lunghezza totale della frase (basata sul numero di parole).
• Dataset Utilizzati:
  • GSM8K: 1.320 problemi matematici di scuola elementare/media (alto livello di difficoltà logica).
  • MultiArith: 180 problemi aritmetici di varia complessità.
• Modelli Valutati: Sono stati testati 8 LLM di diverse dimensioni (da 1.5B a 8B parametri) e provenienze:
  • Llama3 e Llama3.1 (8B)
  • Mistral e Mathstral (7B)
  • Gemma2 (2B)
  • Zephyr (7B)
  • Qwen2.5 (1.5B)
  • DeepSeek-R1-Distill-Llama (8B)
• Prompting: È stato utilizzato il Zero-Shot Chain-of-Thought (CoT) per guidare il ragionamento passo dopo passo.
• Metriche:
  • Accuratezza (Acc): Percentuale di risposte corrette.
  • Attack Success Rate (ASR): Rapporto tra le risposte che erano corrette in condizioni pulite ma diventano errate dopo l'attacco, e il totale delle risposte corrette originali. Un ASR più alto indica una minore robustezza.
  • Miss Rate: Tasso di fallimento nell'estrazione della risposta finale dal testo generato.

3. Contributi Chiave

1. Proposta di ArithmAttack: Introduzione di un nuovo vettore di attacco che utilizza esclusivamente la punteggiatura casuale per valutare la robustezza, mantenendo intatta la semantica del testo.
2. Valutazione Estensiva: Analisi comparativa di 8 modelli LLM su due dataset matematici standard, dimostrando che tutti i modelli studiati sono vulnerabili a questo tipo di rumore.
3. Correlazione Rumore-Degradazione: Dimostrazione empirica che all'aumentare della percentuale di rumore (da 10% a 50%), le prestazioni dei modelli peggiorano in modo significativo e progressivo.

4. Risultati Principali

I risultati, riportati nelle tabelle e nelle figure del paper, evidenziano quanto segue:

• Vulnerabilità Universale: Nessun modello è immune. L'accuratezza diminuisce costantemente all'aumentare della percentuale di punteggiatura inserita.
• Performance dei Modelli:
  • Llama3.1 si è dimostrato il modello più robusto e performante in assoluto, mantenendo le alte percentuali di accuratezza anche sotto forte rumore (specialmente su GSM8K).
  • Mathstral (specializzato in matematica) ha mostrato una maggiore robustezza rispetto alla sua controparte generica Mistral, suggerendo che la conoscenza matematica specifica aiuta a mitigare l'effetto del rumore.
  • Zephyr ha mostrato le prestazioni peggiori, con un'accuratezza pulita bassa e un crollo drastico sotto attacco (ASR molto elevato, fino al 77% su MultiArith).
  • DeepSeek ha mostrato una robustezza comparabile a Llama su MultiArith.
• Impatto del Dataset: Il degrado delle prestazioni è stato più marcato sul dataset GSM8K rispetto a MultiArith. Gli autori ipotizzano che dataset più complessi e difficili rendano i modelli più suscettibili al rumore, poiché il ragionamento richiede un contesto più preciso.
• Estrazione della Risposta: Il tasso di errore nell'estrazione della risposta finale (Miss Rate) è stato generalmente basso, tranne che per Mistral su GSM8K e Zephyr su MultiArith, indicando che il fallimento principale è nel ragionamento matematico stesso, non solo nella formattazione dell'output.

5. Significato e Implicazioni

Questo studio ha diverse implicazioni importanti per la ricerca e lo sviluppo di LLM:

• Fragilità del Ragionamento: Anche se un modello possiede la conoscenza matematica necessaria, la sua capacità di ragionare è fragile di fronte a perturbazioni superficiali non semantiche. Questo suggerisce che i modelli potrebbero affidarsi eccessivamente a pattern superficiali o che la loro architettura di attenzione è sensibile alla "distrazione" visiva/strutturale.
• Sicurezza e Affidabilità: ArithmAttack rappresenta una minaccia reale per applicazioni reali dove i dati di input potrebbero essere "sporchi" (es. trascrizioni vocali, testi da social media, errori di formattazione). La mancanza di robustezza pone rischi per l'affidabilità degli LLM in contesti critici.
• Direzioni Future: Il lavoro apre la strada a ricerche su come rendere i modelli più resilienti al rumore strutturale. Suggerisce che futuri dataset di addestramento o tecniche di regolarizzazione dovrebbero includere esempi con punteggiatura irregolare per migliorare la robustezza. Inoltre, invita a esplorare perché esattamente questo tipo di rumore interrompe il flusso di ragionamento (ad esempio, analizzando i meccanismi di attenzione interna).

In conclusione, il paper dimostra che la robustezza matematica degli LLM attuali è ancora fragile e che la semplice presenza di rumore non semantico è sufficiente a compromettere significativamente le loro capacità di risoluzione dei problemi.