ArithmAttack: Evaluating Robustness of LLMs to Noisy Context in Math Problem Solving

Titel: ArithmAttack: Evaluatie van de Robuustheid van LLM's tegen Ruisonderbrekingen in Wiskundige Probleemoplossing

1. Probleemstelling

Hoewel Large Language Models (LLM's) indrukwekkende prestaties leveren bij het oplossen van wiskundige problemen, is hun robuustheid tegen ruisonderbrekingen in de invoer (input) onvoldoende onderzocht. Bestaande studies tonen aan dat LLM's kwetsbaar zijn voor semantische veranderingen, zoals het vervangen van woorden door synoniemen of het introduceren van typografische fouten. Deze aanpassingen veranderen echter vaak de betekenis van de tekst.

De auteurs stellen de vraag of LLM's kwetsbaar zijn voor ruis in de vorm van willekeurige leestekens die worden toegevoegd aan de context, zonder dat de woorden zelf worden gewijzigd. Het centrale probleem is dat deze vorm van ruis de semantische betekenis intact laat, maar toch de redeneercapaciteit van het model kan verstoren.

2. Methodologie: ArithmAttack

De auteurs introduceren ArithmAttack, een methode om de robuustheid van LLM's te testen door willekeurige leestekens in te voegen in wiskundige probleemstellingen.

• Dataverstoring: In plaats van woorden te verwijderen of toe te voegen, worden er leestekens (., ,, !, ?, ;, :) willekeurig ingevoegd in de tekst van de prompts.
• Niveaus van ruis: De experimenten worden uitgevoerd met drie niveaus van ruis, gedefinieerd als percentage van de totale lengte van de zin (aantal woorden): 10%, 30% en 50%.
• Semantische Behoud: Omdat er geen woorden worden gewijzigd, blijft de semantische gelijkenis tussen de oorspronkelijke en de verstoorende tekst 100% (gemeten met de Universal Sentence Encoder). Dit isoleert het effect van de syntactische ruis op de redenering.
• Datasets: Twee bekende wiskundedatasets worden gebruikt:
  • GSM8K: 8.5K hoogwaardige, linguïstisch diverse wiskundige woordproblemen (testset: 1.32k).
  • MultiArith: Een dataset met diverse rekenproblemen en complexiteiten (testset: 180).
• Modellen: Acht verschillende LLM's worden getest, variërend in grootte en afkomst:
  • Mistral-7B, Mathstral-7B, Llama-3-8B, Llama-3.1-8B, Gemma-2-2B, Zephyr-7B, Qwen2.5-1.5B, en DeepSeek-R1-Distill-Llama-8B.
• Evaluatiemetingen:
  • Accuracy (ACC): Het percentage correcte antwoorden.
  • Attack Success Rate (ASR): De verhouding tussen het aantal antwoorden dat door de aanval verkeerd werd veranderd en het aantal oorspronkelijk correcte antwoorden. Een hogere ASR betekent minder robuustheid.
  • Miss Rate: Het percentage waarbij het juiste antwoord wel werd gegenereerd maar niet correct kon worden geëxtraheerd uit de respons.

3. Belangrijkste Bijdragen

1. Introductie van ArithmAttack: Een nieuwe, eenvoudig te implementeren aanvalsmethode die specifiek gericht is op het testen van de robuustheid van LLM's tegen syntactische ruis (leestekens) in wiskundige contexten, zonder semantische verschuivingen.
2. Uitgebreide Evaluatie: Een systematische evaluatie van acht populaire LLM's op twee verschillende datasets, waarbij wordt aangetoond dat alle onderzochte modellen kwetsbaar zijn voor deze vorm van ruis, met een afnemende prestatie naarmate de hoeveelheid ruis toeneemt.

4. Resultaten en Analyse

De experimentele resultaten tonen een duidelijke negatieve correlatie tussen de hoeveelheid ruis en de prestaties van de modellen:

• Algemene Kwetsbaarheid: Alle acht modellen vertonen een daling in nauwkeurigheid bij het introduceren van ruis. Hoe meer leestekens er worden toegevoegd (van 10% naar 50%), hoe slechter de prestaties.
• Beste Performers:
  • Llama3.1 presteert over het algemeen het beste op beide datasets en is het meest robuust tegen ruis, met name op GSM8K.
  • Llama3 toont de grootste robuustheid op de MultiArith dataset.
  • Mathstral (een op Mistral gebaseerd model met wiskundige specialisatie) presteert beter dan het standaard Mistral-model, wat suggereert dat gespecialiseerde training helpt bij het weerstaan van ruis.
• Slechtste Performer: Zephyr presteert het slechtst, met een lage basisnauwkeurigheid en een drastische daling bij ruis. Het heeft de hoogste ASR-scores, wat aangeeft dat het zeer gevoelig is voor deze aanval.
• Dataset Complexiteit: De impact van ruis is sterker op de GSM8K-dataset (complexere problemen) dan op MultiArith. Dit suggereert dat modellen meer moeite hebben met ruis bij moeilijkere redeneertaken.
• ASR Scores: De Llama-modellen hebben over het algemeen de laagste ASR-scores (wat betekent dat ze minder vaak hun correcte antwoord verliezen door de aanval), terwijl modellen zoals Zephyr en Mistral hogere ASR-scores hebben.

5. Betekenis en Conclusie

Het paper concludeert dat LLM's, ondanks hun geavanceerde redeneervermogens, fundamenteel kwetsbaar zijn voor eenvoudige, niet-semantische verstoringen zoals willekeurige leestekens.

• Implicaties: Zelfs als de betekenis van een vraag intact blijft, kan de "ruis" in de syntaxis de redeneerketen (Chain-of-Thought) van het model verstoren, wat leidt tot fouten.
• Toekomstperspectief: De auteurs suggereren dat toekomstig onderzoek zich moet richten op het verbeteren van de robuustheid van modellen tegen dergelijke noise, het testen op andere redeneertaken (logisch, causaal) en het onderzoeken van andere ruis-types (grammaticale fouten, afkortingen).
• Beperkingen: De studie is beperkt tot één type ruis (leestekens) en twee datasets. Verdere experimenten met diverse ruis-types en een breder scala aan modellen en datasets zijn nodig voor een volledig beeld.

Kortom, ArithmAttack onthult een verborgen zwakke plek in huidige LLM's: hun gevoeligheid voor schijnbaar onbeduidende syntactische onregelmatigheden, wat vragen stelt over hun betrouwbaarheid in real-world scenario's waar invoer niet altijd perfect is.