💬 NLP

More Agents Improve Math Problem Solving but Adversarial Robustness Gap Persists

Hoewel samenwerking tussen meerdere LLM-agenten de nauwkeurigheid bij wiskundige vraagstukken verbetert, blijft de kwetsbaarheid voor adversariële aanvalsmethoden, met name menselijke typefouten, ongeacht het aantal agenten bestaan.

Oorspronkelijke auteurs: Khashayar Alavi, Zhastay Yeltay, Lucie Flek, Akbar Karimi

Gepubliceerd 2026-03-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Khashayar Alavi, Zhastay Yeltay, Lucie Flek, Akbar Karimi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Meer honden in het team, maar de blinde vlek blijft

Stel je voor dat je een heel moeilijk wiskundepuzzel moet oplossen. Je hebt een slimme robot (een AI) die je hierbij helpt. Maar wat als je die robot niet alleen, maar in een team van 25 robots zet? Zou dat team dan niet alleen slimmer zijn, maar ook beter bestand tegen foutjes in de vraag?

Dat is precies wat deze onderzoekers hebben onderzocht. Ze hebben gekeken of een "zwerfhondenteam" van AI's (in dit geval: Large Language Models) beter is in het oplossen van wiskundeproblemen, zelfs als de vraag vol staat met typfouten of rare leestekens.

Hier is wat ze ontdekken, vertaald naar alledaags taal:

1. Het team werkt (maar alleen als het rustig is)

De eerste ontdekking is positief: Meer is beter.
Stel je voor dat je een raadsel probeert op te lossen. Als je het alleen doet, maak je misschien een fout. Maar als je 5 of 10 vrienden erbij haalt en jullie stemmen over het antwoord, is de kans groot dat jullie het goed hebben.

De analogie: Het is alsof je een zware kist probeert te tillen. Met één persoon is het zwaar. Met vijf personen lukt het makkelijk. Met twintig personen lukt het ook, maar je merkt dat het extra gewicht van de twintigste persoon niet meer zoveel extra kracht toevoegt.
De bevinding: Het team wordt steeds slimmer naarmate er meer leden bij komen, vooral als je gaat van 1 naar 5. Maar na ongeveer 10 of 15 robots zit je op een plateau; meer toevoegen helpt niet meer echt.

2. Het echte probleem: De "menselijke" foutjes

Hier wordt het interessant. De onderzoekers hebben de vragen van de robots op twee manieren "verpest":

Manier A (De "Leestekens"): Ze hebben overal leestekens tussen de woorden gegooid, alsof iemand per ongeluk op de knop "!" of "," heeft gedrukt. Voorbeeld: "Hoeveel is 2 + 2 ? ! ."
Manier B (De "Menselijke Typfouten"): Ze hebben echte menselijke fouten gemaakt, zoals woorden verkeerd spellen of letters verwisselen. Voorbeeld: "Hoeveel is 2 + 2 ?" wordt "Hoeveel is 2 + 2 ?" (met een 'z' in plaats van een 's' of 'por' in plaats van 'voor').

Wat gebeurde er?

Bij Manier A (leestekens) was het team van robots heel sterk. Zelfs als de vraag er raar uitzag, konden ze samen het juiste antwoord vinden. Het team "rukte" de fouten eruit.
Bij Manier B (menselijke typfouten) faalde het team echter volledig. Het maakt niet uit of je 1 of 25 robots hebt: als de vraag vol staat met menselijke typfouten, blijven ze vastlopen.

3. Waarom lukt het niet? (De "Blindheid")

Waarom werkt het team niet tegen menselijke fouten?
De onderzoekers leggen dit uit met een mooi beeld:

Leestekens zijn als een verkeersbord dat scheef staat. Het is irritant, maar je kunt nog steeds zien dat het een "Stop"-bord is. De robots kunnen de boodschap nog steeds lezen.
Menselijke typfouten zijn alsof iemand het woord "Stop" heeft veranderd in "Stop". De betekenis is voor de computer volledig veranderd. Het woord bestaat misschien niet meer in hun woordenboek, of het betekent iets heel anders.
Het probleem: Als alle 25 robots dezelfde fout maken (omdat ze allemaal dezelfde "bril" op hebben en het woord niet herkennen), dan stemmen ze allemaal voor het verkeerde antwoord. Ze zijn niet onafhankelijk genoeg om elkaars fouten te corrigeren. Ze vallen allemaal in dezelfde val.

4. De conclusie voor de toekomst

De boodschap van dit onderzoek is als volgt:
Het is geweldig om veel slimme robots samen te laten werken om moeilijke rekenproblemen op te lossen. Ze worden daardoor veel accurater. MAAR, ze zijn nog steeds kwetsbaar voor de "ruis" die mensen maken.

Als je AI's wilt gebruiken in de echte wereld (bijvoorbeeld in ziekenhuizen of bij banken), waar mensen vaak typfouten maken, is het simpelweg "meer robots toevoegen" geen oplossing. Je moet eerst zorgen dat de basis-robots leren omgaan met die menselijke fouten, voordat je ze in een team zet.

Kortom: Meer teamleden maakt je slimmer, maar het maakt je niet onkwetsbaar voor de typfouten van de mens.

Titel: Meer Agents Verbeteren Wiskundig Probleemoplossen, maar de Kwantiteit van Adversariale Robuustheid Blijft Bestaan

Auteurs: Khashayar Alavi, Zhastay Yeltay, Lucie Flek, Akbar Karimi (Bonn-Aachen International Center for Information Technology & Lamarr Institute).

1. Probleemstelling

Grote Taalmodellen (LLM's) hebben aanzienlijke vooruitgang geboekt in het oplossen van complexe redeneertaken, zoals wiskundige vraagstukken. Recent onderzoek toont aan dat het gebruik van meerdere LLM-instanties als "agents" die samenwerken (bijvoorbeeld via stemming of debat), de prestaties op schone (clean) data significant kan verbeteren.

Echter, een kritieke zwakte van LLM's blijft bestaan: hun kwetsbaarheid voor adversariale invoer. Zelfs kleine, oppervlakkige veranderingen in de tekst—zoals leestekens die willekeurig worden toegevoegd, typfouten of synoniemvervangingen—kunnen de nauwkeurigheid van een model drastisch doen dalen, hoewel de semantische betekenis van het probleem onveranderd blijft.

De centrale onderzoeksvraag van dit artikel is: Kunnen multi-agent systemen, die bekend staan om hun verbeterde redeneervermogen, ook de robuustheid tegen adversariale ruis (noise) verbeteren, of blijft er een kwetsbaarheidskloof bestaan?

2. Methodologie

De auteurs hebben een gestructureerd experiment opgezet om de robuustheid van multi-agent systemen te evalueren onder verschillende ruiscondities.

Framework (Agent Forest): Ze gebruiken een unificatie van "sampling-and-voting". Voor elke vraag worden $N$ onafhankelijke antwoorden gegenereerd door hetzelfde basismodel (met verschillende random seeds). Het finale antwoord wordt bepaald door meerderheidsstemming (majority voting) over deze antwoorden.
Modellen: Er zijn zes open-source modellen getest met verschillende parametergroottes:
- Qwen3 (4B en 14B)
- Llama 3.1 (8B)
- Mistral (7B)
- Gemma 3 (4B en 12B)
Datasets: Vier benchmarks voor wiskundig redeneren: GSM8K, MATH, MMLU (wiskunde subset) en MultiArith.
Ruis-Types (Adversariale Perturbaties): De auteurs introduceren een taxonomie van ruis:
1. Synthetische Leestekens (Punctuation Noise): Willekeurige invoeging van leestekens (., !, ?, etc.) op 10%, 30% en 50% van de spaties in de tekst.
2. Menselijke Typfouten (Human-like Typos):
  - WikiTypo: Gebaseerd op echte spellingfouten uit Wikipedia-editgeschiedenissen.
  - R2ATA (Adversarial Typo Attack): Geautomatiseerde aanval die veelvoorkomende toetsenbordfouten (duplicatie, substitutie, verwijdering) introduceert op belangrijke woorden.
Agenten Aantallen: De prestaties werden geëvalueerd met $n \in \{1, 2, 5, 10, 15, 20, 25\}$ agents.
Metingen:
- Nauwkeurigheid (Accuracy): Het percentage correcte antwoorden.
- Attack Success Rate (ASR): Het percentage van de oorspronkelijk correcte antwoorden dat fout wordt na het toepassen van ruis. Een lagere ASR betekent betere robuustheid.

3. Belangrijkste Bevindingen en Resultaten

A. Collaboratie Verbetert Nauwkeurigheid, maar niet Robuustheid

Nauwkeurigheid: Het verhogen van het aantal agents leidt tot een betrouwbare stijging in nauwkeurigheid op schone data en onder ruis. De grootste winst wordt geboekt bij het verhogen van $n=1$ naar $n=5$ . Boven $n \approx 10$ zijn er afnemende meeropbrengsten (diminishing returns).
Robuustheidsgap: Ondanks de stijgende nauwkeurigheid, blijft de ASR (Attack Success Rate) nagenoeg stabiel naarmate het aantal agents toeneemt. Dit betekent dat hoewel het systeem meer vragen correct beantwoordt, het percentage fouten dat door ruis wordt veroorzaakt niet significant afneemt. De multi-agent stemming lost de systematische fouten veroorzaakt door ruis niet op.

B. Het Type Ruis is Cruciaal

Leestekens (Punctuation): Ruis door leestekens veroorzaakt een daling in nauwkeurigheid die evenredig is met de intensiteit (10% < 30% < 50%). Echter, deze schade kan grotendeels worden gecompenseerd door samenwerking (vooral bij $n=5$ tot $10$).
Menselijke Typfouten (WikiTypo): Dit is de dominante bottleneck. WikiTypo veroorzaakt de grootste kloof met de schone nauwkeurigheid en de hoogste ASR, zelfs bij een groot aantal agents (tot $n=25$ ). Menselijke fouten verstoren de semantische integriteit van tokens zodanig dat stemming niet kan corrigeren.
R2ATA: Valt tussen de twee in; schadelijk voor single agents, maar wordt enigszins verzacht door samenwerking, hoewel het niet volledig wordt opgelost.

C. Invloed van Modelgrootte en Dataset

Modelgrootte: Grotere modellen (bijv. Qwen3-14B, Gemma3-12B) behalen over het algemeen hogere absolute nauwkeurigheid en lagere ASR-waarden dan kleinere modellen. Echter, de trend van een stabiele ASR-kloof geldt voor alle modelgroottes.
Dataset Complexiteit: Moeilijkere datasets (zoals MATH) tonen hogere ASR-waarden die minder snel dalen met meer agents. Eenvoudigere datasets (GSM8K, MultiArith) zijn minder gevoelig voor ruis en profiteren meer van samenwerking.

4. Discussie en Interpretatie

De auteurs bieden twee belangrijke verklaringen voor de aanhoudende kwetsbaarheid:

Semantische vs. Morfologische Ruis: Leestekens zijn vaak visueel storend maar behouden de morfologische wortels van woorden, waardoor het model de intentie nog kan herkennen. Menselijke typfouten (zoals "por" in plaats van "for") veranderen echter de embedding-representatie fundamenteel, waardoor het model de betekenis volledig kwijtraakt.
Het Consensus Paradox: Klassieke ensemble-theorie veronderstelt dat fouten statistisch onafhankelijk zijn. Adversariale ruis introduceert echter een systematische bias. Alle agents worden door dezelfde ruis in dezelfde verkeerde denkrichting geduwd. Omdat ze niet onafhankelijk falen, kan meerderheidsstemming de fout niet corrigeren; in plaats daarvan versterkt het de systematische fout.

5. Betekenis en Conclusie

De studie concludeert dat "meer agents" geen vervanging is voor "robustere basismodellen".

Het verhogen van het aantal agents is een effectieve strategie om de basale nauwkeurigheid te verhogen, maar het biedt geen garantie tegen adversariale aanval via typfouten of semantische verstoringen.
Voor veilige implementaties in kritieke omgevingen (zoals medische codering of juridisch redeneren) is het essentieel om de robuustheid van het basismodel te verbeteren (bijv. via training op menselijke typfouten of robuustere tokenisatie), in plaats van alleen te vertrouwen op schaalvergroting van agents.

Beperkingen: Het onderzoek is beperkt tot Engelstalige wiskundebenchmarks en karakter-niveau corrupties. Het gebruikt een eenvoudige stemming-methode en vergelijkt niet met complexere topologieën zoals debatten of tool-geassisteerde agents.

Toekomstperspectief: De auteurs suggereren richtingen zoals "noise-aware sampling", het gebruik van verifiers (verificatie-agents) en training met augmentatie specifiek gericht op menselijke typfouten.