💬 NLP

When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation

Deze empirische studie van 68 experimentele cellen over tien grote taalmodellen toont aan dat betekenisdragende verstoringen de redenering en de uiteindelijke antwoorden van agenten aanzienlijk meer verstoren dan presentatiegebonden ruis van vergelijkbare ernst, een bevinding die gevalideerd is op een apart gehouden model en wordt toegeschreven aan een "stealth-divergentie"-mechanisme waarbij semantische ruis afwijkingen veroorzaakt in tussenliggende redeneerstappen in plaats van in initiële acties.

Oorspronkelijke auteurs: Liyun Zhang, Jiayi Guo

Gepubliceerd 2026-05-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Liyun Zhang, Jiayi Guo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, prestatiegerichte student (een AI-agent) hebt die complexe wiskundige en logische problemen oplost door hardop met zichzelf te praten. Deze student schrijft elke stap van hun denkproces op voordat ze het definitieve antwoord geven. Dit wordt "Chain of Thought" (denkketen) genoemd.

De onderzoekers in dit artikel wilden weten: Maakt het uit hoe je de student een vraag stelt?

Specifiek testten ze twee soorten "ruis" of wijzigingen aan de vraag:

De "Betekenis"-wijziging: De vraag herschrijven met synoniemen of parafraseren (bijvoorbeeld "Hoeveel appels?" veranderen in "Wat is het totale aantal fruit?"). De betekenis blijft hetzelfde, maar de woorden zijn anders.
De "Presentatie"-wijziging: De volgorde van woorden door elkaar halen, het lettertype veranderen, willekeurige afleidende zinnen toevoegen, of de opmaak verstoren. De betekenis blijft hetzelfde, maar de uitstraling is anders.

De Grote Ontdekking: De "Stille Corruptie"

De onderzoekers vonden een verrassende kloof. Wanneer ze de woorden veranderden (Betekenis-wijziging), was de student veel waarschijnlijker om aan het einde het verkeerde antwoord te geven, zelfs al betekende de vraag hetzelfde. Wanneer ze alleen het formaat veranderden (Presentatie-wijziging), was de student veel waarschijnlijker om het goed te doen.

Het is alsof de student zeer gevoelig is voor wat je zegt, maar niet zo gevoelig voor hoe je het zegt.

Hoe Ze Het Testten

Ze deden niet zomaar een gok; ze voerden een enorm experiment uit:

De Klas: Ze gebruikten 10 verschillende "studenten" (AI-modellen) uit 7 verschillende families (zoals Llama, Qwen, Mistral, enz.).
De Huiswerkopdracht: Ze gaven hen 3 verschillende soorten toetsen (Wiskunde, Logica en Lezen en Begrijpen).
Het Volume: Ze namen 1.530 oorspronkelijke vragen en creëerden ongeveer 11.000 variaties daarvan.
De Stress-test: Ze zorgden ervoor dat de "Betekenis"-wijzigingen en "Presentatie"-wijzigingen even moeilijk waren om mee om te gaan (zodat ze ze eerlijk konden vergelijken).

Het Resultaat: Gemiddeld veroorzaakten de "Betekenis"-wijzigingen dat de AI 20% vaker faalde dan de "Presentatie"-wijzigingen. Dit gebeurde in 64 van de 68 verschillende testsituaties.

Het Mysterie van de "Stille Divergentie"

Hier komt het meest interessante deel. De onderzoekers keken naar de stap-voor-stap notities van de student (de "trace") om te zien wanneer de fout gebeurde.

Ze verwachtten dat als je de betekenis van de vraag veranderde, de student direct in de war zou raken en direct zou beginnen met het schrijven van onzin.

Wat ze in plaats daarvan vonden: De student begon correct! De allereerste stap van hun denken was identiek voor beide soorten wijzigingen.
De Twist: Vanaf Stap 2 begonnen de interne gedachten van de student uit elkaar te drijven. De "Betekenis"-wijzigingen veroorzaakten een "stille corruptie". De student bleef schrijven, maar hun interne logica werd langzaam verward, wat leidde tot een verkeerd antwoord aan het einde.
De Metafoor: Stel je twee auto's voor die dezelfde weg afleggen.
- Presentatieruis: De verkeersborden staan ondersteboven of de verf schilfert af. De bestuurder merkt het direct op, stopt en corrigeert hun koers.
- Betekenisruis: De verkeersborden zien er perfect uit, maar de kaart in het hoofd van de bestuurder heeft een klein, onzichtbaar vlekje. De bestuurder begint prima te rijden, maar bij de tweede bocht gaan ze subtiel de verkeerde kant op, en aan het einde zijn ze verdwaald. Ze beseften nooit dat ze van koers waren geraakt totdat het te laat was.

Wat Ze Niet Vonden (De Terugtrekkingen)

Wetenschap gaat over eerlijkheid, en de auteurs gaven toe dat ze het bij twee dingen die ze dachten te weten, mis hadden:

Ze dachten dat de "Betekenis"-wijzigingen de student sneller in de war zouden brengen (bij Stap 1). Ze hadden het mis; de verwarring begon bij Stap 2.
Ze dachten dat de student minder vaak zou proberen hun eigen fouten te "repareren" bij "Betekenis"-wijzigingen. Ze hadden het mis; het reparatiepercentage was hetzelfde.

Ze ontdekten ook dat deze kloof tussen "Betekenis versus Presentatie" niet voor elke AI hetzelfde is. Als je de tool verwisselt die wordt gebruikt om de vragen te genereren, verandert de rangschikking van welke AI "gevoeligst" is. Je kunt dus niet zeggen "AI-model X is altijd 20% slechter dan Model Y" zonder precies te weten hoe de test was opgezet.

De Conclusie

Dit artikel is een meetstudie. Het bewijst dat AI-agenten verrassend breekbaar zijn wanneer je een vraag parafraseert, zelfs als de betekenis hetzelfde blijft. Ze breken niet direct; ze breken langzaam en stil, beginnend bij de tweede stap van hun denkproces.

De auteurs hebben al hun data en tools vrijgegeven zodat andere onderzoekers hun werk kunnen controleren, maar ze waarschuwen dat dit een diagnosehulpmiddel is voor onderzoekers, nog geen magische schakelaar om AI in de echte wereld te repareren.

Technische Samenvatting: Wanneer behandelen LLM-agenten oppervlakteruis anders dan semantische ruis?

Probleemstelling
Grote taalmodel (LLM)-agenten die worden ingezet voor meerstapsredenering, wiskunde en ophaaltaken, komen vaak inputs tegen die door upstream-systemen (parafraseren, sjabloneren) of tegenstanders zijn verstoord. Een cruciale open vraag is of deze agenten lexicale ruis (presentatie-operatoren zoals herschikken, opmaken of afleidende elementen toevoegen) en semantische ruis (betekenisdragende operatoren zoals parafraseren of synoniemsubstitutie) als equivalent behandelen. Eerdere werken over verstoringrobustheid hebben zich grotendeels gericht op single-step-modellen of ruwe successpercentages, waardoor ze geen directioneel gat tussen betekenisdragende en presentatieverstoringen in meerstaps-agenttrajecten konden isoleren. Dit artikel onderzoekt of semantische verstoringen aanzienlijk hogere inconsistentiepercentages in de uiteindelijke antwoorden veroorzaken dan presentatieverstoringen van vergelijkbare ernst.

Methodologie
De auteurs voeren een grootschalige meetstudie uit met 68 cellen (combinaties van 10 LLM's uit 7 architectuurfamilies, 3 benchmarks en 2 redeneringskaders) en een gehouden validatie op een 11e model.

Modellen en benchmarks: Het panel omvat modellen met open gewichten (Qwen2.5, Llama-3.2/3.1, Mistral, Gemma2) en commerciële API's (MiMo-v2.5-Pro, Gemini-2.5-Flash, DeepSeek-V3). De benchmarks zijn GSM8K, MATH en HotpotQA. De kaders zijn Chain-of-Thought (CoT) en ReAct.
Verstoringsoperatoren: Er worden vijf operatoren gebruikt:
- Betekenisdragend: Parafrase (hele-vraag herschrijven), Synoniem (substitutie van open-klasswoorden).
- Presentatie: Herschikken (permutatie van token/clausule), Opmaak (witruimte/hoofdletters), Afleidend element (invoegen van irrelevante context).
- Alle operatoren behouden het gouden antwoord; een equivalentie-judge filtert varianten die de onderliggende vraag veranderen.
Metingen:
- Inconsistentiepercentage (IR): Het percentage waarbij het uiteindelijke antwoord van de agent verandert tussen de originele en de verstorde variant.
- Het Gat ( $\Delta$ ): Gedefinieerd als $IR_{sem} - IR_{sur}$ , waarbij $IR_{sem}$ het gemiddelde is over betekenisdragende operatoren en $IR_{sur}$ over presentatieoperatoren.
- Cascadediepte: Het aantal opeenvolgende stappen na de eerste divergentie waarbij het verstorde spoor geen enkel daaropvolgend origineel stapje meer overeenkomt.
Robustheid en validatie:
- Ernstmatching: Varianten worden in bins ingedeeld op basis van edit-afstand, token-Jaccard, Sentence-BERT-cosinus en lengteveranderingsratio om ervoor te zorgen dat betekenisdragende en presentatieverstoringen van vergelijkbare ernst zijn.
- Statistische tests: Wild cluster bootstrap (K=10 modellen, K=7 families) wordt gebruikt om problemen met inferentie in kleine clusters aan te pakken. Hiërarchische bootstrap wordt toegepast op geneste trajectgegevens.
- Generatoren en judges: Cross-family generator-swaps (Qwen vs. MiMo) en een tweede LLM-judge (MiMo vs. Qwen) worden gebruikt om generaliseerbaarheid en bias te auditeren.
- Houden-out validatie: Een volledig onafhankelijke run op qwen2.5-14B-Instruct (1.800 trajecten) valideert de bevindingen zonder enige parameteraanpassing.

Belangrijkste resultaten

Directioneel inconsistentiegat: Over het panel van 68 cellen is het ernst-gematchte gemiddelde gat +19,69 procentpunten (pp) ( $p < 0,0001$ ), waarbij 64/68 cellen een positief gat tonen. Dit geeft aan dat agenten aanzienlijk vaker hun uiteindelijke antwoord veranderen wanneer de input semantisch verstoord is dan wanneer deze presentatief verstoord is, zelfs wanneer de ernst is gematcht.
Robustheid tegen definitie van ernst: Het gat blijft stabiel (+18,9 tot +20,9 pp) over vier verschillende ernstproxies (Edit Distance, Token Jaccard, Sentence-BERT, Lengteverandering), wat bevestigt dat het effect geen artefact is van één enkele metriek.
Randvoorwaarden:
- Inferentie in kleine clusters: Het gat is niet significant onder wild cluster bootstrap op modelniveau (K=10) of familienniveau (K=7), wat aangeeft dat de bevinding beschrijvend is voor het specifieke panel en geen universeel geïdentificeerd causaal effect.
- Behandelbaarheid: Binnen-benchmark behandelbaarheidsproxies (bijv. multi-route versus single-route) slagen er niet in een significant contrast te identificeren (0/3 significant). De auteurs trekken eerdere claims terug dat "topologie de dichotomie regelt".
- Generatorafhankelijkheid: Cross-family generator-swaps vernietigen de per-cel rangschikking (Spearman $\rho \approx 0,14$ ), terwijl within-family swaps deze behouden. De specifieke grootte van $\Delta$ is generator-afhankelijk.
Houden-out validatie: Het 11e model (qwen2.5-14B) repliceert de richting van de capability $\times$ behandelbaarheid-partitie (3/4 Group A cellen positief), maar niet de grootte (gemiddeld +1,08 pp versus +19,69 pp), waarschijnlijk vanwege de hoge baseline-capaciteit van het gehouden model en de lage gevoeligheid voor oppervlakteruis.
Mechanisme-analyse (Stille divergentie): Trajectniveau-analyse op het gehouden model onthult een "stille divergentie"-mechanisme:
- M3 (Cascadediepte): Semantische verstoringen cascaderen 0,17 stappen dieper dan presentatieverstoringen ( $p = 2,5 \times 10^{-14}$ ).
- M4 (Gedachtegelijkenis): Semantische verstoringen laten de eerste actie intact, maar corrumperen de inhoud van de tussentijdse gedachten vanaf Stap 2, met een per-stap gelijkenisgat van -5,6 tot -10,5 pp.
- Terugtrekkingen: Twee eerdere mechanismeclaims worden expliciet ingetrokken: M1 (semantische verstoringen divergeren eerder) en M2 (semantische verstoringen corrigeren zichzelf minder vaak) slaagden er niet in te repliceren op het gehouden model.

Betekenis en claims
Het artikel positioneert zich primair als een bijdrage aan meting. Het documenteert een robuust empirisch fenomeen waarbij LLM-agenten systematisch verschillende gevoeligheid vertonen voor semantische versus oppervlakteruis in meerstapsredenering.

Technische implicatie: De bevindingen suggereren dat normalisatiestrategieën voor input prioriteit moeten geven aan het behandelen van betekenisdragende verstoringen (parafrasen, synoniemen) boven presentatieruis, aangezien de eerste hogere inconsistentiepercentages veroorzaakt.
Methodologische bijdrage: De studie biedt een rigoureus kader voor het meten van verstoringgevoeligheid bij agenten, inclusief ernstmatching, cascadering-analyse op trajectniveau en eerlijke rapportage van niet-repliceerbare mechanismeclaims (M1, M2).
Beperkingen: De auteurs benadrukken dat de regressiecoëfficiënten niet standhouden onder strikte inferentie in kleine clusters (wild bootstrap), wat betekent dat de resultaten beschrijvende associaties zijn voor het geteste panel en geen geïdentificeerde causale effecten. Het diagnostische hulpmiddel (AgentDiff-Probe v2) is een prototype waarvan de tekennauwkeurigheid gelijkstaat aan de triviale baseline, en de auteurs waarschuwen tegen het gebruik ervan als enige poort voor productie-implementatie.

Het werk claimt expliciet geen cross-family generalisatie van de specifieke gatgrootte en trekt eerdere claims over lineaire monotonie met betrekking tot capaciteit in, en herformuleert de relatie als een binaire poort op behandelbare benchmarks. Alle code, data en scripts zijn vrijgegeven voor review.