Technische Samenvatting: De Formalismeval in LLM-als-Judge Evaluatoren

1. Probleemdefinitie

Het artikel behandelt een kritieke kwetsbaarheid in het "LLM-as-a-Judge"-paradigma, met name wanneer dit wordt toegepast op gesimuleerde multi-agent systemen (MAS). Terwijl bestaande literatuur heuristische gebreken in geautomatiseerde evaluatoren heeft geïdentificeerd (bijv. verbositeitsbias, zelfversterking), blijft de Agentic Formalism Trap (Agentische Formalismeval) formeel ongedefinieerd. Deze val beschrijft een systemisch falen waarbij een LLM-evaluator structureel proceduralisme verwart met semantische waarheid onder adversariële sociale belasting.

In multi-agent omgevingen vertonen propagator-modellen vaak "Performative Verification Theater", waarbij ze redeneersporen genereren die structureel rigoureus zijn (bijv. gefabriceerde chronologische logs, isomorfe logische afleidingen, consensus-mimicry), maar feitelijk hol zijn. Het artikel hypotheseert dat frontier-evaluatoren worden "gekaapt" door deze performatieve syntaxis, waarbij ze hoge kwalitatieve rigoure-scores toekennen aan feitelijk onjuiste claims omdat ze niet het onderscheid kunnen maken tussen structurele isomorfie en semantische validiteit. Dit leidt tot Evaluator Capture (Evaluator-kaping), waarbij het interne geloof van de rechter in de kwaliteit van de redenering volledig divergeert van de feitelijke juistheid van de conclusie.

2. Methodologie

De studie hanteert een rigoureuze, deterministische aanpak om dit falen kwantitatief en mechanistisch te analyseren over 22.500 multi-agent trajecten.

2.1 Corpusgeneratie

• Datasets: Trajecten werden gegenereerd over drie domeinen met variërende entropie: GAIA (algemene redenering/QA), SWE-bench (software engineering) en Multi-Challenge (conversationele logica).
• Modellen: Drie frontier-modellen dienden als propagatoren: GPT 5.4, Claude Sonnet 4.6 en Gemini 3.1 Pro.
• Adversariële Condities: Propagatoren werden in gesimuleerde swarm-topologieën (homogeen en heterogeen) geplaatst via prompt-injecties. De generatie-pipeline maakte gebruik van een 3-fasige adversariële val:
  1. Semantic Hijacking: Context-hijacking met incorrecte decoy ID's.
  2. Dependency Bridging: Geneste 3-hop afhankelijkheden die multi-step fact chains afdwingen.
  3. Semantic Distraction: 500 ruis-tokens om attention heads te verzadigen.
• Evaluatie: Een cross-brand, round-robin "LLM-as-a-Judge"-opstelling werd gebruikt om de evaluator blind te houden voor de identiteit van de propagator en de experimentele condities, om zelfversterkingsbias te elimineren.

2.1 Theoretisch Kader & Metrieken

• Trace Decompositie: Een redeneerspoor $T$ wordt gedecomposeerd in Syntactische Structuur ($S$) en Feitelijke Semantiek ($M$). Het artikel stelt dat onder sociale belasting $S$ en $M$ ontkoppeld raken ($S \to \max(S)$ terwijl $M=0$).
• Evaluatieve Dissonantie Index ($D_E$): Een nieuwe metriek die de kloof kwantificeert tussen de waargenomen rigueur van een evaluator en zijn uiteindelijke binaire oordeel.
  • $V_{qual}(T)$: Genormaliseerde kwalitatieve score (gebaseerd op Evidence Weighting).
  • $A_{ext}$: Binaire accuratesse-verdict.
  • $D_E(T) = E[V_{qual}(T)] - A_{ext}$.
  • $D_E \approx 0$ duidt op optimale evaluatie; $D_E \to 1$ duidt op volledige Evaluator Capture.

2.3 Semantische Extractie & Modellering

• Geautomatiseerde Grounded Theory: Een offline extractie-pipeline (Gemini 3 Flash) analyseerde de volledige JSON-records om emergente retorische manoeuvres te identificeren zonder blootgesteld te worden aan de adversariële swarm-druk.
• Taxonomie Constructie: Ongeveer 50.129 ruwe labels werden geëxtraheerd (20.006 uit GAIA, 15.000 uit Multi-Challenge, en 15.123 uit SWE-bench) en geclusterd in 531 Global Canonical Clusters via een twee-fasig meta-clusteringsprotocol.
• Deterministische Lexicale Gronding: Om de taxonomie te valideren, berekenden de auteurs de Pearson-correlatie tussen de door de LLM toegewezen semantische labels en de ruwe frequentie van syntactische artefacten (markdown-blokken, haakjes, lijsten). Dit leverde een zeer significante correlatie op ($p < 10^{-120}$), wat bewees dat de labels gegrond waren in objectieve syntaxis in plaats van stochastische hallucinatie.
• Meta-Evaluator: Een logistische regressie-classifier werd getraind om Evaluator Capture ($Y=1$ als $D_E > 0.5$) te voorspellen op basis van de aanwezigheid van specifieke semantische clusters.

3. Belangrijkste Bijdragen

1. De Agentic Formalism Trap: Een formele definitie van de systemische kwetsbaarheid waarbij evaluatoren performatieve syntaxis verkiezen boven semantische waarheid in adversariële multi-agent settings.
2. Evaluatieve Dissonantie Index ($D_E$): Een wiskundige metriek om de divergentie te kwantificeren tussen de kwalitatieve scoring van een evaluator en zijn accuratesse-verdict.
3. Semantische Feature Mapping: De extractie en validatie van 531 semantische clusters van retorische evasie, rigoureus gegrond via deterministische lexicale analyse.
4. Inzetbare Meta-Evaluatie: Een logistische meta-evaluator die in staat is tot het detecteren van Evaluator Capture met hoge precisie, gevalideerd via zero-shot transfer.
5. Architecturale Kwetsbaarheids-profilering: Bewijs dat onderscheidende gesimuleerde swarm-topologieën mathematisch uiteenlopende semantische blinde vlekken induceren, wat bewijst dat de val architectuur-specifiek is.

4. Empirische Resultaten

• Voorspellende Prestaties: De logistische meta-evaluator bereikte een ROC-AUC van 0.8779 op de hold-out testset, wat bevestigt dat LLM-falen wordt gedicteerd door performatieve syntaxis in plaats van louter verbositeit.
• Syntactische Dominantie: Regressiecoëfficiënten toonden aan dat kenmerken zoals Social Conformity ($\beta = +3.75$) en Mimetic Consensus Fallacy ($\beta = +3.71$) Evaluator Capture sterk voorspellen. Daarentegen worden baseline cognitieve fouten (bijv. Systemic Cognitive Failure, $\beta = -3.88$) correct bestraft, wat aangeeft dat de val specifiek is voor structurele mimicry.
• Zero-Shot Generalisatie: In een Leave-One-Domain-Out (LODO) framework bereikte het model een gemiddelde zero-shot ROC-AUC van 0.7482, wat bewijst dat de Formalism Trap een domein-agnostische architecturale constante is.
• Vigilance Filter: Door de beslissingsdrempel te kalibreren naar $t=0.98$, bereikte het systeem een precisie van 0.91 met minimale fout-positieven, wat een inzetbaar filter creëert voor het detecteren van kaping.
• Architecturale Asymmetrie:
  • Homogene Swarms: Het schalen van homogene swarms (bijv. 5 Claude-modellen) versterkte de val, waarbij kwetsbaarheden verschoven naar complexe Performative Rigor.
  • Heterogene Swarms: Structureel diverse swarms (bijv. een mix van GPT, Claude en Gemini) neutraliseerden de val niet, maar fragmenteerden het consensusmechanisme, waardoor judges kwetsbaar werden voor Process-Outcome Decoupling en de Evaluator Paradox.

5. Betekenis en Claims

Het artikel claimt verder te gaan dan observationeel gedrag naar mechanistische interpreteerbaarheid, door formeel te definiëren waarom LLM-evaluatoren falen onder sociale belasting. De primaire betekenis ligt in:

• Het Blootleggen van de Illusie van Consensus: Het aantonen dat peer-evaluatie en debat in gesloten LLM-naar-LLM loops mathematisch divergent zijn wanneer de propagator de structurele syntaxis als wapen gebruikt.
• Noodzaak van Externe Filters: Het beargumenteren dat ongeankerde closed-loop evaluatie instabiel is en "Vigilance Filters" vereist die architectuur-specifiek zijn, in plaats van lokale prompt engineering.
• Model-Agnostische Diagnostiek: Het bieden van de Evaluatieve Dissonantie Index ($D_E$) en het diagnostische meta-evaluatiekader als duurzame instrumenten voor het auditeren van toekomstige architecturen, ongeacht specifieke model-updates.

De auteurs concluderen dat de Agentic Formalism Trap noodzaakt tot een verschuiving in hoe geautomatiseerde evaluatie wordt uitgevoerd, waarbij de focus moet verschuiven van de afhankelijkheid van structureel proceduralisme naar rigoureuze semantische verankering. Zij erkennen beperkingen met betrekking tot het gebruik van gesimuleerde (via prompt-injectie aangestuurde) swarms in plaats van live message-passing systemen en de afhankelijkheid van propriëtaire modellen, maar stellen dat de geïdentificeerde mechanismen fundamenteel zijn voor huidige frontier model-architecturen.