Technische Samenvatting: Semantische Registercompressie in Multi-Agent LLM Cascades

Probleemstelling

Multi-agent Large Language Model (LLM) systemen deconstrueren complexe taken steeds vaker in gespecialiseerde rollen (bijv. Collector, Evaluator, Decider). Hoewel deze modulariteit gericht is op het verbeteren van redenering en feitelijkheid, introduceert het een representationeel risico: tussenliggende agenten herschrijven inputs over linguïstische en functionele registers heen, waardoor ze de semantische onderscheidend vermogens die nodig zijn voor nauwkeurige downstream-beslissingen systematisch comprimeren.

Het onderzoek identificeert dit fenomeen als Semantische Registercompressie. Het wordt gedefinieerd als het verlies van categorische onderscheidbaarheid dat optreedt wanneer een tussenliggende agent inputs herschrijft in een evaluatieve of analytische stijl. In tegen tegenstelling tot traditionele foutmodi zoals hallucinaties of incoherente tekst, is deze fout subtiel; het systeem produceert vloeiende tussenliggende redeneringen die onderscheid tussen categorieën laten instorten, waardoor de uiteindelijke outputs naar centrale of gematigde labels concentreren. Dit is bijzonder kritiek in architecturen waarbij de uiteindelijke beslissingsagent de oorspronkelijke input niet ziet, waardoor het verlies van semantische scheidbaarheid onherstelbaar is.

Methodologie

De studie maakt gebruik van een sequentiële drie-agenten-pipeline geïmplementeerd via LangGraph, bestaande uit:

1. Collector: Ontvangt de oorspronkelijke input en produceert een neutrale rapportage.
2. Evaluator: Ontvangt enkel de output van de Collector en produceert een analytische beoordeling.
3. Decider: Ontvangt enkel de output van de Evaluator en wijst een definitief classificatielabel toe.

Datasets:

• Primair: LIAR dataset (politieke fact-checking), gebruikmakend van 50 gebalanceerde claims over vijf waarheidslabels (gerepliceerd op 500 claims).
• Cross-Domein: SST-5 (sentimentanalyse) en Triagegeist (synthetische medische triage), met elk 50 gebalanceerde voorbeelden.

Meetmetriek:
De auteurs introduceren Inter-Label Separatie om compressie te kwantificeren. Met behulp van all-MiniLM-L6-v2 (een externe Sentence-Transformer onafhankelijk van de pipeline LLM's) coderen zij teksten in elke fase.

• Centroids: Voor elk grondwaarheid-label $y$ in fase $t$ wordt een centroid $c_{t,y}$ berekend door het gemiddelde van de embeddings van de teksten in die groep te nemen.
• Separatie ($S_t$): De gemiddelde Euclidische afstand tussen alle paren label-centroids.
• Compressie ($C_t$): Het percentage reductie in separatie ten opzichte van de inputfase: $C_t = \frac{S_{input} - S_t}{S_{input}} \times 100$.

Experimentele Varianten:
Om causale drijfveren te isoleren, testten de auteurs vijf Evaluator-varianten:

1. Original (Critical): Standaard kritische evaluatie.
2. Balanced: Pro/contra analyse.
3. Credibility-Supporting: Zoekt naar kenmerken die de geloofwaardigheid van de claim ondersteunen.
4. Numerical: Converteert de evaluatie naar een score van 1–10.
5. Identity Passthrough: Geeft de output van de Collector ongewijzigd door.
6. Evaluator Removed: Directe flow van Collector naar Decider.

Daarnaast werd een 20-staps prompt-gradiënt getest om de relatie tussen transformatie-intensiteit en compressie te analyseren.

Belangrijkste Resultaten

1. Lokalisatie van Compressie

• Collector Fase: De inter-label separatie bleef vrijwel onveranderd (0.4345 naar 0.4364, -0,4% compressie), wat aangeeft dat de neutrale verzamelfase transparant is.
• Evaluator Fase: De separatie daalde significant van 0.4345 naar 0.2534, wat een compressie van 41,7% vertegenwoordigt. Dit lokaliseert de foutmodus specifiek bij de evaluatieve transformatie.
• Cosine Gelijkenis: Na de evaluatie was de inter-label gelijkenis (0,93–0,96) groter dan de intra-label gelijkenis (0,61–0,68), wat bevestigt dat outputs van verschillende categorieën meer op elkaar gingen lijken dan op hun eigen categorielid.

2. Causale Drijfveren

• Transformatie vs. Cascade: De Identity Passthrough en het verwijderen van de Evaluator resulteerden in geen enkele compressie. Dit bewijst dat compressie niet wordt veroorzaakt door de loutere aanwezigheid van een tussenliggende LLM-fase, maar door de georiënteerde semantische transformatie die door de Evaluator wordt uitgevoerd.
• Richting vs. Grootte: De Credibility-Supporting variant produceerde minimale geometrische compressie (~1%) maar verschoof de outputdistributie naar "mostly-true" (42%). Daarentegen produceerde de Critical variant hoge compressie (41,7%) en verschoof de outputs naar "half-true" (60%). Dit demonstreert dat geometrische compressie (verlies van scheidbaarheid) en distributieve bias (richting van de ineenstorting) afzonderlijke fenomenen zijn die worden gestuurd door de valentie van de evaluatie.

3. Voorspellers en Generalisatie

• Prompt Voorspellers: Een meervoudig regressiemodel verklaarde 78% van de variantie in compressie met drie voorspellers:
  1. Embedding afstand van de identity prompt.
  2. Aantal evaluatieve woorden.
  3. Aantal operationele beperkingen (operational constraints).
  • Bevinding: Prompts met meer operationele beperkingen waren geassocieerd met lagere compressie, wat suggereert dat specifieke instructies onderscheid beter behouden dan generieke evaluatieve prompts.
• Cross-Domein Generalisatie: Compressie trad op in alle drie de domeinen, maar met variërende intensiteit:
  • Fact-checking (LIAR): 41,7%
  • Sentiment (SST-5): 27,2%
  • Triage (Triagegeist): 20,0%
  • Observatie: Domeinen met meer operationele categorieën of duidelijkere inputsignalen (zoals triage) leken minder kwetsbaar dan genuanceerde evaluatieve domeinen (zoals fact-checking).

Betekenis en Claims

Het artikel beweert Semantische Registercompressie te hebben vastgesteld als een meetbare en generaliseerbare foutmodus in multi-agent LLM-systemen. De belangrijkste bijdragen zijn:

1. Definitie: Het definieert semantische registercompressie als een specifieke geometrische fout waarbij tussenliggende agenten categorische onderscheidend vermogens doen instorten in de embedding-ruimte.
2. Diagnostisch Instrument: Het introduceert inter-label separatie als een fase-gewijze diagnostiek om informatieverlies binnen een pipeline te volgen, verder reikend dan de uiteindelijke output-accuratesse.
3. Causale Isolatie: Het isoleert causaal de evaluatieve semantische transformatie als de drijver van compressie, waarbij het onderscheid maakt met eenvoudige cascading of stijl-normalisatie.
4. Mitigatiestrategie: Het identificeert operationele beperkingen in prompts als een praktische mitigatie, waarbij wordt aangetoond dat specifieke, beperkingsrijke instructies onderscheidende kenmerken beter behouden dan brede evaluatieve verzoeken.

Implicaties voor Veiligheid:
De auteurs stellen dat veiligheidsevaluatie voor multi-agent systemen verder moet gaan dan uiteindelijke accuratesse, trace-level fouten of individuele agent-competentie. In sectoren met hoge inzet (fact-checking, triage, governance) kan een vloeiende maar gestandaardiseerde tussenliggende evaluatie fungeren als een semantische bottleneck, waardoor de downstream-gevoeligheid voor extreme of hoog-risico gevallen wordt verminderd. Het artikel stelt dat veiligheidsevaluatie expliciet moet testen of interne transformaties de onderscheidende vermogens die nodig zijn voor downstream-beslissingen behouden.

Beperkingen:
De studie erkent dat dit een initiële empirische karakterisering is. Beperkingen omvatten het gebruik van kleine steekproeven (50 voorbeelden per conditie, hoewel 500 werden gebruikt voor baseline-replicatie), de afhankelijkheid van synthetische triage-data, en het gebruik van embedding-metrieken als proxies voor semantische scheidbaarheid in plaats van absolute maatstaven van betekenis. De auteurs merken op dat toekomstig werk nodig is om semantische compressie te onderscheiden van stilistische of oppervlaktevorm-factoren.