🤖 AI

Faithful, Not Corrective: Message-Format Effects in Multi-Hop Agent Relays Are Tier-Dependent

Dit artikel toont aan dat de impact van berichtformaten op multi-hop LLM-agenten-relais afhankelijk is van het niveau, waarbij wordt onthuld dat terwijl sterke agenten een bijna verliesloze getrouwheid behouden over verschillende formaten, zwakke agenten lijden onder significante door het formaat gedreven prestatiedivergentie waarbij rigide structuren encoderingskosten met zich meebrengen maar fixed-key JSON een superieure weerstand tegen drift biedt, wat uiteindelijk vaststelt dat structuur zorgt voor fout-lokaliserende getrouwheid in plaats van foutcorrectie.

Oorspronkelijke auteurs: Zayx Shawn

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zayx Shawn

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een spelletje "Telefoontje" voor, maar in plaats van kinderen die geheimen fluisteren, heb je een keten van AI-robots die een lijst met twaalf belangrijke feiten doorgeven. De grote vraag die onderzoekers stelden was: Maakt de manier waarop de robots het bericht opschrijven uit? Moeten ze schrijven in rommelige, vrij vloeiende zinnen, of moeten ze de feiten in een strikte, rigide doos dwingen zoals een JSON-spreadsheet of een lijst met sleutel-waarde paren?

Lama een tijdje discussieerden experts hierover. Sommigen zeiden: "Structuur is geweldig! Het bespaart geld en houdt de zaken accuraat." Anderen zeiden: "Nee, absoluut niet! Robots in dozen dwingen maakt ze dom en verpest hun redenering."

Dit artikel besloot de score te bepalen door een enorme, gecontroleerde estafette te bouwen. Ze creëerden 12 nepfeiten (zoals "Het budget is $500" of "De deadline is dinsdag") en stuurden deze door een keten van zes overdrachten. Ze testten dit met twee soorten robots: een Super-Brein (een krachtige, dure AI) en een Tiny-Brein (een klein, goedkoop 1.5B-model). Ze probeerden vijf verschillende schrijfstijlen, van vrije tekst tot rigide code.

Dit is wat ze vonden, en het verandert hoe we moeten denken over AI-teamwerk.

1. Het "Telefoontje"-spel gaat niet altijd kapot

Als je het Super-Brein gebruikt, is het spel verrassend saai. Na zes overdrachten is het bericht bijna perfect. Het beroemde "Telefoontje"-effect — waarbij het bericht vervormd raakt en in onzin verandert — gebeurt simpelweg niet bij een sterke robot. Of de robot het bericht nu in een chique JSON-doos schrijft of in een vrij vloeiende paragraaf, de feiten blijven intact. Het enige kleine beetje informatie dat verloren gaat, gebeurt precies bij de allereerste stap, wanneer de robot het bericht voor het eerst opschrijft. Daarna reist het bericht zonder te veranderen voort.

2. De "Drukke Robot"-mythe

Je denkt misschien: "Wat als de robot ander werk doet terwijl hij het bericht doorgeeft? Zoals, wat als hij eerst een wiskundeprobleem moet oplossen?" De onderzoekers testten dit door het Super-Brein bij elke stap extra denkwerk te laten doen.
Het resultaat? De robot werd moe en de berichten werden langer (wat 24% tot 53% meer "tokens" kostte, wat zoiets is als meer betalen voor het bericht), maar de accuratesse daalde niet. Het druk zijn maakte het Super-Brein niet slechter in het doorgeven van de feiten. De vorm van het bericht maakte hier ook niet veel uit; de robot was gewoon te goed om te falen.

3. Het echte drama: De Tiny-Brein Estafette

Het wordt interessant wanneer je overschakelt naar het Tiny-Brein. Dit is waar het "Telefoontje"-spel daadwerkelijk kapot gaat, maar op een vreemde manier.

De Encorderings-tol: Wanneer het Tiny-Brein probeert het bericht in een rigide formaat te schrijven (zoals JSON of Sleutel-Waarde), heeft het direct aan het begin moeite. Het is moeilijk voor een klein brein om feiten in een strikte doos te dwingen, dus verliest het direct ongeveer 20% van de feiten.
De Drift-verdediging: MAAR, zodra het Tiny-Brein het bericht wel in die rigide JSON-doos heeft gekregen, gebeurt er iets magisch. De strikte doos werkt als een veiligheidsgordel. Zelfs terwijl het bericht door nog vijf andere handen gaat, blijven de feiten binnen de JSON-doos nauwelijks afwijken. Ze blijven stevig op hun plek zitten.
De Vrije-Tekst-Disaster: In contrast hiermee, als het Tiny-Brein in vrij vloeiende tekst schrijft, begint het sterk, maar vergeet het langzaam dingen. Tegen de zesde overdracht is het vrije-tekstbericht een ramp, waarbij de feiten alle kanten op drijven.

De Twist: De rigide formaten (JSON) lijken aan het begin slechter omdat de kleine robot er moeite mee heeft om ze te schrijven, maar ze winnen het uiteindelijk omdat ze voorkomen dat het bericht gaandeweg wegrott. De vrije tekst begint sterk, maar valt daarna uit elkaar. Het artikel vond dat het verschil in accuratesse tussen de beste en slechtste formaten 8,7 keer groter was bij het gebruik van de zwakke robot vergeleken met de sterke.

4. Structuur is een "Getrouwe Boodschapper", geen "Magische Oplossing"

Dit is de belangrijkste regel die het artikel ontdekte. Veel mensen hopen dat als je een fout in een rigide formaat plaatst, het formaat de fout magisch zal herstellen. Het artikel sluit dit expliciet uit.
Ze testten dit door halverwege de keten stiekem een correcte naam te vervangen door een valse naam.

Het resultaat: Zodra de valse naam verscheen, droeg elk enkel formaat (JSON, vrije tekst, triples) die valse naam helemaal door naar het einde. De rigide doos corrigeerde de fout niet. Het droeg de fout simpelweg getrouw over.
Geen Kettingreactie: Ook veroorzaakte de valse naam geen verdere problemen met andere feiten. De fout bleef geïsoleerd.

Dus structuur is als een getrouwe koerier. Als je de koerier een correct pakket geeft, levert hij het perfect af. Als je de koerier een kapot pakket geeft, levert hij het kapotte pakket perfect af. Het is geen reparatiewerkplaats die het pakket repareert terwijl het onderweg is.

De Conclusie voor Jouw AI-Team

Als je een systeem bouwt waarbij AI-agenten berichten naar elkaar doorgeven:

Maak je geen zorgen over het formaat als je AI super slim is. Het zal de klus op beide manieren klaren.
Als je een kleinere, goedkopere AI gebruikt, MOET je een rigide formaat (zoals JSON) gebruiken voor lange ketens. Hoewel het voor de kleine AI moeilijker is om te starten, zal de rigide doos voorkomen dat het bericht gaandeweg wegrott.
Verwacht nooit dat het formaat fouten herstelt. Als een robot een fout maakt, zal het formaat je niet redden. Je moet het werk zelf controleren.

Kortom: Structuur maakt de robot niet slimmer, en het herstelt zijn fouten niet. Maar als je een kleine robot hebt die een lange estafette loopt, is de rigide doos het enige dat voorkomt dat het bericht uit elkaar valt.

Technisch Overzicht: Getrouw, Niet Corrigerend: Effecten van Berichtformaten in Multi-Hop Agent-Relais zijn Tier-Afhankelijk

1. Probleemstelling

Multi-agent Large Language Model (LLM) systemen functioneren fundamenteel als relais-systemen waarbij informatie door het ene model wordt gehercodeerd voor consumptie door een ander. Terwijl de bestaande literatuur tegenstrijdige richtlijnen biedt over berichtformaten—sommigen suggereren dat gestructureerde formaten de kosten verlagen zonder op te offeren aan nauwkeurigheid, terwijl anderen beweren dat rigide schema's redeneren verslechteren—heeft geen van beide onderzoeken de specifieke dynamiek van multi-hop relais geadresseerd. In single-hop uitwisselingen is de primaire uitdaging de kwaliteit van de generatie; in multi-hop ketens is de dominante uitdaging de kopie-getrouwheid (het voorkomen van cumulatieve drift). Het teken van het formaat-effect in een relais-regime blijft onbekend, met name omdat pipelines steeds vaker kleinere, kosteneffectieve modellen inzetten bij de grenzen van de relais, waar inter-agent misalignement een leidende oorzaak van falen is.

2. Methodologie

De auteurs introduceren een gecontroleerde relais-testomgeving die ontworpen is om formaat-effecten te isoleren van modelcapaciteit en taakcomplexiteit.

Grondwaarheid: De studie gebruikt een programmatische grondwaarheid afgeleid van twaalf synthetische atomaire feiten (eigenaren, hoeveelheden, deadlines, beperkingen, afhankelijkheden, verboden) over drie domeinen. Getrouwheid wordt gemeten ten op respecte van de output van de generator, niet de generatie van een ander model.
Relais-protocol: Taakinstructies worden stap voor stap (hop-by-hop) opnieuw gecodeerd over zes hops. Elke agent ontvangt alleen het bericht van de vorige hop en moet de volledige overdracht in het toegewezen formaat opnieuw uitgeven.
Formaten: Vijf formaten die het spectrum van structuur beslaan, werden getest:
1. FREE: Vrije natuurlijke taal.
2. CONSTR: Natuurlijke taal met precisie-instructies (letterlijke getallen/namen).
3. JSON: Een vast schema met zes sleutels.
4. TRIPLES: Subject | Predicaat | Object regels.
5. KV: Platte snake_case sleutel-waarde regels.
Capaciteits-tiers: Experimenten werden uitgevoerd over twee verschillende relais-tiers:
- Strong Tier: DeepSeek-v4-flash (API model).
- Weak Tier: Qwen2.5-1.5B-Instruct (4-bit gekwantiseerd, lokaal).
- Cruciaal: Een enkel vast sterk model diende als grader voor alle condities om te garanderen dat geobserveerde distorties geen artefacten waren van een zwakke evaluator.
Metrieken:
- QA Recall (Primair): Een vaste sterke grader beantwoordt 12 gesloten vragen gebaseerd op het hop-bericht, met exacte token-matching tegen de grondwaarheid.
- String Recall (Secundair): Letterlijke bevatting van de oppervlaktevormen van feiten (zonder judge).
Experimentele Condities:
- Pure Relay: Standaard hercodering.
- Cognitieve Belasting (Strong Tier): Agents moeten een analyse-stap uitvoeren vóór de hercodering om echte verwerking te simuleren.
- Paired-Fork Injectie (Weak Tier): Een specifieke fout (een eigenaarsnaam) wordt programmatisch geïnjecteerd bij Hop 3. De keten splitst zich in een "schone" arm en een "geïnjecteerde" arm om fout-persistentie en nevenschade te meten.

3. Belangrijkste Resultaten

A. Strong Tier: Bijna Verliesloze Relais

Onder het sterke relais-model vindt de "telefoongame"-instorting (progressieve degradatie van nauwkeurigheid) niet plaats.

Na zes hops behielden alle formaten een QA recall $\ge 0,973$ .
Residueel verlies is bijna volledig geconcentreerd in de eerste encodestap (Hop 1) in plaats van te accumuleren over opeenvolgende hops.
Cognitieve Belasting: Het toevoegen van per-hop analyse-taken verhoogde de generatiekosten met 24–53%, maar had een verwaarloosbare impact op de getrouwheid (beperkt binnen $\pm 1,8$ punten).
Formaat Efficiëntie: Precisie-geïnstrueerde natuurlijke taal (CONSTR) bereikte perfecte recall met 26% minder tokens dan JSON, wat suggereert dat gestructureerde schema's niet strikt noodzakelijk zijn voor sterke modellen.

B. Weak Tier: Tier-Afhankelijke Formaat-effecten

Wanneer de relais-capaciteit daalt (1.5B model), veranderen de dynamieken drastisch. De spreiding van de recall over de formaten bij Hop 6 groeit met een factor van 8,7 (SD ratio).

Twee Tegenovergestelde Mechanismen:
1. Encoding Toll (Encoderingstaks): Rigide formaten (JSON, KV) leggen een hoge initiële kosten op aan zwakke modellen, wat resulteert in een lagere Hop 1 recall vergeleken met natuurlijke taal-formaten.
2. Drift Resistance (Drift-resistentie): Eenmaal gecodeerd, fungeert het vaste-sleutel JSON-schema als een sterk anker dat cumulatieve drift weerstaat. JSON verloor slechts 4,7 ruwe punten over de hops 1–6, terwijl vrije tekst en triples meer dan 20 punten verloren.
Ranking Flip: Door deze tegenovergestelde krachten keert de rangorde van het formaat tijdens de transitie. JSON begint op de 4e plaats bij Hop 1 (door de encoderingstaks) maar eindigt op de 2e plaats bij Hop 6 (door de drift-resistentie).
Conclusie: Structuur bewaart de inhoud, maar herstelt deze niet. Het "beste" formaat hangt af van het zwakste relais in de pipeline.

C. Causale Adjudicatie: Getrouw, Niet Corrigerend

Met behulp van de paired-fork injectie testte de studie of schema's drift voorkomen of fouten repareren.

Persistentie: Zodra een fout is geïnjecteerd, plant deze zich in 83–100% van de ketens voort tot de laatste hop in alle formaten.
Geen Correctie: Geen enkel formaat vertoonde een vermogen om de geïnjecteerde fout te "corrigeren".
Geen Cascade: Het injecteren van een enkele fout veroorzaakte geen detecteerbare nevenschade aan naburige feiten.
Implicatie: Structuur levert een getrouwe, fout-lokaliserende kanaal, geen fout-corrigerende code.

4. Bijdragen

Eerste Formaat-gecontroleerde Relaisstudie: De auteurs voltooien de "formaat $\times$ hops $\times$ capaciteit" designruimte, waarmee zij aantonen dat de "telefoongame"-instorting niet inherent is aan multi-hop tekst-relais, maar afhankelijk is van de relais-capaciteit en de taaktransformatie.
Identificatie van Capaciteitsregimes: De studie stelt vast dat formaat-effecten tier-afhankelijk zijn. Aan de frontlinie (sterke modellen) is de keuze van het formaat bijna gratis; onder het plafond (zwakke modellen) is de keuze beslissend en gedreven door een afweging tussen encoderingskosten en drift-resistentie.
Mechanisme-decompositie: Het artikel isoleert twee tegenovergestelde mechanismen in zwakke relais: de "encoding toll" van rigide schema's versus de "drift resistance" van vaste-sleutel schema's, wat verklaart waarom JSON-rangordes in de loop van de tijd omdraaien.
Causale Adjudicatie van "Schema Preventie": De studie weerlegt het idee dat schema's fungeren als fout-corrigerende codes. In plaats daarvan worden ze getoond als getrouwe kanalen die fouten lokaliseren zonder ze te versterken of te repareren.

5. Betekenis en Praktische Richtlijnen

Het artikel betoogt dat naarmate pipelines steeds meer afhankelijk worden van kleine, kosteneffectieve modellen voor relais-taken, de berichtvorm verschuift van een stijlkeuze naar een kritieke betrouwbaarheidsparameter.

Voor Sterke Relais: Precisie-geïnstrueerde natuurlijke taal is optimaal; dit biedt schema-waardige getrouwheid tegen aanzienlijk lagere token-kosten.
Voor Zwakke Relais (Lange Ketens): Een vaste-sleutel schema (JSON) wordt aanbevolen ondanks de initiële encoderingstaks, omdat de drift-resistentie de inhoud over meerdere hops beter bewaart dan natuurlijke taal.
Algemene Regel: De keuze van het formaat moet worden bepaald door het zwakste relais in de pipeline.
Design-implicatie: Structuur lokaliseert schade, maar herstelt het niet. Systemen die foutcorrectie vereisen, moeten expliciete validatie- en re-groundingmechanismen implementeren, aangezien het berichtformaat zelf de gecorrumpeerde data niet zal repareren.

De auteurs concluderen dat de "telefoongame" geen wetmatigheid is van LLM-pipelines, maar een capaciteit-afhankelijk fenomeen, en dat het specifieke mechanisme van multi-hop degradatie varieert afhankelijk van de ontwerpkeuze van het berichtformaat.