🤖 AI

Learning to Hand Off: Provably Convergent Workflow Learning under Interface Constraints

Dit artikel introduceert IC- $Q$ , een gedecentraliseerd $Q$ -learning-algoritme voor multi-agent workflows die opereren onder interface-beperkingen, en biedt de eerste eindige-steekproef convergentiegarantie voor neurale $Q$ -learning in deze setting door de fout te ontleden in componenten voor functiebenadering, representatie en mengtijd, terwijl het empirisch valideert dat het in staat is om de prestaties van een gecentraliseerd orakel te evenaren zonder toegang tot gezamenlijke trajecten.

Oorspronkelijke auteurs: Jiayu Li, Enpei Zhang, Dawei Zhou, Elynn Chen, Yujun Yan

Gepubliceerd 2026-05-20

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiayu Li, Enpei Zhang, Dawei Zhou, Elynn Chen, Yujun Yan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een enorme, hoog-risico assemblagelijn voor waar verschillende specialisten samen een product bouwen. Je hebt een Planner die het idee schetst, een Coder die de instructies schrijft, een Tester die op bugs controleert, en een Schrijver die het rapport finaliseert.

In een perfecte wereld houdt een enkele "Super Manager" het hele proces in de gaten, ziet elke gedachte, elk concept en elke fout, en vertelt iedereen precies wat ze als volgende moeten doen. Zo werken de meeste huidige AI-systemen. Maar in de echte wereld behoren deze specialisten vaak tot verschillende bedrijven, gebruiken ze verschillende software, of hebben ze strikte privacyregels. De Planner kan de privé-notities van de Coder niet zien, en de Coder kan de interne checklist van de Tester niet zien. Ze geven alleen een enkel "overdrachtsdocument" (zoals een stuk papier of een digitaal bestand) door aan de volgende persoon.

Dit paper, "Learning to Hand Off", lost een specifiek probleem op: Hoe leer je dit team om perfect samen te werken wanneer niemand het hele plaatje ziet, en ze alleen kunnen communiceren via dat ene overdrachtsdocument?

Hier is de uitleg van hun oplossing, met eenvoudige analogieën:

1. Het Probleem: De "Blinde Estafette"

Normaal gesproken moet je, om een team goed te laten werken, video's tonen van het hele proces van begin tot eind, zodat ze uit hun fouten kunnen leren. Maar in dit scenario:

Geen Centraal Oog: Niemand heeft een video van het hele proces.
Privacymuren: De Planner weet niet waar de Coder aan denkt; de Coder kent de privé-status van de Tester niet.
De Overdracht: Het enige wat van handen wisselt, is een specifiek artefact (de "interface").

Als je hier standaard AI-trainingsmethoden probeert toe te passen, falen ze omdat ze ervan uitgaan dat iedereen alles kan zien.

2. De Oplossing: De "IC-SMDP" (De Assemblagelijnkaart)

De auteurs hebben een nieuwe wiskundige kaart gemaakt genaamd een IC-SMDP. Denk hierbij aan een reglement voor een estafettewedstrijd waarbij:

De Wedstrijd: De taak is opgesplitst in "etappes". Elke agent (Planner, Coder, etc.) loopt zijn etappe.
De Wisselstok: Het "overdrachtsartefact" is de wisselstok.
De Regel: Wanneer je de wisselstok doorgeeft, mag je alleen kijken naar de stok en je eigen privé-notities. Je mag niet in de notitieboeken van de andere lopers gluren.

Deze kaart bewijst dat zelfs met deze strikte beperkingen, het team toch de optimale manier om de wedstrijd te lopen kan leren.

3. Het Algorithm: "IC-Q" (De Fluisterstrategie)

Hoe leren ze het team zonder een centrale manager? Ze hebben een algoritme uitgevonden genaamd IC-Q.

Stel je voor dat de lopers in een estafettewedstrijd zitten, maar ze mogen geen instructies naar elkaar toe schreeuwen. In plaats daarvan, wanneer Loper A de wisselstok doorgeeft aan Loper B, doet Loper B een snelle mentale berekening: "Als ik deze stok neem en mijn etappe loop, wat is dan de best mogelijke score die ik kan behalen?"

Loper B fluistert vervolgens één enkel getal terug naar Loper A: "De beste score die ik kan behalen is 95."

Loper A gebruikt dat ene getal om te beslissen: "Oké, als ik de stok doorgeef aan Loper B, krijgt het team een 95. Als ik hem doorgeef aan Loper C, krijgt het team een 70. Ik geef hem door aan B."

De Magie: Ze wisselen op elke overdracht slechts één getal (een scalar) uit. Ze delen geen privé-gedachten, code of lange logs. Dit houdt het systeem snel, privé en goedkoop om te draaien.

4. De Garantie: "Het Scorebord"

Het belangrijkste deel van dit paper is het wiskundige bewijs. De auteurs zeiden niet zomaar: "Dit lijkt te werken." Ze bewezen precies hoe goed het werkt en waarom het zou kunnen falen.

Ze splitsten de mogelijke fouten op in drie categorieën, zoals een scorebord voor een sportteam:

De "Vage Brillen"-Fout (Interface Gap): Soms heeft het overdrachtsdocument (de stok) niet genoeg details. Als het document te vaag is, maakt het team fouten. De wiskunde zegt: Hoe slechter het document, hoe lager de score, maar we kunnen precies voorspellen hoeveel lager.
De "Studentenbrein"-Fout (Neural Approximation): De AI-agenten zijn lerende studenten. Soms zijn ze gewoon niet slim genoeg of hebben ze niet genoeg geoefend om het perfecte pad te vinden. De wiskunde zegt: Als je ze meer rekenkracht geeft (een groter brein), krimpt deze fout.
De "Wachttijd"-Fout (Mixing Time): In een estafette doen de lopers soms lang over hun etappe. De wiskunde houdt rekening met hoe lang de overdrachten duren en zorgt ervoor dat het team niet in de war raakt door de vertragingen.

De Grote Claim: Het paper bewijst dat als je deze drie factoren combineert, je precies kunt voorspellen hoe goed het team zal zijn. Het is de eerste keer dat iemand dit heeft bewezen voor een gedecentraliseerd team waar niemand het hele spel ziet.

5. Het Bewijs: "De Labtests"

De auteurs testten dit in vier verschillende "spellen":

Een Synthetisch Spel: Een nep, gecontroleerde omgeving waar ze de "vage brillen"-knop konden op- en afdraaien. Naarmate ze de overdrachtsdocumenten slechter maakten, daalde de score van het team precies zoals de wiskunde voorspelde.
Wiskundige Problemen: Een team van AI-agenten (Planner, Coder, Checker) dat moeilijke wiskundige vragen oplost. Het team leerde het probleem automatisch naar de juiste expert te routeren, en boekte prestaties die gelijk waren aan die van een "Super Manager" die alles zag, zelfs hoewel geen enkele agent het hele gesprek zag.
Routering: Het verzenden van data door een netwerk van 100 knooppunten. Het team leerde de snelste route te vinden zonder een centrale kaart.
CPU-programmering: Agenten die samenwerken om een computerchip te programmeren. Zelfs toen de agenten moesten leren hoe ze moesten handelen (niet alleen aan wie ze moesten doorgeven), werkte het systeem.

Samenvatting

Dit paper is als een handleiding voor het bouwen van een hoogpresterende, privacygerichte assemblagelijn. Het bewijst dat je geen "Big Brother" nodig hebt die iedereen in de gaten houdt om geweldige resultaten te boeken. In plaats daarvan kun je gespecialiseerde agenten leren om bij elke overdracht een simpele "score" heen en weer te sturen.

Het resultaat is een systeem dat bewijsbaar is (we weten precies hoe goed het zal zijn), privé (agenten delen geen geheimen) en efficiënt (ze geven slechts een klein beetje data door). Het verandert een chaotische, blinde estafettewedstrijd in een gesynchroniseerd, winnend team.

Technische Samenvatting: Leren om over te dragen

Probleemstelling

Dit artikel behandelt de uitdaging van het leren van optimale workflows in sequentiële decentrale multi-agent systemen, specifiek binnen de context van Multi-Agent LLM-pijplijnen. In tegenstelling tot gecentraliseerde regimes waarin een enkele ontwerper globale zichtbaarheid heeft op agenttrajecten, omvat het doeloperatieregime agenten die zich uitstrekken over organisatorische, leveranciers- of vertrouwensgrenzen. In deze setting:

Sequentiële overdrachten: Controle wordt overgedragen van één gespecialiseerde agent naar een andere via een gedeeld artefact (bijvoorbeeld een bericht of codefragment).
Decentralisatie: Geen enkele partij heeft toegang tot gezamenlijke trajecten tijdens training of uitvoering.
Interface-beperkingen: Elke agent observeert alleen het artefact dat het ontvangt en zijn eigen privétoestand; interne staten, denkketens en proprietaire prompts worden niet blootgelegd over grenzen heen.
Eis tot eindige steekproeven: Implementaties werken binnen begrensde rekenkracht en API-budgetten, wat garanties op steekproeffICIëntie vereist in plaats van alleen asymptotische convergentie.

Bestaande kaders slagen er niet in om deze specifieke combinatie van beperkingen aan te pakken. Dec-POMDP's (Decentralized POMDPs) veronderstellen gelijktijdige acties; Gecentraliseerde Training met Decentrale Uitvoering (CTDE) vereist toegang tot gezamenlijke trajecten tijdens training; en het Options-kader veronderstelt volledige staatobservatie op beslismomenten. Bovendien vertrouwt voorgaand werk over multi-agent LLM-orkestratie op handmatig ontworpen adaptieve regels zonder besluitvormings-theoretische fundamenten of convergentiegaranties.

Methodologie

Formeel Model: IC-SMDP

De auteurs formaliseren het probleem als een Interface-Beperkt Semi-Markov Besluitproces (IC-SMDP).

Structuur: Het systeem evolueert op een primitieve tijdschaal maar neemt beslissingen op overdrachtstijdstippen. Elke agentoproep wordt behandeld als een tijdelijk uitgebreide "optie".
Staten:
- Globale Latente Staat ( $x_t$ ): Niet waargenomen door enige agent.
- Interface-staat ( $m_t$ ): Het artefact dat tussen agenten wordt doorgegeven (het enige kanaal voor informatie tussen agenten).
- Privéstaat ( $\ell^{(i)}_t$ ): lokaal voor agent $i$ .
Observaties: Agent $i$ observeert $o_t = \phi_i(m_t, \ell^{(i)}_t)$ , waarbij $\phi_i$ een agent-specifieke observatiemap is. Dit dwingt de interface-beperking af: agenten kunnen de ruwe interface-staat of privéstaten van andere agenten niet direct zien.
Acties: Agenten kiezen een lokale actie en een opvolgeragent (of een STOP-signaal).
Doel: maximaliseren van de verwachte afgepaste terugkeer over de workflow, onderworpen aan de observatiebeperkingen.

Algoritme: IC-Q

De auteurs stellen IC-Q voor, een asynchroon decentraal Q-learning-algoritme ontworpen voor het vooraf geconfigureerde regime (waarbij lokale acties vaststaan en alleen de selectie van opvolgers wordt geleerd).

Mechanisme: Elke agent onderhoudt een lokale Q-functie over zijn eigen AIS-observaties (Approximate Information State).
Waarde-overdracht: Bij elke overdracht berekent de opvolgeragent een scalair bootstrap-doel $b_{k+1} = \max_{c'} \hat{Q}_{c'}(o'_{k+1}, c')$ en transmits deze scalar, samen met de optieduur $\tau_{k+1}$ en de geaccumuleerde beloning $R_k$ , terug naar de voorganger.
Update: De voorganger update zijn lokale Q-functie met behulp van het regressiedoel $y_k = R_k + \gamma^{\tau_{k+1}} b_{k+1}$ .
Communicatie- overhead: Coördinatie tussen agenten is beperkt tot precies drie scalar per overdracht, wat minimale bandbreedte en API-kosten garandeert.

Theoretisch Kader

De analyse tilt het Approximate Information State (AIS)-kader op van single-agent primitieve-stap MDP's naar multi-agent SMDP's.

AIS-voorwaarden: De auteurs definiëren beloningsvoldoende ( $\epsilon_\phi$ ) en evolutievoldoende ( $\delta_\phi$ ) op de optieschaal, rekening houdend met willekeurige optieduur en de willekeurige afkortingfactor $\gamma^{\tau_{k+1}}$ .
Convergentiebewijs: Het artikel vestigt een eindige-steekproef convergentiebound voor IC-Q onder standaard aannames (uniforme ergodiciteit, gebonden beloningen/duren, goed geconditioneerde kenmerken en een specifieke SMDP-niveau Bellman-contractievoorwaarde).

Belangrijkste Bijdragen

Formeel Model (IC-SMDP): Introductie van een besluitvormings-theoretisch model voor sequentiële overdrachten onder interface-beperkingen, waarbij wordt aangetoond dat dit een welgedefinieerde SMDP induceert op overdrachtstijdstippen met een kwantificeerbare interface-kloof.
Decentraal Algoritme (IC-Q): Ontwerp van een asynchroon Q-learning-algoritme waarbij coördinatie tussen agenten wordt geminimaliseerd tot één scalar per overdracht, met strikte eerbiediging van privacy- en bandbreedtebeperkingen.
Eindige-steekproef Convergentiegarantie: De eerste eindige-steekproefbound voor neurale Q-learning onder decentrale gedeeltelijke waarneembaarheid. De bound decomposeert in drie onafhankelijk controleerbare foutbronnen:
- Neurale Benaderingsfout: Verdwijnt bij bredere netwerken.
- Interface Representatiekloof: De prijs die wordt betaald voor beperkte observatie, begrensd door AIS-voorwaarden.
- Mixing-tijd Residu: Verval met een snelheid van $O(1/T)$ , afhankelijk van de willekeurige duur van opties.
Theoretische Noviteit: Het bewijs adresseert drie uitdagingen die in voorgaand werk niet werden geconfronteerd:
- Bellman-contractie onder een willekeurige afkorting (afhankelijk van optieduur) in plaats van een vaste afkorting.
- Propagatie van de AIS-kloof op de optieschaal in plaats van de primitieve-stap-schaal.
- Controle van Markoviaanse ruis onder willekeurige optieduur.

Empirische Resultaten

De auteurs valideren het kader en de theorie via vier experimenten:

Synthetische IC-SMDP: Een gecontroleerde omgeving met 10 agenten gebruikt om de drie fouttermen in de theoretische bound te isoleren.
- Resultaat: De empirische waardenkloof correleert sterk ( $\rho \approx 0,916$ ) met de AIS-kloof naarmate de interface-observatie degradeert. De foutschaling komt overeen met de voorspelde $O(1/T)$ mixing-residu en de afhankelijkheid van mixing-tijd.
Multi-LLM Wiskundig Redeneren: Vier LLM-agenten (Commissaris, Denker, Controleur, Redacteur) lossen wiskundeproblemen op. Agenten zien alleen een 4-bit AIS-codering (antwoordstatus, wijziging, controle, correctheid) in plaats van het volledige gesprek.
- Resultaat: IC-Q komt overeen met een gecentraliseerde orakel en herstelt de optimale vooraf gedefinieerde workflow (bijvoorbeeld het inschakelen van een controleur voor moeilijke problemen, het overslaan ervan voor makkelijke problemen) zonder dat enige agent gezamenlijke trajecten observeert.
Multi-Agent Routing: 100 agenten routeren taken in willekeurige grafen met exacte AIS-observaties ( $\epsilon_\phi = \delta_\phi = 0$ $ϵ_{ϕ} = δ_{ϕ} = 0$ ).
- Resultaat: IC-Q bereikt 100% routingnauwkeurigheid over verschillende grafverdelingen, wat het algoritme valideert in het regime waarin de AIS-klofterm verdwijnt.
Multi-Agent CPU-programmering: Zes agenten transformeren gezamenlijk geheugentoestanden. Zowel lokale acties als selectie van opvolgers worden geleerd (aanpasbaar regime).
- Resultaat: IC-Q bereikt $\approx 80\%$ nauwkeurigheid op ongezette doeltatoestanden, wat empirische generalisatie demonstreert buiten het vooraf geconfigureerde toepassingsgebied van de formele stelling.

Betekenis en Claims

Het artikel claimt het eerste kader te bieden dat voldoet aan de vier onderscheidende operationele voorwaarden van sequentiële decentrale workflows (sequentiële overdrachten, volledige decentralisatie, interface-beperkte observatie en eindige-steekproef garanties).

Theoretische Betekenis: Het biedt de eerste gezamenlijke asymptotische en eindige-steekproefbound voor neurale Q-learning onder decentrale gedeeltelijke waarneembaarheid. Het breidt het AIS-kader uit naar multi-agent SMDP's met willekeurige duur, een kloof die eerder niet werd aangepakt.
Praktische Betekenis: De resultaten tonen aan dat hoogpresterend workflow-leren mogelijk is zonder gecentraliseerde data-toegang of blootlegging van interne agentstaten. Het algoritme komt overeen met gecentraliseerde orakels in complexe LLM-taken terwijl het strikte privacy- en communicatiebeperkingen naleeft.
Bescheidenheid: De auteurs merken expliciet op dat het formele convergentiebewijs van toepassing is op het vooraf geconfigureerde regime (vaste lokale beleidslijnen). Het succes in het aanpasbare regime (CPU-programmering) wordt gepresenteerd als empirisch bewijs van generalisatie, waarbij formele convergentie voor het aanpasbare geval wordt overgelaten aan toekomstig werk.