🤖 AI

Learning to Hand Off: Provably Convergent Workflow Learning under Interface Constraints

Dieser Beitrag stellt IC- $Q$ vor, einen dezentralen $Q$ -Lernalgorithmus für Multi-Agenten-Workflows, die unter Schnittstellenbeschränkungen operieren, und liefert den ersten Konvergenznachweis für neuronale $Q$ -Lernverfahren in diesem Setting mit endlichen Stichproben, indem der Fehler in Komponenten der Funktionsapproximation, der Repräsentation und der Mischzeit zerlegt wird, während gleichzeitig empirisch validiert wird, dass die Leistung zentraler Orakel ohne Zugriff auf gemeinsame Trajektorien erreicht werden kann.

Ursprüngliche Autoren: Jiayu Li, Enpei Zhang, Dawei Zhou, Elynn Chen, Yujun Yan

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiayu Li, Enpei Zhang, Dawei Zhou, Elynn Chen, Yujun Yan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine riesige, hochriskante Fertigungsstraße vor, auf der verschiedene Spezialisten gemeinsam ein Produkt herstellen. Sie haben einen Planer, der die Idee skizziert, einen Coder, der die Anweisungen schreibt, einen Tester, der nach Fehlern sucht, und einen Schreiber, der den Bericht finalisiert.

In einer perfekten Welt überwacht ein einziger „Super-Manager" den gesamten Prozess, sieht jeden Gedanken, jeden Entwurf und jeden Fehler und sagt jedem genau, was als Nächstes zu tun ist. So funktionieren die meisten aktuellen KI-Systeme. Doch in der realen Welt gehören diese Spezialisten oft verschiedenen Unternehmen an, nutzen unterschiedliche Software oder unterliegen strengen Datenschutzregeln. Der Planer kann die privaten Notizen des Coders nicht einsehen, und der Coder kann die interne Checkliste des Testers nicht sehen. Sie geben nur ein einziges „Übergabedokument" (wie ein Stück Papier oder eine digitale Datei) an die nächste Person weiter.

Dieses Papier, „Learning to Hand Off", löst ein spezifisches Problem: Wie bringt man diesem Team bei, perfekt zusammenzuarbeiten, wenn niemand das Gesamtbild sieht und sie nur durch dieses eine Übergabedokument kommunizieren können?

Hier ist die Aufschlüsselung ihrer Lösung, unter Verwendung einfacher Analogien:

1. Das Problem: Die „Blinde Staffel"

Normalerweise benötigt man, um ein Team gut arbeiten zu lassen, Videos des gesamten Prozesses von Anfang bis Ende, damit sie aus ihren Fehlern lernen können. Doch in diesem Szenario:

Kein zentrales Auge: Niemand hat ein Video des gesamten Prozesses.
Datenschutzmauern: Der Planer weiß nicht, was der Coder denkt; der Coder kennt den privaten Zustand des Testers nicht.
Die Übergabe: Das Einzige, das übergeben wird, ist ein spezifisches Artefakt (die „Schnittstelle").

Wenn man hier versucht, Standard-KI-Trainingsmethoden anzuwenden, scheitern diese, weil sie davon ausgehen, dass jeder alles sehen kann.

2. Die Lösung: Die „IC-SMDP" (Die Fertigungsstraßenkarte)

Die Autoren erstellten eine neue mathematische Karte namens IC-SMDP. Stellen Sie sich dies als Regelbuch für einen Staffellauf vor, bei dem:

Das Rennen: Die Aufgabe in „Abschnitte" unterteilt ist. Jeder Agent (Planer, Coder usw.) läuft seinen Abschnitt.
Der Stab: Das „Übergabeartefakt" ist der Staffelstab.
Die Regel: Wenn Sie den Stab übergeben, dürfen Sie nur auf den Stab und Ihre eigenen privaten Notizen schauen. Sie dürfen nicht in die Notizbücher der anderen Läufer spähen.

Diese Karte beweist, dass das Team trotz dieser strengen Einschränkungen immer noch den optimalen Weg lernen kann, das Rennen zu laufen.

3. Der Algorithmus: „IC-Q" (Die Flüstertaktik)

Wie bringen sie dem Team bei, ohne einen zentralen Manager zu arbeiten? Sie erfanden einen Algorithmus namens IC-Q.

Stellen Sie sich vor, die Läufer befinden sich in einem Staffellauf, dürfen sich aber keine Anweisungen zurufen. Stattdessen führt Läufer B, wenn Läufer A den Stab übergibt, eine schnelle mentale Berechnung durch: „Wenn ich diesen Stab nehme und meinen Abschnitt laufe, welches beste mögliche Ergebnis kann ich erzielen?"

Läufer B flüstert dann eine einzige Zahl an Läufer A zurück: „Das beste Ergebnis, das ich erzielen kann, ist 95."

Läufer A nutzt diese einzelne Zahl, um zu entscheiden: „Okay, wenn ich den Stab an Läufer B weitergebe, erhält das Team 95 Punkte. Wenn ich ihn an Läufer C weitergebe, erhält das Team 70 Punkte. Ich gebe ihn an B weiter."

Die Magie: Sie tauschen bei jeder Übergabe nur eine Zahl (einen Skalar) aus. Sie teilen keine privaten Gedanken, keinen Code oder lange Protokolle. Dies hält das System schnell, privat und kostengünstig im Betrieb.

4. Die Garantie: „Die Punktezettel"

Der wichtigste Teil dieses Papiers ist der mathematische Beweis. Die Autoren sagten nicht einfach: „Das scheint zu funktionieren." Sie bewiesen genau, wie gut es funktioniert und warum es scheitern könnte.

Sie unterteilten die potenziellen Fehler in drei Kategorien, wie bei einem Punktezettel für ein Sportteam:

Der „Verschwommene-Brille"-Fehler (Schnittstellenlücke): Manchmal enthält das Übergabedokument (der Staffelstab) nicht genügend Details. Wenn das Dokument zu vage ist, macht das Team Fehler. Die Mathematik besagt: Je schlechter das Dokument, desto niedriger die Punktzahl, aber wir können genau vorhersagen, wie viel niedriger.
Der „Schülerhirn"-Fehler (Neuronale Approximation): Die KI-Agenten sind lernende Schüler. Manchmal sind sie einfach nicht intelligent genug oder haben nicht genug gelernt, um den perfekten Weg zu finden. Die Mathematik besagt: Wenn Sie ihnen mehr Rechenleistung geben (ein größeres Gehirn), wird dieser Fehler kleiner.
Der „Wartezeit"-Fehler (Mischzeit): In einer Staffel brauchen die Läufer manchmal lange, um ihren Abschnitt zu beenden. Die Mathematik berücksichtigt, wie lange die Übergaben dauern, und stellt sicher, dass das Team durch die Verzögerungen nicht verwirrt wird.

Die große Behauptung: Das Papier beweist, dass Sie, wenn Sie diese drei Faktoren kombinieren, genau vorhersagen können, wie gut das Team sein wird. Es ist das erste Mal, dass jemand dies für ein dezentrales Team bewiesen hat, bei dem niemand das gesamte Spiel sieht.

5. Der Beweis: „Die Labortests"

Die Autoren testeten dies in vier verschiedenen „Spielen":

Ein synthetisches Spiel: Eine künstliche, kontrollierte Umgebung, in der sie den „Verschwommene-Brille"-Regler hoch- und runterdrehen konnten. Als sie die Übergabedokumente schlechter machten, sank die Punktzahl des Teams genau so, wie die Mathematik vorhersagte.
Matheprobleme: Ein Team von KI-Agenten (Planer, Coder, Prüfer), das schwierige Matheaufgaben löst. Das Team lernte, das Problem automatisch an den richtigen Experten weiterzuleiten und erreichte dabei die Leistung eines „Super-Managers", der alles sah, obwohl kein einzelner Agent das gesamte Gespräch sah.
Routing: Das Senden von Daten durch ein Netzwerk von 100 Knoten. Das Team lernte, den schnellsten Weg ohne eine zentrale Karte zu finden.
CPU-Programmierung: Agenten, die zusammenarbeiten, um einen Computerchip zu programmieren. Selbst wenn die Agenten lernen mussten, wie sie handeln müssen (nicht nur, an wen sie weitergeben), funktionierte das System.

Zusammenfassung

Dieses Papier ist wie ein Handbuch für den Aufbau einer hochleistungsstarken, datenschutzorientierten Fertigungsstraße. Es beweist, dass Sie keinen „Großen Bruder" benötigen, der alle überwacht, um großartige Ergebnisse zu erzielen. Stattdessen können Sie spezialisierte Agenten darin unterrichten, bei jeder Übergabe eine einfache „Punktzahl" hin und her zu übermitteln.

Das Ergebnis ist ein System, das beweisbar ist (wir wissen genau, wie gut es sein wird), privat (Agenten teilen keine Geheimnisse) und effizient (sie geben nur winzige Datenmengen weiter). Es verwandelt ein chaotisches, blindes Staffellauf in ein synchronisiertes, gewinnendes Team.

Technische Zusammenfassung: Lernen von Übergaben

Problemstellung

Dieses Papier adressiert die Herausforderung des Lernens optimaler Workflows in sequenziellen dezentralen Multi-Agenten-Systemen, speziell im Kontext von Multi-Agenten-LLM-Pipelines. Im Gegensatz zu zentralisierten Regimen, in denen ein einzelner Designer globale Sichtbarkeit auf Agenten-Trajektorien hat, umfasst das angestrebte Betriebsregime Agenten, die über Organisations-, Anbieter- oder Vertrauensgrenzen hinweg agieren. In diesem Setting:

Sequenzielle Übergaben: Die Kontrolle wird von einem spezialisierten Agenten auf einen anderen über ein gemeinsames Artefakt (z. B. eine Nachricht oder ein Code-Snippet) übertragen.
Dezentralisierung: Keine Partei greift während des Trainings oder der Ausführung auf gemeinsame Trajektorien zu.
Schnittstellenbeschränkungen: Jeder Agent beobachtet nur das Artefakt, das er erhält, und seinen eigenen privaten Zustand; interne Zustände, Gedankengänge und proprietäre Prompts werden über Grenzen hinweg nicht offengelegt.
Anforderungen an endliche Stichproben: Bereitstellungen operieren unter begrenzten Rechen- und API-Budgets, was Garantien für die Stichprobeneffizienz erfordert, nicht nur für asymptotische Konvergenz.

Bestehende Frameworks adressieren diese spezifische Kombination von Beschränkungen nicht. Dezentrale POMDPs (Dec-POMDPs) gehen von gleichzeitigen Aktionen aus; zentralisiertes Training mit dezentraler Ausführung (CTDE) erfordert während des Trainings den Zugriff auf gemeinsame Trajektorien; und das Options-Framework geht von einer vollständigen Zustandsbeobachtung zu Entscheidungszeitpunkten aus. Darüber hinaus stützt sich frühere Arbeit zur Orchestrierung von Multi-Agenten-LLMs auf handgefertigte adaptive Regeln ohne entscheidungstheoretische Grundlagen oder Konvergenzgarantien.

Methodik

Formales Modell: IC-SMDP

Die Autoren formalisieren das Problem als schnittstellenbeschränkten Semi-Markov-Entscheidungsprozess (IC-SMDP).

Struktur: Das System entwickelt sich auf einer primitiven Zeitskala, trifft jedoch Entscheidungen zu Übergabezeitpunkten. Jeder Agentenaufruf wird als zeitlich erweiterte „Option" behandelt.
Zustände:
- Globaler latenter Zustand ( $x_t$ ): Von keinem Agenten beobachtet.
- Schnittstellenzustand ( $m_t$ ): Das zwischen Agenten übergebene Artefakt (der einzige informationsübertragende Kanal zwischen Agenten).
- Privater Zustand ( $\ell^{(i)}_t$ ): Lokal für Agent $i$ .
Beobachtungen: Agent $i$ beobachtet $o_t = \phi_i(m_t, \ell^{(i)}_t)$ , wobei $\phi_i$ eine agentenspezifische Abbildung der Beobachtungen ist. Dies erzwingt die Schnittstellenbeschränkung: Agenten können den rohen Schnittstellenzustand oder die privaten Zustände anderer Agenten nicht direkt sehen.
Aktionen: Agenten wählen eine lokale Aktion und einen Nachfolgeagenten (oder ein STOP-Signal) aus.
Ziel: Maximierung der erwarteten diskontierten Rendite über den Workflow unter Einhaltung der Beobachtungsbeschränkungen.

Algorithmus: IC-Q

Die Autoren schlagen IC-Q vor, einen asynchronen dezentralen Q-Learning-Algorithmus, der für das vorkonfigurierte Regime entwickelt wurde (wo lokale Aktionen festgelegt sind und nur die Auswahl des Nachfolgers gelernt wird).

Mechanismus: Jeder Agent unterhält eine lokale Q-Funktion über seine eigenen AIS-Beobachtungen (Approximate Information State).
Wertweitergabe: Bei jeder Übergabe berechnet der Nachfolgeagent einen skalaren Bootstrap-Zielwert $b_{k+1} = \max_{c'} \hat{Q}_{c'}(o'_{k+1}, c')$ und übermittelt diesen Skalar zusammen mit der Optionsdauer $\tau_{k+1}$ und der kumulierten Belohnung $R_k$ zurück an den Vorgänger.
Aktualisierung: Der Vorgänger aktualisiert seine lokale Q-Funktion unter Verwendung des Regressionsziels $y_k = R_k + \gamma^{\tau_{k+1}} b_{k+1}$ .
Kommunikationsaufwand: Die Koordination zwischen Agenten beschränkt sich exakt auf drei Skalare pro Übergabe, was minimale Bandbreite und API-Kosten sicherstellt.

Theoretischer Rahmen

Die Analyse hebt das Approximate Information State (AIS)-Framework von ein-agentigen primitiven MDPs auf Multi-Agenten-SMDPs.

AIS-Bedingungen: Die Autoren definieren Belohnungszureichendheit ( $\epsilon_\phi$ ) und Entwicklungszureichendheit ( $\delta_\phi$ ) auf der Optionsebene, unter Berücksichtigung zufälliger Optionsdauern und des zufälligen Diskontfaktors $\gamma^{\tau_{k+1}}$ .
Konvergenzbeweis: Das Papier etabliert eine Konvergenzschranke für endliche Stichproben für IC-Q unter Standardannahmen (uniforme Ergodizität, beschränkte Belohnungen/Dauern, gut konditionierte Merkmale und eine spezifische Bellman-Kontraktionsbedingung auf SMDP-Ebene).

Hauptbeiträge

Formales Modell (IC-SMDP): Einführung eines entscheidungstheoretischen Modells für sequenzielle Übergaben unter Schnittstellenbeschränkungen, das zeigt, dass es zu einem wohldefinierten SMDP zu Übergabezeitpunkten mit einer quantifizierbaren Schnittstellendefizit führt.
Dezentraler Algorithmus (IC-Q): Entwicklung eines asynchronen Q-Learning-Algorithmus, bei dem die Koordination zwischen Agenten auf einen einzigen Skalar pro Übergabe minimiert wird, unter strikter Beachtung von Privatsphäre- und Bandbreitenbeschränkungen.
Garantie für endliche Stichproben-Konvergenz: Die erste endliche Stichproben-Schranke für neuronales Q-Learning unter dezentraler partieller Beobachtbarkeit. Die Schranke zerfällt in drei unabhängig kontrollierbare Fehlerquellen:
- Neuraler Approximationsfehler: Verschwindet mit breiteren Netzwerken.
- Schnittstellen-Repräsentationslücke: Der Preis für begrenzte Beobachtung, begrenzt durch AIS-Bedingungen.
- Mischzeit-Residuum: Fällt mit einer Rate von $O(1/T)$ ab, abhängig von der zufälligen Dauer der Optionen.
Theoretische Neuheit: Der Beweis adressiert drei Herausforderungen, die in früheren Arbeiten nicht vorkamen:
- Bellman-Kontraktion unter einem zufälligen Diskont (abhängig von der Optionsdauer) statt eines festen Diskonts.
- Ausbreitung der AIS-Lücke auf der Optionsebene statt auf der Ebene primitiver Schritte.
- Kontrolle von Markov-Rauschen unter zufälligen Optionsdauern.

Empirische Ergebnisse

Die Autoren validieren das Framework und die Theorie über vier Experimente:

Synthetisches IC-SMDP: Eine kontrollierte Umgebung mit 10 Agenten, um die drei Fehlerterme in der theoretischen Schranke zu isolieren.
- Ergebnis: Die empirische Wertlücke korreliert stark ( $\rho \approx 0,916$ ) mit der AIS-Lücke, wenn die Schnittstellenbeobachtung verschlechtert wird. Die Fehler-Skalierung entspricht dem vorhergesagten $O(1/T)$ Mischresiduum und der Abhängigkeit von der Mischzeit.
Multi-LLM Mathematisches Schlussfolgern: Vier LLM-Agenten (Kommissar, Denker, Prüfer, Redakteur) lösen Matheprobleme. Agenten sehen nur eine 4-Bit-AIS-Kodierung (Antwortstatus, Änderung, Prüfung, Korrektheit) statt des gesamten Gesprächs.
- Ergebnis: IC-Q entspricht einem zentralen Orakel und stellt den optimalen vordefinierten Workflow wieder her (z. B. Einbeziehung eines Prüfers für schwierige Probleme, Überspringen für einfache), ohne dass ein Agent gemeinsame Trajektorien beobachtet.
Multi-Agenten-Routing: 100 Agenten routen Aufgaben in zufälligen Graphen mit exakten AIS-Beobachtungen ( $\epsilon_\phi = \delta_\phi = 0$ $ϵ_{ϕ} = δ_{ϕ} = 0$ ).
- Ergebnis: IC-Q erreicht eine 100%ige Routing-Genauigkeit über verschiedene Graphenverteilungen hinweg und validiert den Algorithmus im Regime, in dem der AIS-Lückenterm verschwindet.
Multi-Agenten-CPU-Programmierung: Sechs Agenten transformieren gemeinsam Speicherzustände. Sowohl lokale Aktionen als auch die Auswahl des Nachfolgers werden gelernt (anpassbares Regime).
- Ergebnis: IC-Q erreicht eine Genauigkeit von ca. 80 % bei nicht gesehenen Zielzuständen und demonstriert empirische Generalisierung über den vorkonfigurierten Rahmen des formalen Theorems hinaus.

Bedeutung und Behauptungen

Das Papier behauptet, das erste Framework zu liefern, das die vier distincten Betriebsbedingungen sequenzieller dezentraler Workflows respektiert (sequenzielle Übergaben, vollständige Dezentralisierung, schnittstellenbegrenzte Beobachtung und Garantien für endliche Stichproben).

Theoretische Bedeutung: Es bietet die erste gemeinsame asymptotische und endliche Stichproben-Schranke für neuronales Q-Learning unter dezentraler partieller Beobachtbarkeit. Es erweitert das AIS-Framework auf Multi-Agenten-SMDPs mit zufälligen Dauern, eine Lücke, die zuvor nicht adressiert wurde.
Praktische Bedeutung: Die Ergebnisse zeigen, dass das Lernen hochleistungsfähiger Workflows ohne zentralisierten Datenzugriff oder Offenlegung interner Agentenzustände möglich ist. Der Algorithmus entspricht in komplexen LLM-Aufgaben zentralen Orakeln, während er strikte Privatsphäre- und Kommunikationsbeschränkungen einhält.
Bescheidenheit: Die Autoren weisen ausdrücklich darauf hin, dass der formale Konvergenzbeweis für das vorkonfigurierte Regime (feste lokale Richtlinien) gilt. Der Erfolg im anpassbaren Regime (CPU-Programmierung) wird als empirischer Nachweis der Generalisierung präsentiert, wobei die formale Konvergenz für den anpassbaren Fall zukünftigen Arbeiten vorbehalten bleibt.