Learning to Interrupt in Language-based Multi-agent Communication

Titel: Learning to Interrupt in Language-based Multi-agent Communication

Auteurs: Danqing Wang, Da Yin, Ruta Desai, Lei Li, Asli Celikyilmaz, Ansong Ni (CMU & Meta FAIR)

---

1. Het Probleem

Multi-agent systemen die gebruikmaken van Large Language Models (LLMs) tonen indrukwekkende prestaties in complexe taken zoals redeneren, software-engineering en sociale simulaties. Echter, deze systemen kampen met een fundamenteel inefficiëntieprobleem:

• Overvloedige output: LLM-generaties zijn vaak te verbaal, wat leidt tot een snel groeiende contextgrootte.
• Hoge kosten: Dit verhoogt de computationele kosten (token-verbruik) en de latentie (wachtijd) aanzienlijk.
• Beperkte aanpassing: Bestaande oplossingen richten zich op het comprimeren van berichten door de spreker (speaker-oriented compression). Dit is echter suboptimaal omdat de spreker niet weet welke informatie voor een specifieke luisteraar (listener) essentieel is. Wat voor de ene luisteraar redundant is, kan voor een andere cruciaal zijn.

Het paper stelt dat menselijke communicatie efficiënter is omdat luisteraars kunnen onderbreken om om verduidelijking te vragen of hun mening te geven zodra ze genoeg informatie hebben. Dit mechanisme ontbreekt in huidige multi-agent systemen.

2. Methodologie: HANDRAISER

De auteurs introduceren HANDRAISER, een framework voor onderbreekbare communicatie waarbij de luisteraar dynamisch beslist of de spreker moet worden onderbroken.

A. Onderbreekbaar Communicatieprotocol

In plaats van dat de luisteraar wacht tot de spreker een volledig bericht heeft gegenereerd, wordt het bericht in stukken (chunks) gestreamd.

• De spreker genereert een antwoord in vaste blokken ($c_i$).
• Na elk blok besluit de luisteraar: onderbreken of wachten.
• Bij onderbreking stuurt de luisteraar een signaal, stopt de spreker direct met genereren, en de luisteraar begint direct met zijn eigen reactie.
• Dit vermindert zowel de generatiekosten (de spreker genereert minder tokens) als de latentie (de luisteraar hoeft niet te wachten op het volledige bericht).

B. Het Leerproces (Learning to Interrupt)

Eenvoudige prompting (de LLM vragen of hij moet onderbreken) bleek in experimenten te leiden tot oververtrouwen: agents onderbraken te vroeg, waardoor ze kritieke informatie misten en de taakprestatie daalde of meer rondes nodig waren.

Om dit op te lossen, gebruiken de auteurs een reinforcement learning-achtige aanpak via gesuperviseerde fine-tuning:

1. Boom-sampling (Tree Sampling): Om de "payoff" van een onderbreking te schatten, simuleren ze toekomstige conversaties. Voor elk mogelijk onderbrekingspunt in een bericht worden meerdere takken gegenereerd (rollouts) om te voorspellen wat de uiteindelijke taakprestatie en de totale token-kosten zouden zijn als er op dat punt wordt onderbroken versus als er niet wordt onderbroken.
2. Labeling: Een onderbrekingspunt wordt gelabeld als positief (Ja) als het leidt tot een lagere communicatiekosten ($\Delta Cost < 0$) terwijl de taakprestatie behouden blijft ($\Delta Perf \ge 0$). Anders wordt het gelabeld als negatief (Nee).
3. Fine-tuning: Een model (HANDRAISER) wordt getraind op deze gelabelde data om te voorspellen of een onderbreking op een bepaald moment voordelig is, gebaseerd op de chatgeschiedenis en het huidige berichtfragment.

3. Belangrijkste Bijdragen

• Framework voor Luisteraar-gestuurde Communicatie: Een nieuw paradigma dat de controle verschuift van de spreker (compressie) naar de luisteraar (onderbreking), wat beter aansluit bij de variabele informatiebehoeften van verschillende agents.
• HANDRAISER Model: Een getraind model dat leert wanneer het optimaal is om te onderbreken door de afweging tussen kosten en prestaties te modelleren, in plaats van te vertrouwen op intuïtie of prompting.
• Generalisatie: Het bewijs dat het geleerde onderbrekingsgedrag generaliseert naar verschillende spreker-modellen (bijv. van Llama naar GPT-4o) en verschillende taken zonder extra fine-tuning.
• Analyse van Oververtrouwen: Een gedetailleerde analyse toont aan dat LLMs zonder training oververtrouwd zijn in hun begrip en te snel onderbreken, wat de noodzaak van het leerproces onderstreept.

4. Resultaten

Het framework werd geëvalueerd in drie scenario's:

1. Text Pictionary: Een 2-agent spel waarbij één agent een woord beschrijft en de ander moet raden.
2. Meeting Scheduling: Een 3-agent scenario met strikte tijds- en locatierestricties.
3. MMLU-Pro Debate: Een 3-agent debat over redeneertaken.

Kernresultaten:

• Kostenreductie: HANDRAISER reduceerde de communicatiekosten met 32,2% in het algemeen (specifiek: 24,3% bij Pictionary, 23,4% bij Meeting Scheduling, en 48,9% bij Debatten) vergeleken met een generieke baseline.
• Prestatie: De taakprestatie (Success Rate) bleef vergelijkbaar met of zelfs beter dan de baselines.
• Vergelijking met Baselines:
  • Random onderbreking: Werkt beter dan prompting maar slechter dan HANDRAISER.
  • Prompting: Presteert slecht door te frequente en te vroege onderbrekingen, wat leidt tot meer rondes en hogere totale kosten.
• Generalisatie: Het model getraind op één taak of spreker werkt effectief op andere combinaties, wat wijst op robuustheid.

5. Betekenis en Impact

Dit onderzoek is significant omdat het een fundamentele beperking van huidige multi-agent systemen aanpakt: de inefficiëntie van passieve, wachtrij-gebaseerde communicatie.

• Efficiëntie: Het biedt een praktische methode om de token-kosten en latentie van multi-agent systemen drastisch te verlagen zonder in te leveren op de kwaliteit van de output.
• Menselijke interactie: Het benadert menselijke conversatiestijlen (waarbij onderbrekingen normaal zijn) dichter dan eerdere modellen, wat kan leiden tot meer natuurlijke en snellere agent-interacties.
• Schaalbaarheid: Aangezien de kosten van LLM-inferentie een grote bottleneck zijn voor schaalbare multi-agent toepassingen, biedt HANDRAISER een schaalbare oplossing die direct toepasbaar is in real-world scenario's zoals planning, debat en samenwerking.

Samenvattend introduceert dit paper een leerbaar mechanisme dat agents leert de "juiste tijd" te kiezen om in te grijpen, waardoor multi-agent systemen slimmer, goedkoper en sneller communiceren.