Learning to Communicate: Toward End-to-End Optimization of Multi-Agent Language Systems

Probleemstelling

Multi-agent systemen (MAS) gebaseerd op Large Language Models (LLM's) hebben sterke prestaties geleverd bij complexe redeneertaken. Echter, de meeste bestaande werken behandelen de communicatie tussen agenten als een vast interface (meestal natuurlijke taal). Dit introduceert fundamentele beperkingen:

1. Discrete grenzen: Het omzetten van interne redeneerstaten naar tekst (tokens) en terug naar interne representaties creëert een "discrete" barrière. Dit onderbreekt de differentieerbare stroom van informatie en maakt het onmogelijk om de communicatiestrategie samen met het redeneerproces te optimaliseren.
2. Verlies van informatie: Het serialiseren van continue interne representaties naar discrete tokens leidt tot informatieverlies en beperkt de fideliteit van de uitgewisselde informatie.
3. Gebrek aan gezamenlijke optimalisatie: Bestaande systemen optimaliseren agentgedrag en workflows, maar laten de interactiemechanismen zelf onveranderd, wat verhindert dat het systeem als geheel end-to-end leert.

Methodologie: DiffMAS

De auteurs stellen DiffMAS voor, een trainingsframework dat latente communicatie (via Key-Value caches) behandelt als een leerbare component binnen multi-agent systemen. In plaats van tekst, wisselen agenten continue interne representaties uit die direct door de transformer-laag kunnen worden verwerkt.

De architectuur werkt in twee fasen:

1. Fase I: Bouwen van een gedeelde KV-spoor (KV Trace).
   • Agenten 1 tot $K-1$ construeren sequentieel een gedeelde "latent trace" door bestaande KV-caches in te vullen (prefilling) en nieuwe gegenereerde KV-segmenten toe te voegen.
   • Er vindt geen gradient-update plaats tijdens het genereren van deze trace; deze dient als een continu latent communicatiekanaal.
2. Fase II: Autoregressieve decoding en Supervised Fine-Tuning (SFT).
   • De laatste agent voert autoregressieve decoding uit, gebaseerd op de opgebouwde KV-trace.
   • Cross-attention over de trace genereert verborgen staten die via de LM-head worden geprojecteerd om tokens te genereren.
   • Training: Supervised Fine-Tuning wordt toegepast met cross-entropy verlies. Belangrijk is dat alleen de LoRA-parameters (Low-Rank Adaptation) van de laatste agent worden bijgewerkt, terwijl de backbone-model wordt bevroren. Dit zorgt voor parameter-efficiëntie.

Theoretische Voordelen:

• Differentieerbaarheid: Omdat KV-caches continue representaties zijn, kunnen gradients zich voortplanten door de hele keten van agenten heen. Dit maakt end-to-end optimalisatie van zowel redeneren als communiceren mogelijk.
• Geen Overwriting: In tegenstelling tot systemen die een vaste "carrier" (vector) updaten (wat leidt tot geometrische afname van gradients door diepte), gebruikt DiffMAS concatenatie. Hierdoor blijven tussenliggende segmenten expliciet aanwezig in de finale trace. Dit voorkomt dat gradients verdwijnen bij diepere agenten (geen diepte-afhankelijke attenuatie).

Belangrijkste Bijdragen

1. Formulering van Communicatie als Optimalisatieprobleem: Het paper toont aan dat het behandelen van communicatie als een vast interface de end-to-end verbetering van multi-agent systemen beperkt.
2. DiffMAS Framework: Een nieuw trainingsparadigma dat KV-gemedieerde latente communicatie behandelt als een differentieerbare, taak-adaptieve interface.
3. Empirisch Bewijs: Uitgebreide experimenten tonen aan dat het leren van latente communicatie leidt tot stabielere redeneertrajecten en aanzienlijke prestatieverbeteringen ten opzichte van single-agent, tekst-based multi-agent, en bestaande latente methoden.

Resultaten

DiffMAS werd getest op diverse benchmarks (wiskundig redeneren, wetenschappelijke QA, code-generatie, common sense) met verschillende modelgroottes (Qwen3 4B/8B/14B, Mistral, DeepSeek).

Kernresultaten:

• AIME24 (Wiskunde): DiffMAS behaalde een verbetering van +26.7% ten opzichte van single-agent baselines (bij Qwen3-8B: 76.7% vs 50.0%).
• GPQA-Diamond (Wetenschap): Een verbetering van +20.2% (bij Qwen3-8B: 60.1% vs 39.9%).
• Code Generatie (HumanEval+ & MBPP+): Consistente verbeteringen, bijvoorbeeld +10.5% op HumanEval+ voor Qwen3-14B.
• Stabiliteit: DiffMAS toont een lagere perplexiteit (PPL) en hogere zelfconsistentie (self-consistency) dan training-free latent methoden (LatentMAS). Dit betekent dat de redeneerprocessen minder vatbaar zijn voor afwijkingen en chaotische output.
• Vergelijking met Baselines:
  • TextMAS (tekst-communicatie) presteert goed maar mist de expressiviteit van continue representaties.
  • LatentMAS (training-vrije latente communicatie) heeft vaak instabiele decoding en hoge perplexiteit door een distributiemismatch.
  • DiffMAS combineert de expressiviteit van latente representaties met de stabiliteit van gesuperviseerd leren.

Significantie en Conclusie

Het paper markeert een verschuiving in het onderzoek naar multi-agent systemen: van het handmatig ontwerpen van communicatieprotocollen naar het leren van communicatie als een geïntegreerd onderdeel van het systeem.

• End-to-End Optimalisatie: Het bewijst dat het mogelijk is om multi-agent systemen te trainen waarbij de manier waarop agenten informatie coderen en decoderen, samen met hun redeneervermogen, wordt geoptimaliseerd.
• Stabiliteit vs. Expressiviteit: DiffMAS lost het fundamentele compromis op tussen de stabiliteit van tekstuele communicatie en de rijkdom van latente representaties. Door supervisie te gebruiken, leert het model een compact en effectief communicatieprotocol dat rijk is aan informatie maar toch stabiel blijft tijdens inferentie.
• Toekomstperspectief: Dit werk opent de deur voor volledig differentieerbare multi-agent systemen, waarbij interacties niet langer statisch zijn, maar dynamisch kunnen evolueren om specifieke redeneertaken beter aan te pakken.