Combee: Scaling Prompt Learning for Self-Improving Language Model Agents

Probleemstelling: Contextoverbelasting bij Schaalvergroting

De paper adresseert een fundamenteel probleem in de ontwikkeling van zelfverbeterende taalagenten (LLM-agents). Bestaande methoden voor prompt learning (zoals ACE en GEPA) laten agenten kennis extraheren uit inferentie-tijd context (zoals uitvoeringstrajecten, tool-traces en documenten) om hun prompts of "playbooks" te updaten zonder de modelgewichten aan te passen.

Hoewel deze methoden effectief zijn in sequentiële of laag-parallellistische settings, falen ze bij het schalen naar hoge parallelismen. De auteurs introduceren het concept van context overload:

• Het mechanisme: Wanneer men probeert om het aantal parallelle agenten (batch size) te verhogen om sneller te leren, moet een "aggregator"-LLM alle reflecties van deze agenten in één keer verwerken.
• De consequentie: Naarmate de batch size toeneemt, wordt de aggregator overbelast. In plaats van specifieke, waardevolle inzichten te behouden, neigt het model tot verliesrijke compressie. Het behoudt alleen generieke patronen en verwijdert de specifieke, hoogwaardige details die essentieel zijn voor prestaties.
• Empirisch bewijs: Experimenten tonen aan dat bij het verhogen van de batch size van 1 naar 100 op het Formula-dataset, de nauwkeurigheid daalt van 87,0% naar 72,5%, terwijl het aantal nuttige context-updates drastisch afneemt. Naïeve parallelisatie leidt dus tot kwaliteitsdegradatie, zelfs als alle data binnen het contextvenster van het model past.

Methodologie: Het Combee Framework

Om dit probleem op te lossen, stellen de auteurs Combee voor, een gedistribueerd framework dat parallelle prompt learning schaalbaar maakt zonder kwaliteitsverlies. Combee volgt een Map-Shuffle-Reduce paradigma en introduceert drie kerncomponenten:

1. Parallel Scan Aggregatie (Reduce):

   • In plaats van alle reflecties direct naar één aggregator te sturen, verdeelt Combee de $n$ trajecten in $k$ subgroepen (waarbij $k \approx \sqrt{n}$).
   • Eerst worden de reflecties binnen elke subgroep lokaal geaggregeerd tot context-updates.
   • Vervolgens worden deze $k$ updates hiërarchisch samengevoegd tot één globale update.
   • Dit benadert het concept van een parallel scan (prefix sum) uit parallelle computing, wat voorkomt dat de aggregator met een te lange context wordt overladen.

2. Augmented Shuffling (Shuffle):

   • Om te voorkomen dat belangrijke, maar zeldzame inzichten verloren gaan tijdens de verdeling, wordt een versterkingsmechanisme toegepast.
   • Elke reflectie wordt $p$ keer gekopieerd (standaard $p=2$) en vervolgens gewijzigd (geshuffled) voordat ze naar de worker nodes worden gestuurd.
   • Dit verhoogt de kans dat cruciale informatie in meerdere aggregatiepaden terechtkomt, vergelijkbaar met het principe van self-consistency in LLM's.

3. Dynamische Batch Size Controller:

   • Om een balans te vinden tussen leerkwaliteit en doorvoersnelheid (delay), bepaalt Combee dynamisch de optimale batch size.
   • Het systeem profileert de vertraging bij verschillende batch sizes en past een power-law-vertragingcurve aan.
   • De batch size wordt gekozen op het punt waar de marginale reductie in doorlooptijd onder een bepaalde drempelwaarde ($\tau$) zakt, terwijl een bovengrens wordt gehandhaafd om kwaliteitsdegradatie te voorkomen.

Belangrijkste Bijdragen

• Identificatie van het schaalprobleem: De paper kwantificeert en kwalificeert het fenomeen "context overload" bij naïeve parallelisatie van prompt learning.
• Combee Framework: Een nieuw, framework-agnostisch ontwerp dat parallelle scan-aggregatie, augmented shuffling en dynamische batch-size controle combineert.
• Integratie en Generalisatie: Combee is geïmplementeerd op bestaande methoden (ACE en GEPA) en toont aan dat het concept generaliseert naar andere "generate-reflect-update" frameworks.
• Uitgebreide Evaluatie: De methode is getest op diverse benchmarks, waaronder agentische taken (AppWorld, Terminal-Bench) en domeinspecifieke taken (FiNER, Formula).

Resultaten

De evaluaties tonen aan dat Combee de kwaliteit-dilemma's van naïeve parallelisatie doorbreekt:

• Snelheid: Combee bereikt tot 17x snelheidswinst ten opzichte van sequentiële baselines en bestaande parallelle methoden.
• Kwaliteit: In tegenstelling tot naïeve methoden die bij hoge batch sizes in prestatie instorten, behoudt Combee een nauwkeurigheid die vergelijkbaar is met of zelfs beter is dan de sequentiële baseline.
  • Bijvoorbeeld op AppWorld: Bij een batch size van 40 behaalde Combee een gemiddelde score van 65,8 (tegenover 55,7 voor naïef ACE), met een playbook dat 6.887 tokens groot was (tegenover slechts 526 tokens voor naïef ACE).
• Kosten: De trainingskosten blijven vergelijkbaar met de baselines, aangezien Combee efficiënter is in het gebruik van context en minder onnodige tokens genereert.
• Robuustheid: De resultaten zijn consistent over verschillende modellen (DeepSeek-V3.1, GPT-OSS 120B) en taken, wat aantoont dat de architectuur schaalbaar is.

Significantie

Combee markeert een belangrijke stap in de evolutie van zelfverbeterende AI-systemen. Het bewijst dat prompt learning (inference-time learning) niet beperkt hoeft te zijn tot sequentiële verwerking. Door de systemische uitdagingen van contextbeheer bij hoge parallelismes op te lossen, maakt Combee het mogelijk om grote hoeveelheden agent-experiëntie gelijktijdig te leren en te consolideren. Dit is cruciaal voor de schaalbaarheid van toekomstige multi-agent systemen in zowel academische als industriële toepassingen, waar snelle adaptatie en hoge doorvoer essentieel zijn zonder in te leveren op de intelligentie van het systeem.