Federation over Text: Insight Sharing for Multi-Agent Reasoning

Het paper introduceert "Federation over Text" (FoT), een raamwerk dat meerdere LLM-agenten in staat stelt om via een centrale server gezamenlijk een bibliotheek van metacognitieve inzichten op te bouwen zonder gradiënten, waardoor de redeneerprestaties en -efficiëntie aanzienlijk verbeteren.

De kern

Deel 1: Wat is dit papier eigenlijk? (De simpele uitleg)

Stel je voor dat je een groep slimme robots hebt die allemaal verschillende puzzels oplossen. De ene robot doet wiskunde, de andere schrijft code, en de derde lost chemische raadsels op.

Het probleem in de huidige wereld is dat deze robots vaak alleen werken. Als ze een moeilijke puzzel tegenkomen, beginnen ze vanaf nul. Ze denken: "Oké, ik ga dit nu zelf uitvinden." Ze vergeten wat ze eerder hebben geleerd, en ze delen hun 'aha-momenten' niet met de anderen. Het is alsof elke robot een eigen boekje met tips heeft, maar niemand leest het boekje van de ander.

De oplossing: "Federation over Text" (FoT)

De auteurs van dit papier hebben een slim idee bedacht, dat ze "Federation over Text" noemen. Je kunt dit zien als een gemeenschappelijk digitaal notitieboek voor al die robots.

Hier is hoe het werkt, stap voor stap, met een analogie:

1. De Robot die denkt (Lokaal)

Elke robot krijgt een taak (bijvoorbeeld: "Los deze wiskundige vergelijking op"). De robot denkt na en lost het op.

• De oude manier: De robot gooit het antwoord eruit en is klaar.
• De nieuwe manier (FoT): Nadat de robot het antwoord heeft, kijkt hij terug: "Hoe heb ik dit eigenlijk gedaan? Was er een slimme truc die ik heb gebruikt? Kan ik dit in één zin uitleggen?"

2. De "Geest" van de robot (De Insight)

In plaats van het hele, saaie verslag van hoe de robot heeft gedacht (dat duizenden woorden kan zijn), schrijft de robot een korte, krachtige samenvatting.

• Voorbeeld: In plaats van 500 regels wiskunde te sturen, stuurt de robot: "Tip: Als je een ingewikkelde vergelijking ziet, probeer dan eerst te kijken of je hem in kleinere stukjes kunt breken, net als een taart."
• Dit noemen ze een "Insight" (een inzicht). Het is een stukje wijsheid, geen ruwe data.

3. De Centrale Boekhouder (De Server)

Alle robots sturen hun korte tips naar een centrale computer (de server).

• De server kijkt naar alle tips van alle robots.
• De server ziet patronen: "Oh, de wiskundige robot en de coderingsrobot gebruiken allebei dezelfde truc: 'Breek het probleem op in kleinere stukjes'."
• De server pakt deze dubbele tips, maakt er één super-slimme, algemene regel van, en voegt dit toe aan een Gemeenschappelijke Bibliotheek van Wijsheid.

4. De Terugkeer (Volgende ronde)

De server stuurt deze vernieuwde bibliotheek terug naar alle robots.

• De volgende keer dat een robot een puzzel krijgt, kijkt hij eerst in de bibliotheek.
• Hij ziet: "Ah! Ik heb deze truc al eens gezien in de bibliotheek! Ik hoef niet vanaf nul te beginnen."
• Resultaat: De robot werkt sneller, maakt minder fouten en gebruikt minder energie (minder "woorden" om te denken).

---

Waarom is dit zo cool? (De voordelen)

1. Privacy: De robots sturen niet hun eigen moeilijke puzzels naar de server. Ze sturen alleen de tips over hoe ze het oplossen. Het is alsof je je huiswerk niet deelt, maar alleen je "leerstijl" deelt. Niemand ziet je eigen vragen, alleen de algemene wijsheid.
2. Snelheid: Omdat ze niet hoeven te heruitvinden wat ze al weten, denken ze sneller.
3. Samenwerking: Een robot die goed is in wiskunde kan een tip geven aan een robot die goed is in chemie. Misschien werkt die wiskundige tip ook wel voor een chemisch probleem!

---

Wat hebben ze bewezen? (De resultaten)

De auteurs hebben dit getest in drie moeilijke situaties:

• Wiskunde: Robots werden 24% slimmer en dachten 28% minder lang na.
• Overschakelen: Een robot die goed is in wiskunde kon tips geven aan een robot die code schrijft. Ze bleken verrassend veel gemeenschappelijke denkpatronen te hebben.
• Wetenschappelijk onderzoek: Ze lieten robots papers lezen van vorig jaar. De bibliotheek die ze maakten, bleek zo goed dat hij de kern van 90% van de nieuwe papers van dit jaar al bevatte. De robots hadden dus al de antwoorden voordat de nieuwe papers zelfs maar geschreven waren!

Kortom:
Dit papier zegt: "Laten we stoppen met robots die alles opnieuw uitvinden. Laten we ze een gezamenlijk 'geheugen' geven, waar ze hun slimste ideeën in opslaan, zodat ze samen slimmer worden zonder hun geheime recepten te hoeven delen."

Het is als een wereldwijde "Wikipedia voor denktrucs", die elke dag slimmer wordt door de ervaringen van duizenden robots.

Technische samenvatting

Titel: Federation over Text: Insight Sharing for Multi-Agent Reasoning (FoT)

1. Het Probleem

Gedreven door Large Language Models (LLM's) zijn agenten steeds vaker ingezet voor complexe, meerstaps taken. Het paper identificeert echter twee fundamentele beperkingen in de huidige multi-agent systemen:

• Inefficiëntie: Agenten redeneren vaak "vanaf nul" (from scratch) voor elke nieuwe probleeminstantie. Ze herhalen het oplossen van vergelijkbare problemen, wat rekenkundig duur en traag is.
• Geïsoleerde Redenering: In bestaande multi-agent systemen vinden redeneringsprocessen vaak geïsoleerd plaats. Hoewel agenten oplossingen kunnen uitwisselen, worden hun interne denkprocessen, volledige redeneergeschiedenissen en metacognitieve inzichten niet opgeslagen of gedeeld. Hierdoor gaan "hard-won" denkprocessen verloren en kunnen ze niet worden hergebruikt of gedeeld tussen agenten of domeinen.

Bestaande methoden voor kennisdeling, zoals Federated Learning (FL) die gradiënten of modelgewichten deelt, zijn niet geschikt voor dit doel. Het samenvoegen van gradiënten is computarisch onhaalbaar voor gesloten LLM's, niet interpreteerbaar als abstracte redeneerstrategieën, en vereist vaak fijnafstelling (fine-tuning) die niet mogelijk is bij API-toegang.

2. Methodologie: Federation over Text (FoT)

Het paper stelt Federation over Text (FoT) voor, een raamwerk dat lijkt op federatief leren, maar werkt op het semantische niveau van tekst in plaats van op gradiënten.

• Kernconcept: In plaats van modelgewichten te delen, delen agenten redeneersporen (reasoning traces) en metacognitieve inzichten in natuurlijke taal.
• Het Proces:
  1. Lokale Redenering: Elke agent lost een lokaal taak op met een basis-LLM. Na het oplossen reflecteert de agent op het proces en genereert een beknopte "redeneerspoor" (een samenvatting van herbruikbare technieken, niet de ruwe probleemdata).
  2. Uploaden: Agenten sturen deze geabstraheerde sporen naar een centrale server. De ruwe probleeminstanties blijven lokaal (privacy).
  3. Server Aggregatie: De server verzamelt alle sporen, cluster ze op basis van vergelijkbare vaardigheden, en distilleert ze tot een gedeelde bibliotheek van inzichten (een "insight library"). Dit gebeurt via gecurateerde prompts die patronen herkennen en generaliseren.
  4. Verdeling: De bijgewerkte bibliotheek wordt terug naar alle agenten gestuurd voor de volgende iteratie, waar ze deze gebruiken als externe kennisbron om hun redenering te verbeteren.
• Kenmerken:
  • Geen gradiëntoptimalisatie of fijnafstelling vereist.
  • Werkt met heterogene modellen (verschillende LLM's kunnen deelnemen).
  • Privacy-vriendelijk: Alleen abstracte inzichten worden gedeeld, geen gevoelige data.

3. Belangrijkste Bijdragen

• Nieuw Paradigma: FoT is het eerste raamwerk dat federatief leren toepast op tekstuele redeneersporen in plaats van modelparameters, waardoor kennisdeling mogelijk is zonder training.
• Generieke Bibliotheek: Het creëert een dynamische, evoluerende bibliotheek van hoogwaardige, herbruikbare inzichten die over domeinen heen werken (bijv. wiskunde naar chemie).
• Decoupling: Het scheidt het model dat de taak oplost van het model dat de inzichten genereert. Interessant genoeg kunnen inzichten van een "zwakker" model de prestaties van een "sterker" model verbeteren (een vorm van "weak-to-strong generalization" in de tekstuele ruimte).
• Efficiëntie: Het reduceert de noodzaak voor herhaaldelijk redeneren, wat leidt tot minder tokens en kortere redeneerlussen.

4. Resultaten en Experimenten

Het paper test FoT op drie uitdagende toepassingen:

• Wiskundig Probleemoplossen (LiveMathBench):

  • FoT verbeterde de gemiddelde nauwkeurigheid op downstream-taken met 24%.
  • Het verminderde het aantal gebruikte redeneertokens met 28%.
  • Agenten maakten minder "loops" (herhalingen) in hun redenering.
  • Voorbeeld: Een bibliotheek gegenereerd door DeepSeek (zwakker) verbeterde de prestaties van Gemini 3 Pro (sterker) aanzienlijk.

• Cross-Domein Samenwerking:

  • Agenten werkten samen over wiskunde, wetenschappelijke vragen (QA) en codering.
  • FoT slaagde erin inzichten te genereren die over domeinen heen werkten. Bijvoorbeeld: Een techniek voor "Constraint Satisfaction" uit wiskunde werd succesvol toegepast op een chemisch probleem in de GPQA Diamond dataset.
  • De "True-Thinking Score" (het percentage redeneerstappen dat essentieel is voor het antwoord) steeg, wat aangeeft dat agenten minder "decoratieve" (onnodige) denkstappen maakten.

• Ontdekking van Onderzoeksinzichten:

  • Agenten analyseerden ICLR-papers om een bibliotheek van onderzoeksinzichten te bouwen.
  • Een bibliotheek gebaseerd op ICLR 2023 papers kon de kernbijdragen van >90% van de geaccepteerde ICLR 2024 papers voorspellen/gedekken.
  • FoT presteerde significant beter dan baselines zoals "Isolated Agents" en Retrieval-Augmented Generation (RAG), waarbij RAG vaak te veel ruwe data nodig heeft en minder goed generaliseert.

• Benchmark Prestaties:

  • Op de GPQA-Diamond benchmark bereikten agenten met FoT (gebaseerd op Gemini-3.0-Pro-Preview) een score van 94,42%, wat hoger is dan de eerdere state-of-the-art van 94,1% (gehaald met Gemini-3.1-Pro-Preview zonder FoT).

5. Betekenis en Impact

• Schaalbaarheid en Kosten: Door het verminderen van het aantal tokens en het elimineren van de noodzaak voor dure modeltraining (fine-tuning), maakt FoT geavanceerde multi-agent samenwerking toegankelijker en goedkoper.
• Privacy: Het raamwerk biedt privacyvoordelen vergelijkbaar met traditioneel federatief leren, omdat alleen abstracte kennis wordt gedeeld en geen gevoelige data of probleeminstanties.
• Toekomstige Richting: Het paper legt een brug tussen distributief leren en multi-agent systemen. Het suggereert dat toekomstige systemen kunnen leren van collectieve ervaring zonder dat alle agents dezelfde data moeten zien of dat hun interne modellen moeten worden aangepast.
• Generalisatie: Het bewijst dat hoogwaardige, abstracte inzichten kunnen worden overgedragen tussen verschillende domeinen en verschillende modellen, wat een stap is naar meer mensachtige, adaptieve AI-systemen die van elkaars ervaring leren.

Kortom, Federation over Text transformeert multi-agent systemen van geïsoleerde probleemoplossers naar een collectief dat continu een gedeelde kennisbank opbouwt, wat leidt tot snellere, nauwkeurigere en efficiëntere redenering.