Technische Samenvatting: AgentPSO

Probleemstelling

Hoewel Large Language Models (LLM's) aanzienlijke vooruitgang hebben geboekt in complex redeneren, blijft hun prestatie sterk afhankelijk van prompt-engineering en de specifieke redeneervaardigheden die ze worden opgedragen te gebruiken. Bestaande benaderingen om redeneren te verbeteren vallen over het algemeen in twee categorieën, die beide beperkingen hebben:

1. Zelf-evolutie van een enkele agent: Methoden die de prompt of het beleid van een enkele agent verfijnen via zelfreflectie, lijden vaak onder beperkte exploratieve diversiteit en kunnen vastlopen in lokale optima die worden beperkt door de inherente biases van het model.
2. Multi-agent samenwerking tijdens inferentie: Benaderingen zoals multi-agent debat of aggregatie staan agents toe elkaar tijdens inferentie te bekritiseren. Deze methoden zijn echter kwetsbaar voor onjuiste invloed van peers en bevooroordeelde consensus. Cruciaal is dat ze statisch zijn; de onderliggende redeneervaardigheden van de agents evolueren niet over taken heen, en de rekenkundige overhead van meertraps debat tijdens de testfase is aanzienlijk.

De centrale vraag die door dit werk wordt behandeld is: Kunnen multi-agent systemen hun onderliggende redeneervaardigheden iteratief laten evolueren door collectieve interactie, in plaats van slechts de output voor een enkel geval te verfijnen?

Methodologie: AgentPSO

De auteurs stellen AgentPSO voor, een kader dat de evolutie van redeneervaardigheden van multi-agent behandelt als een dynamisch optimalisatieprobleem, geïnspireerd door Particle Swarm Optimization (PSO). In tegenstelling tot standaard PSO, dat werkt op continue numerieke vectoren, opereert AgentPSO in een ruimte van vaardigheden in natuurlijke taal.

Kernconcepten

• Agents als deeltjes: Elke agent $A_i$ in een populatie van $N$ agents wordt behandeld als een deeltje.
• Staat ($s_i^t$): De "positie" van het deeltje is de huidige redeneervaardigheid van de agent, gedefinieerd als een instructie in natuurlijke taal.
• Snelheid ($v_i^t$): De "snelheid" is een semantische update-richting, die de tekstuele revisie vertegenwoordigt die op de vaardigheid moet worden toegepast.
• Persoonlijk Beste ($p_i^t$) en Globaal Beste ($g^t$): Deze vertegenwoordigen de best presterende vaardigheidsstaten die respectievelijk door de individuele agent en de hele populatie zijn ontdekt, gebaseerd op validatie-accuratesse.

De evolutionaire lus

Het kader werkt over $T$ trainingiteraties, waarbij alleen de vaardigheidsinstructies worden geoptimaliseerd zonder de parameters van het onderliggende LLM bij te werken. Elke iteratie volgt vier stappen:

1. Onafhankelijk Oplossen: Alle agents lossen dezelfde trainingsbatch onafhankelijk op met hun huidige vaardigheden ($s_i^t$). Er vindt geen communicatie tussen agents plaats tijdens deze fase om een zuivere toewijzing van prestaties aan specifieke vaardigheden te waarborgen.
2. Peer-observatie en Zelfreflectie: Elke agent observeert de redeneersporen en correctielabels van de hele populatie (met uitzondering van hun eigen vaardigheidsinstructies). Op basis hiervan genereert de agent een zelfreflectieve richting ($d_i^t$) met behulp van een Reflect-functie. Deze richting identificeert herbruikbare lessen uit peer-trajecten (bijvoorbeeld aannames controleren, problemen ontleden) in plaats van simpelweg de prompt van een peer te kopiëren.
3. PSO-geïnspireerde Update: De agent werkt zijn semantische snelheid ($v_i^{t+1}$) bij door te combineren:
   • De vorige snelheid ($v_i^t$).
   • De zelfreflectieve richting ($d_i^t$).
   • De persoonlijk beste vaardigheid ($p_i^t$).
   • De globaal beste vaardigheid ($g^t$).
     Dit wordt uitgevoerd via een VelocityUpdate-functie waarbij het LLM een nieuwe tekstuele instructie synthetiseert die beschrijft hoe de huidige vaardigheid moet worden herzien.
4. Vaardigheids-herschrijving: De nieuwe snelheid wordt toegepast op de huidige vaardigheid via een SkillUpdate-functie, waardoor de volgende vaardigheidsstaat ($s_i^{t+1}$) wordt gegenereerd.
5. Validatie en Selectie: Bijgewerkte vaardigheden worden geëvalueerd op een validatiebatch. Persoonlijk beste en globaal beste vaardigheden worden alleen bijgewerkt als de nieuwe prestatie de vorige beste met een marge $\epsilon$ overtreft, waardoor wordt voorkomen dat ruis de zoektocht destabiliseert.

Tijdens de testfase lossen de geëvolueerde agents problemen onafhankelijk op, en worden hun antwoorden geaggregeerd via meerderheidsstemming, waardoor de noodzaak voor kostbaar meertraps debat wordt geëlimineerd.

Belangrijkste Bijdragen

1. AgentPSO Kader: De introductie van een PSO-geïnspireerd kader dat de evolutie van redeneervaardigheden van multi-agent mogelijk maakt door agents bij te werken via persoonlijk beste, globaal beste en zelfreflectieve richtingen in de ruimte van natuurlijke taal.
2. Persistente Vaardigheids-evolutie: Aantonen dat AgentPSO een persistente evolutie van agentcapaciteiten oplevert, wat leidt tot sterkere prestaties dan statische single-agent prompting en debat-gebaseerde multi-agent baselines, zonder dat kostbare interactie tijdens de testfase nodig is.
3. Overdraagbaarheid: Bewijs dat de geëvolueerde vaardigheden overdragen naar verschillende redeneerbenchmarks en zelfs naar verschillende onderliggende LLM's, wat suggereert dat de methode algemene redeneergedragingen leert in plaats van taakspecifieke prompts te memoriseren.

Experimentele Resultaten

De auteurs hebben AgentPSO geëvalueerd op wiskundige redeneerbenchmarks (DeepMath, MATH, AIME25, Minerva) en algemene redeneerbenchmarks (BigBenchHard).

• Prestaties: AgentPSO behaalde de hoogste gemiddelde nauwkeurigheid (71,98%) over alle benchmarks, en presteerde beter dan standaard single-agent methoden (bijvoorbeeld Chain-of-Thought met 64,50%), geavanceerde single-agent methoden (bijvoorbeeld Self-Refine met 66,50%) en statische multi-agent baselines zoals MAD (67,68%) en DMAD (68,79%).
• Progressieve Verbetering: Analyse toonde aan dat zowel persoonlijk beste als globaal beste vaardigheden progressief verbeterden over de iteraties, waardoor de populatie naar effectievere vaardigheidsconfiguraties werd bewogen.
• Overdracht tussen Benchmarks: Vaardigheden die op DeepMath waren geoptimaliseerd, presteerden goed op BigBenchHard (en omgekeerd), en presteerden beter dan statische baselines, wat wijst op het leren van generaliseerbare redeneerprocedures.
• Overdracht tussen Modellen: Vaardigheden die met GPT waren geoptimaliseerd, werden succesvol toegepast op Claude zonder verdere training, waardoor de gemiddelde nauwkeurigheid van Claude steeg van ~52-55% (met standaard prompts) naar 58,37%.
• Ablatiestudies: Het verwijderen van de zelfreflectieve richting ($d_i$) veroorzaakte een aanzienlijke daling in prestaties, wat bevestigt dat standaard PSO-gidsing (persoonlijk/globaal beste) alleen onvoldoende is voor het optimaliseren van complexe redeneervaardigheden. Het zelfreflectieve onderdeel biedt de nodige gedragsgidsing om herbruikbare lessen te extraheren.
• Efficiëntie: Hoewel AgentPSO een trainingsfase vereist, vermindert het aanzienlijk de latentie tijdens de inferentie in vergelijking met debat-gebaseerde methoden (MAD, MoA), omdat geëvolueerde agents problemen onafhankelijk oplossen en antwoorden aggregeren via stemming, waardoor de overhead van meertraps communicatie wordt vermeden.

Betekenis en Claims

Het artikel stelt dat AgentPSO aantoont dat multi-agent samenwerking niet alleen kan dienen als een mechanisme tijdens inferentie voor het verfijnen van antwoorden, maar ook als een proces zonder modelparameters voor het evolueren van herbruikbare redeneervaardigheden op populatieniveau.

Door agents te behandelen als deeltjes in een zwerm die van elkaars redeneertrajecten leren, stelt het kader agents in staat herbruikbare redeneergedragingen (zoals probleemclassificatie, verificatie van randgevallen en naleving van formaten) te verwerven zonder de onderliggende modelgewichten bij te werken. De auteurs stellen dat deze aanpak de betrouwbaarheid en efficiëntie van redeneersystemen verbetert door agents in staat te stellen algemene redeneerprocedures te internaliseren die overdragen tussen taken en modellen, en zo voorbij de beperkingen van statische prompts of debat tijdens inferentie te gaan.

Het werk erkent beperkingen, met name dat het zich richt op redeneerbenchmarks in plaats van kennisintensieve domeinen (waar domeinkennisretrieval misschien belangrijker is dan evolutie van redeneervaardigheden) en dat het trainingsproces extra LLM-aanroepen vereist. Het vestigt echter een nieuw paradigma voor het evolueren van agentcapaciteiten door collectieve, iteratieve interactie.