SafeSieve: From Heuristics to Experience in Progressive Pruning for LLM-based Multi-Agent Communication

Probleemstelling

Systeem op basis van Large Language Models (LLM) voor multi-agent samenwerking (MAS) tonen sterke collaboratieve vaardigheden, maar lijden vaak onder twee fundamentele tekortkomingen:

1. Redundantie en kosten: Dichte, ronde-robin conversaties tussen agenten leiden tot een enorme overhead aan tokens, wat de inferentiekosten verhoogt en de aandacht van het model voor cruciale informatie verduistert.
2. Beperkingen van bestaande methoden: Bestaande oplossingen zijn vaak gescheiden in twee categorieën:
   • Pre-design: Methoden die de communicatiestructuur vooraf bepalen (bijv. via GNNs of heuristieken). Deze zijn star en kunnen niet reageren op dynamische taakvereisten tijdens de uitvoering.
   • Post-pruning: Methoden die tijdens de taak redundantie verwijderen. Deze vertrouwen echter vaak op "greedy" strategieën (zoals Top-k pruning), wat kan leiden tot het per ongeluk verwijderen van kritieke communicatiepaden en een verlies van robuustheid.

Er ontbreekt een unificatie van heuristische initiële filtering en dynamische, feedback-gedreven aanpassing.

Methodologie: SafeSieve

SafeSieve is een progressief en adaptief algoritme voor het "prunen" (verwijderen van verbindingen) van communicatiegrafieken in multi-agent systemen. Het introduceert een uniek dubbel-mechanisme dat overgaat van heuristiek naar ervaring, en maakt gebruik van 0-extension clustering in plaats van individuele randverwijdering.

De pijlers van de methodologie zijn:

1. Dual-Mechanism Edge Scoring (Edge Scoring):

   • Semantische Heuristiek (Start): Aan het begin wordt de kwaliteit van een verbinding tussen agenten $i$ en $j$ bepaald door een combinatie van embedding-gebaseerde semantische gelijkenis en een door een expert-LLM beoordeelde functionele compatibiliteit. Dit biedt een sterke startpositie.
   • Historische Complementariteit (Feedback): Tijdens de taakuitvoering wordt de score dynamisch bijgewerkt op basis van de bijdrage van de rand aan succesvolle taakoplossingen.
   • Integratie: De uiteindelijke score $E_{ij}(t)$ combineert deze twee componenten met een tijdsafhankelijke weging. Naarmate de taak vordert, verschuift de nadruk van statische heuristiek naar cumulatieve prestatie-ervaring.

2. 0-Extension Clustering voor Pruning:
   In plaats van randen individueel te verwijderen op basis van een drempel (wat lokale sub-optimaliteit veroorzaakt), gebruikt SafeSieve een 0-extension clustering (gebaseerd op het $k$-terminal 0-extension probleem).

   • Agenten worden gegroepeerd in coherente clusters (gemeenschappen) op basis van hun onderlinge connectiviteit en scores.
   • Verbindingen die tussen deze clusters lopen en onder een dynamische drempel scoren, worden verwijderd.
   • Dit behoudt de structurele samenhang binnen agentgroepen en voorkomt het creëren van geïsoleerde "eilanden" van agenten, terwijl inefficiënte links worden gesneden.

3. Adaptieve Drempel en Regularisatie:

   • De pruning-drempel $\theta(t)$ neemt geleidelijk toe naarmate het systeem vordert, waardoor het eerst conservatief is en later agressiever pruneert.
   • Na elke pruning-stap worden de scores genormaliseerd en worden de gewichten aangepast om de schaalbaarheid te behouden.

Belangrijkste Bijdragen

1. Unificatie Framework: SafeSieve is het eerste post-pruning framework dat LLM-gebaseerde semantische evaluatie, cumulatieve historische feedback en 0-extension clustering combineert. Het overbrugt de kloof tussen vroege heuristiek en feedback-gedreven verfijning.
2. Efficiëntie met Robuustheid: Het algoritme reduceert token-gebruik aanzienlijk zonder in te leveren op nauwkeurigheid, en is inherent robuuster tegen kwaadaardige agenten (prompt injection) dan bestaande methoden.
3. Heterogene Implementatie: Het paper introduceert een systematische evaluatie van samenwerking tussen modellen van verschillende groottes (bijv. grote LLMs als "commandanten" en kleinere modellen voor specifieke taken), waarbij SafeSieve de kosten verlaagt door slimme toewijzing van taken.

Resultaten

De experimenten zijn uitgevoerd op zes benchmarks (MMLU, GSM8K, SVAMP, HumanEval, AQuA, MATH-500) met modellen zoals DeepSeek-V3 en GPT-4o-mini.

• Prestatie en Efficiëntie:

  • SafeSieve bereikte een gemiddelde nauwkeurigheid van 94,01% (op DeepSeek-V3), wat hoger is dan alle baselines (inclusief AgentPrune en GPTSwarm).
  • Het reduceerde het token-gebruik met 12,4% tot 27,8% ten opzichte van andere methoden, terwijl de nauwkeurigheid zelfs met tot 2,22% steeg.
  • Op specifieke taken zoals HumanEval steeg de nauwkeurigheid met 6,58 punten (van 88,43% naar 95,01%).

• Robuustheid:

  • Onder aanvallen met prompt-injection (kwaliteitsloze agenten toevoegen) daalde de nauwkeurigheid van SafeSieve slechts met 1,23% gemiddeld, vergeleken met een daling van 4,59% bij AgentPrune.
  • De structuur-bewuste clustering voorkomt dat het systeem instort door slechte agenten.

• Heterogene Kostenbesparing:

  • In settings met gemengde modellen (grote en kleine LLMs) reduceerde SafeSieve de totale implementatiekosten met 13,3% ten opzichte van AgentPrune, terwijl de prestaties behouden bleven. Grote modellen werden ingezet voor complexe redenering, terwijl kleinere modellen de lichte taken overnamen.

Betekenis en Impact

SafeSieve stelt een nieuwe standaard voor in de optimalisatie van multi-agent systemen:

• GPU-vrije strategie: Het biedt een schaalbare aanpak die geen extra GPU-resources vereist voor het trainen van complexe grafische modellen (zoals GNNs) voor pruning.
• Van Heuristiek naar Ervaring: Het bewijst dat een hybride aanpak, die begint met intelligente heuristiek en overgaat in data-gedreven aanpassing, superieur is aan statische of puur greedy methoden.
• Praktische Toepasbaarheid: Door de combinatie van kostenreductie, hogere nauwkeurigheid en weerstand tegen aanvallen, maakt SafeSieve LLM-based multi-agent systemen praktischer en economischer inzetbaar voor complexe real-world toepassingen.