AgentPulse: A Continuous Multi-Signal Framework for Evaluating AI Agents in Deployment

1. Probleemstelling

Huidige evaluatiemethoden voor AI-agenten vertrouwen sterk op statische benchmarks (bijv. SWE-bench, GAIA, WebArena) die het vermogen op een vast tijdstip meten. De auteurs identificeren drie kritieke beperkingen in dit paradigma:

• Statische Momentopnames: Benchmarks kunnen de snelle evolutie van agentische systemen niet vastleggen, waarbij capaciteiten, integraties en betrouwbaarheid op wekelijkse tijdschalen veranderen.
• Capaciteit $\neq$ Adoptie: Hoge scores voor taakvoltooiing voorspellen geen adoptie in de echte wereld, die afhankelijk is van integratiekwaliteit, prijsstelling, betrouwbaarheid en vertrouwen in de community – dimensies die onzichtbaar zijn voor benchmarks.
• Gebrek aan Vergelijkbaarheid tussen Tools: Bestaande benchmarks evalueren smalle stukken van capaciteit en falen in het bieden van een unifyend kader voor het vergelijken van diverse tools (bijv. code-copilots versus autonome SWE-agenten) binnen hun respectievelijke workflows.

Het paper betoogt dat evaluatie moet evolueren van de vraag "Kan het dit probleem oplossen?" naar "Is het betrouwbaar, goed onderhouden en vertrouwd door de ontwikkelaarscommunity?"

2. Methodologie: Het AgentPulse-kader

AgentPulse is een continu evaluatiekader dat 18 real-time signalen aggregatieert vanuit publieke API's (GitHub, package registries, IDE-marktplaatsen, sociale platformen en leaderboards) om 50 agenten te scoren over 10 workload-categorieën.

Het kader berekent een samengestelde score $AP(a)$ op basis van vier gewogen factoren:
$$AP(a) = w_B \cdot B(a) + w_A \cdot A(a) + w_S \cdot S(a) + w_E \cdot E(a)$$

• Gewichten: Benchmarkprestaties ($0.35$), Adoptiesignalen ($0.25$), Community-sentiment ($0.20$), Ecosysteemgezondheid ($0.20$).

De Vier Factoren:

1. Benchmarkprestaties ($B$): Het genormaliseerde gemiddelde van gepubliceerde scores van SWE-bench, GAIA, WebArena, HumanEval+ en TAU-bench. Agenten zonder scores ontvangen een neutrale prior (0.5).
2. Adoptiesignalen ($A$): Een log-genormaliseerde mix van:
   • GitHub-stars (inclusief snelheid).
   • Package-downloads (PyPI/npm).
   • IDE-penetratie (VS Code-installaties/beoordelingen).
3. Community-sentiment ($S$): Afgeleid van een multi-layer NLP-pijplijn (VADER, TextBlob, FinBERT, DistilBERT) toegepast op tekst van Bluesky, Reddit, Hacker News, Stack Overflow, GitHub Discussions, enz. De pijplijn bevat sarcasmedetectie, engagement-gewichting en platform-credibiliteitsgewichting.
4. Ecosysteemgezondheid ($E$): Een samenstelling van bijdragerdiepte (log-genormaliseerd), GitHub-issue-sluitingspercentage, updatefrequentie (60-dagen decay) en VS Code Marketplace-beoordeling.

Data-pijplijn: Het systeem verzamelt 18 signalen per agent met variërende cadans (5 minuten tot 24 uur). Data ondergaat MD5/trigram-deduplicatie, bot/spam-filtering en bron-credibiliteitsgewichting voordat NLP-verwerking plaatsvindt.

3. Belangrijkste Bijdragen

1. Een Vier-Factoren Evaluatiekader: Een principiële methodologie voor het meten van ingezette AI-agenten die statische benchmarks aanvult met signalen uit de real-world deployment.
2. Real-Time Data-infrastructuur: Een autonome pijplijn die 18 signalen aggregatieert over 50 agenten en 10 workload-categorieën, capable van continue updates.
3. Drie-Pronged Validatie:
   • Factorenonafhankelijkheid: Aantonen dat de vier factoren complementaire informatie vangen.
   • Circulariteitsgecontroleerde Predictieve Validiteit: Bewijzen dat een subset van factoren (Benchmark + Sentiment) externe adoptieproxies voorspelt die niet zijn gebruikt bij hun constructie.
   • Ranking-Divergentie-analyse: Tonen hoe samengestelde rankings verschillen van benchmarks-only rankings, met name voor closed-source versus open-source agenten.
4. Open Release: Het kader, alle 18 signal-collectors, de NLP-pijplijn, het 50-agentenregister en 15.000 gescorede teksten worden vrijgegeven onder CC BY 4.0.

4. Belangrijkste Resultaten & Bevindingen

A. Factorenonafhankelijkheid (n=50)

Spearman-correlatieanalyse bevestigt dat de factoren grotendeels complementair zijn:

• Benchmark versus Adoptie: Bijna ongecorreleerd ($\rho = 0.05$), wat de kernhypothese valideert dat capaciteit adoptie niet voorspelt.
• Adoptie versus Ecosysteem: Matig gecorreleerd ($\rho = 0.61$) aangezien beide de open-source gezondheid weerspiegelen, maar distinct zijn (Adoptie = vraag; Ecosysteem = aanbod).
• Sentiment versus Adoptie: Lichte negatieve correlatie ($\rho = -0.29$), wat suggereert dat zwaar geadopteerde tools meer kritische scrutiny ondergaan.

B. Circulariteitsgecontroleerde Predictieve Validiteit (n=35)

Om te bewijzen dat het kader externe waarheid vangt, construeerden de auteurs een Benchmark+Sentiment sub-samengestelde (exclusief Adoptie- en Ecosysteemfactoren om GitHub-signaallekkage te voorkomen).

• Resultaat: Deze sub-samengestelde voorspelt significant drie externe adoptieproxies:
  • GitHub Stars ($\rho_s = 0.52, p < 0.01$)
  • Stack Overflow-vraagvolume ($\rho_s = 0.49, p < 0.01$)
  • VS Code-installaties ($\rho_s = 0.44, p < 0.05$)
• Betekenis: Dit demonstreert dat benchmark-capaciteit en community-sentiment gezamenlijk informatie bevatten die zich manifesteert in waarneembare ontwikkelaarsadoptie, onafhankelijk van de signalen die in de volledige score zijn geaggregatieerd.

C. Ranking-Divergentie (n=11 SWE-bench subset)

Op de subset van agenten met gepubliceerde SWE-bench scores:

• Lage Correlatie: De samengestelde ranking en de benchmarks-only ranking zijn bijna ongecorreleerd ($\rho_s = 0.25$).
• Divergentiedrijvers:
  • Hoge Adoptie, Lagere Benchmark: Cline staat 2e in de samengestelde ranking (gedreven door 3,7 miljoen VS Code-installaties) maar 7e in SWE-bench.
  • Hoge Benchmark, Nul Waarneembare Adoptie: OpenAI Codex en Devin staan 2e en 3e in SWE-bench maar zakken naar 4e en 9e in de samengestelde ranking omdat ze geen publieke repositories of marktplaats-aanwezigheid hebben (een "meetgrens", geen kwaliteitsoordeel).
• Ablatiestudie: Het verwijderen van de Adoptiefactor uit de samengestelde ranking verhoogt de correlatie met SWE-bench ($\rho$ stijgt van 0.03 naar 0.57), wat bevestigt dat het kader bewust deployment-signalen prioriteert boven pure capaciteitsscores.

5. Betekenis en Beperkingen

Betekenis:

• Methodologische Verschuiving: AgentPulse verplaatst het veld van statische "capaciteit-momentopnames" naar continue "deployment-gezondheid" monitoring.
• Holistisch Zicht: Het onthult dat de "beste" agent afhankelijk is van het gebruiksscenario (bijv. een hoog-geadopteerde code-assistent versus een hoog-capaciteit onderzoeksagent).
• Transparantie: De auteurs erkennen expliciet beperkingen, zoals de meetgrens voor closed-source agenten en Engelstalige NLP, en positioneren het hulpmiddel als een methodologie in plaats van een ground-truth-orakel.

Beperkingen:

• Closed-Source Bias: Agenten zonder publieke repositories (bijv. Devin, Codex) ontvangen nul scores op Adoptiesignalen, wat hun samengestelde rang kunstmatig verlaagt.
• Sentiment Bias: Social media-posters zijn niet representatief voor de hele gebruikersbasis; het corpus is scheefgetrokken naar Engels en specifieke platformen (Bluesky, Reddit).
• Steekproefgrootte: De SWE-bench overlap-analyse is beperkt tot 11 agenten, waardoor het exploratief is in plaats van definitief.

Conclusie:
AgentPulse biedt een gevalideerd, continu kader voor het evalueren van AI-agenten in het wild. Door te bewijzen dat multi-signaal samengestelden externe adoptieproxies beter voorspellen dan benchmarks alleen, vestigt het een nieuwe standaard voor het beoordelen van de betrouwbaarheid, onderhoudbaarheid en community-vertrouwen van AI-agenten in productie.