Technische Samenvatting: AgentForesight

1. Probleemformulering

Het artikel adresseert een kritieke betrouwbaarheidsknelpunt in multi-agent systemen gebaseerd op Large Language Models (LLM): het fenomeen van "cascaderende fouten". Bij taken met een lange horizon wordt een enkele beslissende fout (bijvoorbeeld een misvormde tool-aanroep of een gebrekkige deductie) vaak geaccepteerd door downstream agents, wat zich voortplant door de trajecten en het eindresultaat onherstelbaar maakt.

Bestaande benaderingen kaderen dit probleem in als post-hoc fouttoewijzing, waarbij modellen pas na voltooiing en mislukking van het traject de verantwoordelijke agent en stap diagnosticeren. De auteurs betogen dat dit paradigma de kans op interventie prijsgeeft. Zodra een fout retrospectief wordt gediagnosticeerd, hebben downstream agents al resources verbruikt en mogelijk onomkeerbare neveneffecten teweeggebracht.

Het artikel herformuleert dit probleem als Online Auditing. In deze setting observeert een toegewijde auditor uitsluitend het huidige prefix van een zich ontvouwend traject (zonder toegang tot toekomstige stappen, tool-responsen of het eindresultaat) en moet bij elke stap een doorgaan-of-alarm oordeel vaststellen. De auditor moet:

1. Betrouwbaar onderscheid maken tussen prefixes die nog veilig zijn en die welke een beslissende fout hebben gepasseerd.
2. Op het exacte moment dat de fout optreedt een alarm vaststellen, in plaats van achteraf.

2. Methodologie

De auteurs stellen AgentForesight voor, een framework bestaande uit een samengestelde dataset en een grof-naar-fijn trainingsrecept.

A. Dataset: AFTRAJ-2K

Om online auditing te ondersteunen, hebben de auteurs AFTRAJ-2K geconstrueerd, een corpus van ongeveer 2.300 agentische trajecten over de domeinen Coding, Wiskunde en Agentic. In tegenstelling tot eerdere datasets die alleen mislukte voltooiingen labelen, biedt AFTRAJ-2K supervisie op stapniveau voor zowel veilige als onveilige trajecten:

• Geverifieerde Veilige Trajecten ($D_{safe}$): Succesvolle runs worden gefilterd via een strikt proces (equivalentie van uitkomsten, integriteit van tools en coherentiecontroles) om ervoor te zorgen dat ze geen "stille" tussenliggende fouten bevatten die de auditor zouden kunnen misleiden.
• Fouttrajecten ($D_{unsafe}$): Deze worden geconstrueerd via twee streams:
  • Constructieve Stream: Gecontroleerde injectie van beslissende fouten in geverifieerde veilige trajecten (bijvoorbeeld het herschrijven van een tool-aanroep of oordeel) om contrafeitelijke fouten te creëren met bekende ground-truth foutstappen.
  • Diagnostische Stream: Natuurlijk gefaalde trajecten waarbij de beslissende stap onbekend is. Deze worden geannoteerd via een "voorstellen-en-verifiëren" ensemble met meerdere LLM-rechters om tot een consensus te komen over de vroegste beslissende foutstap en de verantwoordelijke agent.

B. Model: AgentForesight-7B

De auteurs trainen een compacte online auditor (gebaseerd op Qwen2.5-7B-Instruct) met behulp van een grof-naar-fijn versterkingsleer (RL) recept:

• Fase 1: Uitlijning van de Foutgrens (BPPO):
  Het model wordt getraind om de scherpe overgang tussen veilige en onveilige prefixes te herkennen. Met behulp van Boundary-Pair Preference Optimization (BPPO) leert het model CONTINUE uit te geven voor het prefix direct voorafgaand aan een beslissende fout en ALARM voor het prefix dat de fout bevat. Dit vestigt een "risico-anticipatie prior" bij de foutgrens.
• Fase 2: Drie-Assen Oordeelsverscherping (GRPO):
  Het model wordt verder verfijnd met Group Relative Policy Optimization (GRPO) en een samengestelde beloningsfunctie die gericht is op drie assen:
  • Wat (Structuur): Zorgt ervoor dat de output een strikt JSON-schema volgt (oordeel, stap, agent, reden).
  • Waar (Timing): Belonigt precieze lokalisatie van de beslissende stap (met behulp van een Gaussische beloning gecentreerd op de ground truth).
  • Wie (Toewijzing): Belonigt het identificeren van de correcte verantwoordelijke agent.
    Deze fase verscherpt de risico-anticipatie prior tot precieze, stapniveau lokalisatie.

3. Belangrijkste Bijdragen

1. Online Auditing Paradigma: Het artikel introduceert online auditing als een herformulering van foutanalyse op het moment van implementatie, met verschuiving van retrospectieve diagnose naar actieve interventie op stapniveau.
2. AFTRAJ-2K: Een samengestelde dataset die de eerste ground truth op stapniveau biedt voor zowel veilige als onveilige trajecten, geannoteerd met beslissende foutstappen en verantwoordelijke agents via consensus van meerdere rechters.
3. AgentForesight-7B: Een compacte online auditor getraind via een twee-fasen RL-recept die significant beter presteert dan veel grotere propriëtaire modellen in de setting met beperkte prefixes.
4. Empirische Validatie: Uitgebreide evaluatie die aantoont dat de grof-naar-fijn aanpak een model oplevert dat kan ingrijpen voordat foutcascades zich verankeren.

4. Experimentele Resultaten

De auteurs hebben AgentForesight-7B geëvalueerd op de vastgehouden AFTRAJ-2K-split en de externe Who&When benchmark.

• Prestaties op AFTRAJ-2K: AgentForesight-7B behaalde een Exact-Step F1-score van 66,44, wat een verbetering is van +19,9% (46,56) ten opzichte van de sterkste propriëtaire baseline (DeepSeek-V4-Pro). Het verminderde ook de Absolute Step Shift (lokalisatiefout) met 3× (0,59 versus 1,77).
• Generalisatie: Op de externe Who&When benchmark behaalde AgentForesight-7B 57,69% Stapnauwkeurigheid en 73,08% Agentnauwkeurigheid, waarmee het GPT-4.1 met ongeveer 19,6 punten versloeg op stapnauwkeurigheid.
• Implementatieafweging: Het model opereert binnen een "implementeerbaar gebied" (Valse Alarm Rate ≤ 20%, Stapnauwkeurigheid ≥ 50%), terwijl sterkere propriëtaire baselines zoals DeepSeek-V4-Pro buiten dit gebied vielen vanwege hoge rates van valse alarmen.
• Ablatie: Het twee-fasen recept bleek essentieel; Fase 1 alleen verbeterde de F1 van 21,1 naar 35,6, en Fase 2 alleen bereikte 50,4, maar de combinatie was vereist om de uiteindelijke score van 66,44 te bereiken, met name in het complexe Agentic-domein.

5. Betekenis en Beweringen

Het artikel beweert dat AgentForesight de lus opent van post-hoc foutdetectie naar interventie op het moment van implementatie. Door foutanalyse te behandelen als een online auditing-taak, stelt het framework systemen in staat de uitvoering te staken op het moment dat een beslissende fout zichtbaar wordt, waardoor de cascade van fouten die leidt tot falen van het volledige traject wordt voorkomen.

De auteurs benadrukken dat hun winst voortkomt uit het gespecialiseerde trainingsrecept en de dataset die zijn toegesneden op de online setting, in plaats van simpelweg het schalen van de modelgrootte. Zij merken op dat zelfs het direct hergebruiken van een post-hoc toewijzingsmodel (AgentDebug-7B) faalt onder het online protocol, wat de onderscheidende aard van het probleem onderstreept. Het werk positioneert de externe auditor als een modulaire, gespecialiseerde veiligheidsvoorziening die onafhankelijk van het onderliggende multi-agent systeem kan worden bijgewerkt, en biedt zo een weg naar betrouwbaardere, runtime-veilige agentische implementaties.