Agent Step Value: Probing the Observer Effect in Black-Box Traces

Technische Samenvatting: Agent Step Value (ASV)

Probleemstelling
Evaluaties op basis van het eindantwoord zijn ontoereikend voor black-box analyse van taalmodel-agenten, omdat ze verhullen welke specifieke transities binnen een trace de staat van de agent hebben verbeterd of verslechterd. Terwijl systemen zoals ReAct of DSPy complexe workflows genereren die betrokken zijn bij retrieval, synthese en auditing, kunnen standaard metrieken niet isoleren of een specifieke stap (bijv. een retrieval-oproep of een audit) waarde heeft toegevoegd of een fout heeft geïntroduceerd. Bovendien vertrouwen bestaande methoden voor proces-supervisie vaak op vooraf gedefinieerde labels of beloningsmodellen die het gedrag van de agent verwarren met de specifieke prompt-gevoeligheid van de evaluator. Er is behoefte aan een framework dat de verandering in de overtuiging (belief update) op transitiemateriaal meet zonder de evaluator als grondwaarheid te behandelen, terwijl er expliciet rekening wordt gehouden met hoe het evaluatieprotocol zelf de gemeten uitkomst beïnvloedt.

Methodologie: Agent Step Value (ASV)
De auteurs introduceren Agent Step Value (ASV), een replay-framework ontworpen om de verandering in de overtuiging van een evaluator over een vaste kandidaatverzameling $C$ te scoren wanneer een agent van staat $x_{i-1}$ naar $x_i$ overgaat via actie $a_i$.

• State Projection en Scoring: ASV maakt gebruik van een staat-gegronde LLM-evaluator ($E_\theta$) die een "gereduceerde projectie" van de staat van de agent verwerkt. Deze projectie verwijdert fysieke labels, gouden antwoorden en geheimen, maar behoudt stabiele kandidaat-identificatoren en tekst.
• Deliberatie versus Scoring: Om redeneren te scheiden van scoring, gebruikt het protocol een tweestaps-aanpak. Eerst genereert de evaluator een compacte, label-vrije rationale ($r_x$) over de kandidaten. Ten tweede wordt een fysieke label-mapping toegevoegd, waarna de evaluator een enkele optie-token scoort middels log-waarschijnlijkheden. Dit voorkomt dat de redeneer-preambule de selectie van de eerste token beïnvloedt.
• Diagnostiek: ASV berekent drie verschillende metrieken voor elke transitie:
  1. Entropy Movement ($\Delta H$): Meet de verandering in onzekerheid.
  2. Bayesian Surprise ($S$): Meet de omvang van de verschuiving in de belief-distributie ($D_{KL}$) ongeacht de richting, waardoor pivots worden gedetecteerd die entropie mogelijk mist.
  3. Gold-Margin Gain ($G_{margin}$): Meet de verandering in de log-likelihood marge tussen een beoogde doel-kandidaat $g$ en de dichtstbijzijnde concurrent. Dit geeft aan of de beweging richting of weg van het doel is.
• Protocolgevoeligheid: ASV behandelt de evaluatieprompt, de rationale-policy en de projectie als een "meetkanaal". Door bevroren transities opnieuw af te spelen onder verschillende kanalen (bijv. variërende rationale-lengte of label-permutaties), kwantificeert ASV het "kanaaleffect": hoe zeer het evaluatieprotocol zelf de waargenomen waarde van een stap verandert.

Experimentele Opzet
De studie maakte gebruik van 100 open-QA taken betreffende PubMed evidence retrieval, waarbij 1.100 agent-stappen werden gegenereerd. De traces werden geëvalueerd met een DeepSeek-model geconfigureerd met een 128-token rationale-geconditioneerd protocol. De auteurs vergeleken dit met directe one-token scoring en speelden dezelfde transities opnieuw af onder diverse kanaal-modificaties (bijv. 512-token rationales, extractive buffers, label-permutaties) om bronnen van variantie te isoleren.

Belangrijkste Resultaten

• Negatieve Step Values onder Rationale-protocollen: Onder het 128-token rationale-geconditioneerde protocol was de gemiddelde gold-margin gain significant negatief (-2.335), wat aangeeft dat veel transities de overtuiging van de evaluator weg van het correcte doel leidden. In contrast leverde directe one-token scoring op dezelfde traces een positieve gain op (+4.033).
• Entropy Blindness: De entropy movement was effectief nul (0.000) over de stappen heen, waardoor veranderingen niet werden gedetecteerd. Echter, de gemiddelde Bayesian surprise was 2.693, wat onthulde dat de overtuiging van de evaluator bijna one-hot pivots onderging (het wisselen van vertrouwen van de ene naar de andere kandidaat) zonder de algehele onzekerheid te veranderen.
• Lokalisatie van Schade: De meest negatieve step values kwamen voor tijdens de extractie (-7.790) en audit (-7.392) fasen, specifiek nadat bewijs in de workflow was binnengekomen. Dit suggereert dat het comprimeren of bekritiseren van intermediaire staten vaak de doelgerichte overtuiging degradeert.
• Rationale-compressie als Drijver: Component-attributie audits toonden aan dat de omkering van positieve naar negatieve scores primair werd veroorzaakt door het rationale-compressie kanaal. Directe full-state scoring was positief (+7.750), maar het 128-token gegenereerde rationale-kanaal was scherp negatief (-21.741). Het verlengen van de rationale naar 512 tokens of het gebruik van extractive buffers mitigeerde deze omkering grotendeels, wat suggereert dat korte, gegenereerde rationales cruciale cues wegcomprimeren die nodig zijn voor een accurate evaluatie.

Betekenis en Claims
Het artikel claimt dat ASV een methode biedt om "belief pivots" en "damage/repair" gebeurtenissen in agent-traces te lokaliseren die onzichtbaar zijn voor final-answer metrieken of entropy-gebaseerde analyse. De primaire bijdrage is het aantonen dat step values geen intrinsieke eigenschappen zijn van de agent-transitie, maar mede worden bepaald door het evaluatiekanaal.

De auteurs stellen dat een step value zonder zijn specifieke evaluator-kanaal ambigu is, omdat het werkelijk agent-gedrag kan mengen met artefacten geïntroduceerd door projectie, compressie of scoringregels. Door de prompt en de rationale-policy als een gemeten kanaal te behandelen, stelt ASV onderzoekers in staat om het evaluatieproces zelf te auditeren. De studie concludeert dat in omgevingen met hoge inzet, numerieke step values niet als objectieve beloningen moeten worden vertrouwd; in plaats daarvan moeten ze worden gerapporteerd samen met protocol-gevoeligheidsdiagnostiek om te waarborgen dat waargenomen verbeteringen of degradaties niet louter artefacten zijn van de evaluatie-opstelling. Het framework wordt gepresenteerd als een diagnostisch hulpmiddel voor het debuggen van agent-workflows in plaats van een causale reward-estimator.