🤖 machine learning

Benchmarking the Residual: What Long-Horizon Evaluations Add Beyond Matched Short-Task Performance

Dit position paper betoogt dat om rigoureus aanspraak te kunnen maken op "long-horizon failure", benchmarks de "horizon residual" moeten kwantificeren — het prestatieverschil tussen daadwerkelijk succes bij een volledige taak en een basisvoorspelling afgeleid van gematchte korte taken — om werkelijke degradatie te onderscheiden van de loutere cumulatie van gewone fouten.

Oorspronkelijke auteurs: Chao Peng, Zhiheng Lyu, Peijie Dong, Hande Dong, Qiang Lin

Gepubliceerd 2026-07-31

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chao Peng, Zhiheng Lyu, Peijie Dong, Hande Dong, Qiang Lin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Lange Weg naar Huis: Waarom AI de weg kwijtraakt op lange reizen

Stel je voor dat je een zeer slimme, maar licht vergeetachtige robot leert om een reeks puzzels op te lossen. In de wereld van kunstmatige intelligentie wordt deze robot een "agent" genoemd, en de puzzels zijn taken die hij moet voltooien. Soms wordt de robot gevraagd om slechts één kleine handeling te verrichten, zoals het corrigeren van een enkele typefout in een document. Andere keren wordt hem gevraagd om een "long-horizon" reis te maken, wat betekent dat hij een enorm, meerstaps probleem moet oplossen dat planning, het gebruik van hulpmiddelen en het onthouden van wat er helemaal aan het begin gebeurde vereist. Denk aan het verschil tussen een vriend vragen om een glas water te halen versus het vragen om een landelijke roadtrip te plannen, het verkeer te navigeren, een lekke band te repareren en vervolgens het diner te koken, zonder in de war te raken.

Wetenschappers hebben iets verontrustends opgemerkt: naarmate deze reizen langer worden, begint de robot vaker te falen. Het is niet alleen dat de reis langer is; het lijkt erop dat de robot slechter wordt naarmate hij verder komt. Maar hier is de grote vraag: faalt de robot omdat de latere stappen eigenlijk moeilijker zijn, of faalt hij omdat hij moe is geworden, in de war raakte door zijn eigen aantekeningen, of een eerdere stap heeft verpest waardoor de rest van de reis in de war liep? Dit artikel duikt in dat mysterie en probeert te achterhalen of de robot gewoon slecht is in lange reizen, of dat hij eigenlijk prima presteert op elke individuele stap, maar in de knoop raakt met de enorme lengte van het avontuur.

Het Grote Idee van het Papier: De "Horizon Residual"

De auteurs van dit papier, een team van Tencent en andere instellingen, zeggen in feite: "Geef de lengte van de reis niet de schuld van de crash!" Ze betogen dat wanneer we zien dat een AI faalt bij een lange taak, we er vaak vanuit gaan dat de taak zelf te moeilijk is geworden. Maar misschien was de AI perfect in staat om elke stap uit te voelen als hij voor elke stap opnieuw zou beginnen. Het probleem is misschien gewoon dat de fouten zich opstapelden, of dat de robot in de war raakte door zijn eigen lange geschiedenis van acties.

Om dit te bewijzen, stellen ze een slimme nieuwe manier voor om robots te testen, genaamd de "Horizon Residual."

De Analogie: De Estafette versus de Solo-Sprint

Stel je een estafette voor waarbij vier hardlopers een stok moeten overhandigen om een race te voltooien.

De Long-Horizon Run (De echte test): Je kijkt hoe het team de hele 400 meter rent. Als ze de stok één keer laten vallen, verliest het hele team.
De Short-Task Run (De benchmark): Je neemt exact dezelfde vier hardlopers en laat ze elk de 100-meter sprint individueel rennen, waarbij ze elke keer vanuit een schone, verse staat beginnen. Je meet hoe vaak elke loper op zijn eigen traject slaagt.

Als hardloper A 80% van de tijd slaagt, hardloper B 80%, hardloper C 80% en hardloper D 80%, kun je wat wiskunde gebruiken om het succes van het team te voorspellen. Als ze onafhankelijk van elkaar rennen, zou het team ongeveer 41% van de tijd moeten slagen (0,8 × 0,8 × 0,8 × 0,8).

Nu komt het magische deel. Als je de werkelijke estafette laat lopen en het team slaagt slechts 10% van de tijd, is er een enorme kloof tussen wat je verwachtte (41%) en wat er daadwerkelijk gebeurde (10%). De auteurs noemen deze kloof de Horizon Residual.

Wat de Residual ons vertelt

Deze "residual" is een getal dat je vertelt hoe veel slechter de robot het deed op de lange reis vergeleken met wat hij zou hebben moeten doen op basis van zijn korte-afstand vaardigheden.

Als het getal nul is: De robot faalt precies even vaak als je zou verwachten, simpelweg omdat er meer stappen zijn om fouten te maken. Het is gewoon "error compounding" (foutstapeling).
Als het getal hoog is: De robot doet het veel slechter dan verwacht. Dit suggereert dat er iets vreemds aan de hand is. Misschien wordt de robot afgeleid door zijn eigen lange geschiedenis van tekst (een probleem dat ze "context rot" noemen), misschien vergeet hij het oorspronkelijke doel, of misschien heeft een kleine fout in het begin de omgeving voor de latere stappen volledig verpest.

Het papier betoogt dat we niet zomaar naar de uiteindelijke foutmarge kunnen kijken en zeggen: "Lange taken zijn moeilijk." We moeten eerst deze residual berekenen. Als de residual hoog is, dan weten we dat we een echt mysterie hebben om op te lossen over waarom de robot worstelt met lange contexten.

Wat ze hebben uitgesloten

De auteurs zijn heel duidelijk over wat deze methode niet is.

Het is geen toverstaf die je direct vertelt waarom de robot faalde. Een hoge residual wijst alleen met de vinger naar de mismatch; het benoemt de schuldige niet. Je moet nog steeds meer experimenten uitvoeren (zoals het resetten van het geheugen van de robot of het comprimeren van zijn geschiedenis) om de specifieke oorzaak te vinden.
Het is niet bedoeld om te zeggen dat lange taken makkelijk zijn. Ze geven toe dat lange taken moeilijker zijn omdat er simpelweg meer kansen zijn om een fout te maken. Het papier wil alleen het onderscheid maken tussen "meer kansen om te falen" en "de taak die magisch moeilijker wordt."

Hoe zeker zijn ze?

Dit is een "position paper", wat betekent dat het een nieuwe manier van denken en een nieuwe set regels voorstelt voor hoe we AI zouden moeten testen. Ze hebben geen gigantisch nieuw experiment uitgevoerd dat bewijst dat hun theorie de absolute waarheid is voor elke robot ter wereld. In plaats daarvan zeggen ze: "Kijk naar alle data die we al hebben. Wanneer we ernaar kijken op deze manier, is het logischer."

Ze wijzen naar bestaande studies waar robots faalden bij lange taken maar slaagden bij korte taken, wat suggereert dat de "long-horizon failure" misschien een illusie is veroorzaakt door de manier waarop we dingen meten. Ze suggereren dat als we hun "Horizon Residual"-methode gaan gebruiken, we stoppen met het maken van fouten bij het diagnosticeren van AI-problemen. Ze zijn er zeker van dat deze methode noodzakelijk is om vooruit te komen, maar ze nodigen andere wetenschappers uit om het uit te proberen en te zien of het standhoudt.

De Kernboodschap

Kortom, het papier is een oproep tot actie voor wetenschappers om te stoppen met gissen. In plaats van alleen te zeggen: "De AI faalde de lange taak," willen ze dat we zeggen: "De AI faalde de lange taak, maar op basis van zijn korte vaardigheden had hij 40% van de tijd moeten slagen. Omdat hij slechts 10% van de tijd slaagde, is er een gat van 30% dat we moeten onderzoeken."

Het verandert de vage klacht "lange taken zijn moeilijk" in een precieze, meetbare wetenschap. Het is alsof je beseft dat je auto niet kapot is omdat het een lange rit is; hij is kapot omdat je bij de eerste stop bent vergeten de olie te controleren, en nu de motor rookt. De Horizon Residual is het instrument dat ons helpt de olie te controleren voordat we de afstand de schuld geven.

Technische Samenvatting: Het Benchmarking van de Residue

Probleemstelling

Long-horizon benchmarks voor taalmodel-agenten laten consequent zien dat succespercentages dalen naarmate taken langer worden. Echter, het artikel stelt dat een rauwe daling in end-to-end prestaties onvoldoende is om de onderliggende faalmechanismen te diagnosticeren. Een lager succespercentage bij een lange taak kan simpelweg het gevolg zijn van gewone foutstapeling (de statistische waarschijnlijkheid van falen neemt toe met het aantal onafhankelijke stadia) in plaats van een specifieke "long-horizon" beperking zoals contextdegradatie, staat-contaminatie of planning-instorting.

Huidige benchmarks verwarren vaak drie verschillende bronnen van prestatiedegradatie:

Foutstapeling (Error Compounding): Meer stadia creëren meer kansen op fouten, zelfs als de individuele stadia in moeilijkheidsgraad ongewijzigd blijven.
Moeilijker Lokaal Werk: Langere taken bevatten inherent mogelijk meer ambigue of gespecialiseerde stadia.
Geschiedenis-/Staat-afhankelijkheid: Geaccumuleerde context, tool-outputs of eerdere fouten maken opeenvolgende stappen moeilijker (termen: traject-geïnduceerde degradatie of context-rot).

Zonder deze factoren te onderscheiden, kan een dalende prestatiecurve niet identificeren of een agent faalt omdat de taak lang is, omdat de stadia moeilijk zijn, of omdat de geschiedenis van de agent de toekomstige prestaties actief degradeert.

Methodologie

Het artikel stelt een diagnostisch kader voor dat gecentreerd is rond de Horizon Residue ( $\Gamma_H$ ), een metriek die de werkelijke end-to-end prestaties vergelijkt met een baseline-voorspelling afgeleid van gematchte korte-stadia-evaluaties.

1. Decompositie en Checkpoints

De methodologie vereist een vooraf gespecificeerde decompositie van een lange taak in verifieerbare semantische stadia (bijv. "bug vinden", "API updaten") in plaats van willekeurige turn-counts.

Checkpoints: De ingezette agent (model, prompt, tools, geheugen) wordt uitgevoerd vanaf gedeklareerde checkpoints. Een checkpoint omvat de specifieke omgevingstoestand, zichtbare geschiedenis, onthulde informatie en lokaal budget.
Conditionele Waarschijnlijkheden ( $q_i$ ): Voor elk stadium $i$ wordt de waarschijnlijkheid van succes gemeten, gegeven dat alle voorafgaande vereiste stadia zijn voltooid en de agent is gestart vanaf het gedeklareerde checkpoint: $q_i = \Pr(S_i = 1 \mid S_{<i} = 1, I)$ .

2. De Product-Baseline ( $P_{expected}$ )

Gebruikmakend van de kettingregel, construeert het artikel een controleerbare baseline-voorspelling voor de volledige taak-succesratio door de conditionele stadium-waarschijnlijkheden te vermenigvuldigen:
$P_{expected} = \prod_i q_i$
Deze baseline gaat ervan uit dat als de agent in staat is om elk stadium onafhankelijk onder gematchte omstandigheden te voltooien, het volledige taaksucces de product van die waarschijnlijkheden zou moeten zijn. Het artikel erkent dat dit een "null-model" is dat mogelijk geen rekening houdt met herstel, vertakkende paden of staat-veranderingen, en suggereert uitbreidingen (bijv. checkpoint-simulatoren) voor heterogene taken.

3. De Horizon Residue ( $\Gamma_H$ )

De kernmetriek is de log-ratio tussen de verwachte succesrate (van de baseline) en de geobserveerde succesrate ( $P_{observed}$ ) van een natuurlijke end-to-end rollout:
$\Gamma_H = \log \left( \frac{P_{expected}}{P_{observed}} \right)$

$\Gamma_H > 0$ : De natuurlijke rollout presteert slechter dan de gematchte korte-stadia-voorspelling, wat duidt op een mismatch (potentiële traject-geïnduceerde degradatie).
$\Gamma_H \approx 0$ : De natuurlijke rollout komt overeen met de voorspelling, wat suggereft dat de prestatiedaling te wijten is aan gewone foutstapeling.
$\Gamma_H < 0$ : De natuurlijke rollout presteert beter dan de voorspelling (bijv. door feedback- of herstelmechanismen die in de baseline ontbraken).

4. Structurele Annotaties

Om taakstructuur te scheiden van lokale moeilijkheid, pleit het artikel voor het rapporteren van twee complementaire annotaties:

Werkblootstelling ( $N_{work}$ ): Het aantal vereiste, afzonderlijk verifieerbare stadia.
Afhankelijkheidsdiepte ( $H_{dep}$ ): De diepte van de langste vereiste afhankelijkheidsketen.
Dit maakt het mogelijk om benchmarks te onderscheiden tussen taken die "lang" zijn door volume (veel onafhankelijke stappen) versus taken die "lang" zijn door diepe inter-stadia afhankelijkheid.

Belangrijkste Bijdragen

Diagnostisch Onderscheid: Het artikel betoogt dat men de rauwe prestatiedaling moet behandelen als een beschrijvend deployment-resultaat en de Horizon Residue als een aparte, protocol-afhankelijke diagnostiek. Het stelt dat een claim van "long-horizon falen" bewijs vereist dat de volledige rollout verschilt van een baseline gebouwd uit gematchte korte stadia.
Voorstel voor een Controleerbare Baseline: Het stelt een eenvoudige, controleerbare product-baseline ( $P_{expected}$ ) voor en schetst uitbreidingen (conditionele modellen, checkpoint-simulatoren) voor taken met vertakkingen of herstel. Het benadrukt dat de baseline vooraf aan de evaluatie van de natuurlijke rollout moet worden gedeklareerd.
Rapportage en Interventie-agenda: Het artikel formuleert specifieke rapportagevereisten (decompositie, checkpoint-staten, budgetten) en een interventie-agenda. Het stelt dat de residue niet een causale verklaring is, maar een signaal om gerichte experimenten te sturen (bijv. geschiedenis-reset, staat-reparatie, context-compressie) om het specifieke mechanisme van falen te identificeren.

Resultaten en Bewijs

Het artikel presenteert geen nieuwe experimentele resultaten, maar synthetiseert bestaande literatuur om de noodzaak van dit kader aan te tonen:

SWE-Milestone vs. Continue Executie: Onafhankelijke mijlpalen laten vaak >80% succes zien, terwijl continue evolutie op dezelfde codebase daalt naar ~38%. Het artikel merkt op dat zonder de onafhankelijke scores samen te voegen tot een keten-niveau tegenfeitelijkheid, deze kloof ambigu blijft.
ChainSWE: Toont een daling van 58,9% nauwkeurigheid (oracle-correcte eerdere staat) naar 36,5% (door agent gegenereerde eerdere staat), wat de waarde van staat-reparatie illustreert, maar merkt ook het gebrek aan een samengestelde keten-niveau voorspelling op.
SWE-Marathon: Toont aan dat context-compactie correleert met falen, maar zonder gematchte interventies is het onduidelijk of compactie de oorzaak is van falen of slechts falende trajecten markeert.
Illusion: Gecontroleerde geschiedenis-manipulaties laten zien dat fouten in de eerdere geschiedenis de daaropvolgende nauwkeurigheid verminderen, waarmee de nadruk wordt gelegd op inhoud boven lengte.

Het artikel beoordeelt representatieve benchmarks (SWE-EVO, NL2Repo-Bench, SWE-Chain, etc.) en concludeert in Tabel 4 dat geen enkele bestaande studie de volledige sequentie implementeert: gematchte lokale meting, gedeklareerde compositie, natuurlijke rollout, staat-compatibiliteit afhandeling, gerichte interventie en protocol-gevoeligheidsanalyse.

Betekenis en Claims

De betekenis van het artikel ligt in het herformuleren van "langer is moeilijker" van een beschrijvende observatie naar een controleerbaar onderzoeksprogramma.

Deployment vs. Diagnose: Het verheldert dat deployment-benchmarks vragen of een systeem slaagt, terwijl diagnostische benchmarks vragen waarom het faalt. De Horizon Residue overbrugt dit door het gat tussen lokale competentie en globale prestaties te kwantificeren.
Causale Discipline: De auteurs claimen dat de residue niet een causaal antwoord is. Een positieve residue geeft alleen aan dat er een mismatch is met de gekozen baseline. Het stuurt onderzoekers naar specifieke hypothesen (bijv. "Is het context-rot?") die vervolgens via gerichte interventies getest moeten worden.
Falsifieerbaarheid: De positie is falsifieerbaar indien:
1. De teken van $\Gamma_H$ instabiel is over aanvaardbare protocollen.
2. Gematchte checkpoints niet tegen beheersbare kosten kunnen worden geconstrueerd.
3. De residue geen incrementele diagnostische informatie biedt buiten bestaande persistentie- versus reset-vergelijkingen.

Uiteindelijk betoogt het artikel dat totdat een dalende curve vergezeld gaat van een vooraf gespecificeerde compositionele voorspelling en de resulterende residue, claims over long-horizon mechanismen ongeoorloofd blijven. Het kader verandert de observatie van falen in een gestructureerd onderzoek naar geschiedenis, staat, informatie en herstel.