Technische Samenvatting: Voorspellen van Taakcomplexiteit Zonder Rollouts

Probleemstelling

Naarmate Large Language Model (LLM) agents vorderen, verschuift de grens van evaluatie naar complexe domeinen met een lange horizon, waarbij empirische validatie via "rollouts" (gesimuleerde interacties van de agent) een ernstige computationele en logistieke flessenhals vormt. Het ontwerpen en kalibreren van benchmarks voor deze omgevingen vereist uitgebreide trial-and-error, wat steeds vaker onbetaalbaar wordt. Hoewel eerder werk de onzekerheid van modellen heeft verkend om datacontaminatie in statische benchmarks te detecteren, is er een gebrek aan onderzoek naar ex ante moeilijkheidsvoorspelling—het schatten of een taak waarschijnlijk moeilijk zal zijn op basis van enkel de beschrijving, vóórdat kostbare simulaties worden uitgevoerd. Bestaande benaderingen zijn vaak beperkt tot statische programmeertaken, vertrouwen op smalle kenmerken en gebruiken evaluatiemetrieken (zoals AUC) die de taakspecifieke moeilijkheidsinschatting mogelijk niet nauwkeurig reflecteren.

Methodologie

Dataset Constructie

De auteurs hebben een multi-benchmark corpus geconstrueerd bestaande uit 415.470 agent-taak uitkomsten verspreid over 17 agentic benchmarks die coderen, wiskunde, machine learning, webnavigatie, function calling en cybersecurity beslaan. De dataset bevat 5.230 unieke taken die zijn geëvalueerd door 497 agent-configuraties (combinaties van 216 modellen en 90 scaffolds).

Schatting van de Moeilijkheidstarget (IRT)

Om een grondwaarheid voor de moeilijkheidsmeting vast te stellen, gebruiken de auteurs Item Response Theory (IRT), specif seguito de logistische één-parameter (1PL) Rasch-modellen.

• Model: De kans dat een agent $a$ slaagt op taak $t$ wordt gemodelleerd als $P(Y_{a,t}=1) = \sigma(\theta_a - \beta_t)$, waarbij $\theta_a$ de capaciteit van de agent vertegenwoordigt en $\beta_t$ de moeilijkheid van de taak.
• Training: Het model wordt getraind via stochastic variational inference (SVI) op geobserveerde binaire uitkomsten (succes/falen).
• Target: De resulterende scalaire $\beta_t$ dient als de moeilijkheidstarget. Om variantie tussen verschillende benchmarks op te vangen, worden deze waarden binnen elke benchmark gestandaardiseerd om $z(\beta_t)$ te produceren.

Feature Engineering

De voorspellingspipeline probeert $\beta_t$ te schatten met behulp van uitsluitend pre-rollout informatie. De auteurs definiëren vijf families van kenmerken afgeleid van de taakcontext ($C_t$) en een redeneerspoor ($R_t$) gegenereerd door een LLM:

1. Random Control: Gaussische ruis.
2. Baseline: Log-getransformeerde contextlengte.
3. Embeddings: PCA-gereduceerde embeddings van het redeneerspoor (gebruikmakend van bge-base-en-v1.5).
4. Entropy: Token-niveau Shannon-entropie berekend over het redeneerspoor met behulp van open-weight scorer modellen (bijv. Qwen3-8B-Base). Dit vangt de onzekerheid van het model op elke tokenpositie op.
5. Full Set: Een concatenatie van entropie-samenvattingen (gemiddelde, spreiding, vorm, gaten), cross-scorer discrepantie, benchmark-metadata, structurele eigenschappen en embeddings.

Evaluatiemetrieken

De auteurs bekritiseren het gebruik van Area Under the Curve (AUC) voor deze taak, omdat zij aantonen dat AUC hoog kan blijven zelfs als de voorspeller een constante moeilijkheid aan alle taken toekent (omdat het de vaardigheid van de agent verward met de moeilijkheid van de taak). In plaats daarvan geven zij prioriteit aan:

• Spearman's $\rho$: Rangcorrelatie tussen de voorspelde en door IRT geschatte moeilijkheden.
• Pairwise Accuracy (pAcc): Het fractie van taakparen binnen een benchmark waar de voorspelde ordening overeenkomt met de ware ordening.
• Evaluatie Splits: K-fold (in-distributie) en Leave-One-Benchmark-Out (LOBO, out-of-distributie).

Belangrijkste Resultaten

1. Voorspelbaarheid van Moeilijkheid

Taakkenmerken bevatten een betekenisvol signaal voor moeilijkheidsvoorspelling, maar de prestaties variëren per distributie:

• In-Distributie (K-fold): De Full feature set bereikt een Spearman $\rho$ van 0,399 ($p < 0,001$ vs. baseline). De Entropy features alleen zijn de sterkste enkele familie ($\rho = 0,193$), en presteren beter dan embeddings en lengte-baselines.
• Out-of-Distributie (LOBO): De prestaties dalen maar blijven significant, waarbij de Full set een $\rho$ van 0,225 bereikt. Dit geeft aan dat hoewel kenmerken moeilijkheid coderen, de generalisatie naar ongeziene benchmark-families beperkt is.

2. De Beperkingen van AUC

Het artikel demonstreert dat AUC misleidend is voor moeilijkheidsvoorspelling. Een voorspeller met een "constante moeilijkheid" (die dezelfde waarde aan alle taken toekent) levert een AUC van 0,715 op, en een "benchmark gemiddelde" voorspeler levert 0,806 op, ondanks dat deze nul vermogen heeft om taken binnen een benchmark te rangschikken (pAcc = 0,000). Dit bevestigt dat AUC primair de scheiding van agent-vaardigheden meet in plaats van de nauwkeurigheid van de taak-moeilijkheidsinschatting.

3. Entropie Trajecten

Ablatie-studies laten zien dat de vorm van het entropie-traject (lokale discrepanties, helling en variantie) informatiever is dan globale gemiddelde statistieken. Het aggregeren van entropie over meerdere scorer-modellen verbetert de in-distributie prestaties, maar verbetert de out-of-distributie transfer niet consistent, wat wijst op potentiële overfitting op benchmark-specifieke formuleringen.

4. Residuele Diagnostiek

De auteurs stellen voor om het residu $r_t = z(\beta_t) - \hat{z}_t$ (geobserveerde minus voorspelde moeilijkheid) te gebruiken om verborgen taakfactoren te diagnosticeren:

• Positieve Residuen ($r_t > 0$): Taken zijn moeilijker dan voorspeld. Dit signaleert potentiële haalbaarheidsproblemen of falende evaluatoren (bijv. de django-14725 taak had een residu van +1,41 en een succespercentage van 9%).
• Negatieve Residuen ($r_t < 0$): Taken zijn makkelijker dan voorspeld. Dit signaleert bekendheid of datacontaminatie (bijv. de django-11451 taak had een residu van -0,56 en een succespercentage van 71,8%).

Betekenis en Claims

Het artikel betoogt dat ex ante moeilijkheidsvoorspelling een levensvatbaar, zij het imperfect instrument is voor proactief omgevingontwerp. De primaire bijdragen zijn:

1. Methodologische Verschuiving: Van post-hoc empirische validatie naar pre-rollout schatting, wat potentieel aanzienlijke rekenkracht kan besparen in domeinen met een lange horizon.
2. Diagnostisch Nut: Het aantonen dat de kloof tussen voorspelde en geobserveerde moeilijkheid kan dienen als een filter om benchmark-fouten te identificeren, zoals contaminatie of onhaalbare taken, voordat men zich committeert aan volledige evaluatie.
3. Inzicht in Kenmerken: Het vaststellen van token-niveau entropie als een superieur voorspellend signaal vergeleken met statische embeddings of eenvoudige lengtemetrieken.
4. Evaluatie-Rigor: Het benadrukken van de ontoereikendheid van AUC voor moeilijkheidsinschatting en het pleiten voor ranggebaseerde metrieken (Spearman $\rho$, pAcc) om het verwarren van agent-capaciteit met taak-moeilijkheid te vermijden.

De auteurs blijven bescheiden over de huidige staat van het vakgebied en merken op dat hoewel in-distributie rangschikking betrouwbaar is, cross-benchmark generalisatie een openstaand probleem blijft. Zij suggereren dat toekomstig werk zich moet richten op het modelleren van entropie als een tijdreeks en het ontwikkelen van mechanistische voorspellers voor taakbekendheid en haalbaarheid.