Technische Samenvatting: Weten Agenten Wat Ze Niet Kunnen?

Probleemstelling

Tool-gebruikende agenten, die Large Language Models (LLM's) inzetten om te interageren met externe API's en omgevingen, lopen vaak hoge rekenkosten op door lange redeneerketens en iteratief toolgebruik. In praktische implementatiescenario's worden veel taken onuitvoerbaar omdat de specifieke capaciteiten die nodig zijn voor een succesvolle voltooiing, niet beschikbaar zijn onder de huidige tool- en omgevingsbeperkingen.

Huidige agent-benchmarks en evaluatieparadigma's gaan er grotendeels van uit dat taken binnen de gegeven omgeving oplosbaar zijn. Ze belonen vooral aanhoudende uitvoering en het uiteindelijke slagen van de taak, waarbij vaak "breekbaar gedrag" wordt over het hoofd gezien: situaties waarin agenten blijven redeneren en tools blijven aanroepen, zelfs nadat het onmogelijk is geworden om de taak te voltooien. Dit leidt tot ernstige tokenverspilling en onnodige interactiekosten. Bovendien is het uitdagend om echt onuitvoerbare taken te construeren voor evaluatie; bestaande methoden vertrouwen sterk op arbeidsintensieve menselijke annotatie of perturbatiestrategieën die niet garanderen dat kritieke capaciteiten worden verwijderd, waardoor agenten taken mogelijk via alternatieve strategieën kunnen oplossen.

Methodologie: FeasiGen

De auteurs stellen FeasiGen voor, een automatisch proces dat is ontworpen om onuitvoerbare agent-taken te construeren en het vermogen van een agent om deze te herkennen, te evalueren. Het kader werkt in drie fasen:

1. Datacollectie: Taken worden verzameld uit bestaande agent-datasets (BFCL, StableToolBench, API-Bank, $\tau$-bench) die werken met een gesloten toolset, waarbij elke taak is gekoppeld aan een vaste, vooraf gedefinieerde pool van beschikbare tools.
2. Identificatie van kritieke tools: Het systeem voert meerdere agentsystemen uit op de oorspronkelijk oplosbare taken. Het verzamelt succesvolle tool-aanroepsporen en identificeert kritieke tools als de doorsnede van tools die gedeeld worden door alle diverse succesvolle uitvoeringsstrategieën. De onderliggende hypothese is dat tools die consistent vereist zijn in verschillende succesvolle trajecten, onmisbare uitvoeringsafhankelijkheden vertegenwoordigen.
3. Generatie van onuitvoerbare taken: De geïdentificeerde kritieke tools worden gemaskeerd (verwijderd) uit de kandidaat-toolpool. Dit transformeert de oorspronkelijk oplosbare taak in een onuitvoerbare taak binnen de beperkte omgeving.

Evaluatieprotocol:
Het paper introduceert uitvoerbaarheidsbewuste evaluatiemetrics naast standaard taaksuccespercentages:

• False Continue Rate (FCR): Meet het aandeel onuitvoerbare taken waarbij de agent het ontbrekende vermogen niet detecteert en in plaats van te stoppen, doorgaat met uitvoering.
• Tokenkosten voor vroegtijdig stoppen ($TC_{early-stop}$) versus Tokenkosten voor taalfalen ($TC_{task-failure}$): Kwantificeert de efficiëntieafweging, door tokens te meten die worden bespaard door vroegtijdige beëindiging versus tokens die worden verspild aan gefaalde uitvoering.
• Feasibility-Aware Success Score (FASS): Een geünificeerde metric die correcte uitvoerbaarheidsdetectie en succesvolle taakvoltooiing bij uitvoerbare taken combineert.

Menselijke verificatie op een statistisch onderbouwde subset (95% betrouwbaarheid, 5% foutmarge) bevestigde dat 94,7% van de geconstrueerde gevallen echt onuitvoerbaar is.

Belangrijkste Resultaten

Experimenten werden uitgevoerd met negen moderne modellen (waaronder de GPT-5.5-, DeepSeek-V4-, Qwen3.5- en Llama3.1-families) onder zowel single-agent als multi-agent (planner-uitvoerder) architecturen.

• Zwakke uitvoerbaarheidsdetectie: Huidige agentsystemen vertonen een aanzienlijk zwak vermogen om onuitvoerbare taken te detecteren. De False Continue Rate (FCR) varieert van 23,5% (best presterende GPT-5.5) tot 73,9% (Qwen3.5-9B). Dit geeft aan dat agenten vaak middelen verspillen door onmogelijke taken te proberen.
• Efficiëntie-impact: Het niet detecteren van uitvoerbaarheid is kostbaar. De tokenkosten van gefaalde uitvoering ($TC_{task-failure}$) zijn 2,3x tot 5,0x hoger dan de kosten van vroegtijdig stoppen ($TC_{early-stop}$) over de modellen heen.
• Verbetering door multi-agent: Multi-agent architecturen verbeteren de uitvoerbaarheidsdetectie aanzienlijk. Door een planningsfase in te voeren die taken decomposeert en vereiste capaciteiten identificeert voordat uitvoering plaatsvindt, daalt het gemiddelde FCR van 54,6% (single-agent) naar 17,5%. Het beste multi-agent-paar (Qwen-122B $\to$ GPT-OSS) behaalde een FCR van 2,6%.
• Redeneermodus: Het inschakelen van redeneermodi verbetert over het algemeen de detectie en verlaagt het tokenverbruik voor vroegtijdig stoppen, hoewel het effect varieert per modelgrootte en -familie.
• Schalingsanomalieën: Uitvoerbaarheidsbewustzijn schaalt niet uniform met modelgrootte. Waar Qwen3.5-modellen een verbeterde detectie tonen bij grotere parameters, verslechteren Llama3.1-modellen (FCR stijgt met 29,3% van 70B naar 405B), wat suggereert dat trainingskeuzes en uitlijningsdoelstellingen (bijvoorbeeld het belonen van betrokkenheid boven weigering) dit vermogen meer beïnvloeden dan het aantal parameters alleen.
• Benchmarkvervuiling: De studie observeerde "vals-positieven" waarbij agenten correcte antwoorden genereerden voor onuitvoerbare taken zonder tools aan te roepen. Handmatige analyse suggereerde dat 91% van deze gevallen direct het eindantwoord produceerde, waarschijnlijk als gevolg van memorisatie van taakoutput uit pretraining-corpora (benchmarkvervuiling), in plaats van oprechte redenering over toolbeschikbaarheid.

Betekenis en Bijdragen

Het paper claimt de volgende bijdragen:

1. FeasiGen-pijplijn: Het eerste automatische kader om onuitvoerbare agent-taken te construeren door kritieke uitvoeringsafhankelijkheden te identificeren en te maskeren, met een nauwkeurigheid van meer dan 94% in menselijke verificatie.
2. Uitvoerbaarheidsbewuste evaluatie: De introductie van metrics (FCR, tokenkostenverhoudingen) die expliciet het vermogen van een agent meten om beperkingen te herkennen en uitvoering te beëindigen, waarmee een gat wordt gedicht in huidige evaluatieparadigma's die zich uitsluitend richten op taaksucces.
3. Empirisch bewijs van beperkingen: Een uitgebreide evaluatie toont aan dat huidige agenten, zelfs de best presterende, moeite hebben om onuitvoerbare omstandigheden te herkennen, wat leidt tot aanzienlijke resourceverspilling.
4. Architecturale inzichten: De bevinding dat multi-agent decompositie (specifiek de planningsfase) een dominante factor is in het verbeteren van uitvoerbaarheidsdetectie, biedt een praktische weg naar efficiëntere en robuustere agentsystemen.

De auteurs concluderen dat taaksucces alleen onvoldoende is voor het evalueren van robuust agent-gedrag in praktische scenario's. Ze benadrukken dat bestaande benchmarks de ware agentcapaciteit kunnen overschatten door memorisatie en een gebrek aan beperkingsbewuste redenering, en dringen er bij de gemeenschap op aan om uitvoerbaarheidsdetectie op te nemen in standaard evaluatieprotocollen.