Technische Samenvatting: Indexeren van het Onleesbare (A2X)

1. Probleemstelling

Het artikel behandelt een kritieke knelpunt in het opkomende "Internet van Agenten" (IoA): het structurele misverstand tussen de snel groeiende populatie van door LLM's aanroepbare diensten (MCP-servers, A2A-eindpunten, vaardigheden) en het beperkte effectieve contextvenster van Large Language Models (LLM's).

Twee primaire faalmodi ontstaan wanneer agenten proberen diensten te ontdekken uit grote registers:

1. Token-Opblazing: Het samenvoegen van duizenden dienstbeschrijvingen in één enkele prompt overschrijdt contextvensters of leidt tot onbetaalbare tokenkosten. Bijvoorbeeld, een register van 1.000 tools kan ongeveer 500.000 tokens in beslag nemen.
2. Verdwaald in het Midden (LIM): Zelfs wanneer het contextvenster nominale groot genoeg is, besteden LLM's systematisch te weinig aandacht aan informatie in het midden van lange invoer. Recente benchmarks bevestigen dat ophaalprecisie niet lineair schaalt met contextlengte; het effectieve contextvenster is de bindende beperking, niet de ruwe venstergrootte.

Bestaande oplossingen staan voor afwegingen:

• Volledige context-dumping: Faalt vanwege tokenlimieten en LIM-degradatie.
• Op embedding gebaseerde ophaal: Hoewel token-efficiënt, worstelt dichte vectorzoekopdracht met cross-vocabulaire, multi-beperking en long-tail zoekopdrachten, en mist vaak relevante diensten door gebrek aan diep semantisch begrip.
• Handmatige taxonomieën: Hoge onderhoudskosten en structurele achterstand maken ze ongeschikt voor dynamische, snel groeiende populaties van diensten.

De kernonderzoeksvraag is: Hoe moet een groot, dynamisch register worden georganiseerd en selectief worden onthuld aan een LLM, zodat elke beslissing wordt genomen over een korte, zeer relevante kandidaatset, terwijl het register als geheel ontdektbaar blijft?

2. Methodologie: A2X (Agent-naar-Alles)

De auteurs stellen A2X voor, een LLM-native dienstontdekkingsysteem dat het probleem herformuleert als contextbeheer via progressieve onthulling. In plaats van het volledige register te presenteren, organiseert A2X diensten in een hiërarchische taxonomie en doorloopt deze laag voor laag op het moment van de zoekopdracht.

A. Automatische Taxonomieconstructie (Offline)

A2X bouwt de taxonomie autonoom op vanuit ruwe dienstnamen en -beschrijvingen met behulp van een Breadth-First Search (BFS)-algoritme (Algoritme 1), waardoor de noodzaak voor door mensen samengestelde ontologieën wordt vermeden.

• Contextbewuste splitsing: Om contextoverloop tijdens constructie te voorkomen, worden knooppunten die een drempel overschrijden ($\theta_{kw} = 500$ diensten) verwerkt via een keyword-first strategie. Een KeywordExtractor bundelt diensten om een frequentie-gewogen lijst van trefwoorden te genereren, die vervolgens wordt ingevoerd bij een LLM-ontwerper. Dit zorgt ervoor dat de ontwerper nooit ruwe beschrijvingen op grote schaal ziet.
• Enkel-as beperking: Om "as-menging" te voorkomen (bijvoorbeeld het mengen van functionele domeinen met technische benaderingen), dwingt het ontwerpprompt dat zustercategorieën binnen een knooppunt een enkele classificatie-as delen. Een preferentieketen prioriteert gebruikersgerichte functionele domeinen (bijvoorbeeld "Reizen") boven operationele of technische assen.
• Randverfijning: Om semantische ambiguïteit tussen zustercategorieën aan te pakken (bijvoorbeeld "Financiën" versus "Zakelijk"), hanteert het systeem een classificatie-verfijningsslus. Als diensten verkeerd worden geclassificeerd of niet worden toegewezen, voert het systeem deze randgevallen terug naar de ontwerper om categoriedefinities en "NIET hier"-randclausules te verfijnen.
• Cross-domein behandeling: Om diensten aan te pakken die legitiem over meerdere top-niveau domeinen strekken (wat een strikte boom zou missen), voert een CrossDomainAssigner een multi-ouderdoorgang uit, waardoor diensten onder meerdere relevante bladeren kunnen verschijnen.

B. Progressieve-onthulling zoekopdracht (Online)

Op het moment van de zoekopdracht navigeert A2X recursief door de taxonomie (Algoritme 2), waarbij wordt gegarandeerd dat elke LLM-aanroep slechts een kleine kandidaatset verwerkt.

1. Parallelle recursieve afdaling (CategoryNavigator): Beginnend bij de root wordt de LLM geconfronteerd met de kinderen van het huidige knooppunt (typisch ~8 opties) en gevraagd om relevante takken te selecteren. De niet-geselecteerde subbomen worden onmiddellijk afgesneden.
2. Dienstselectie (ServiceSelector): Zodra bladerknopen worden bereikt, verzamelt het systeem kandidaat-diensten. Het de-dupliceert diensten en voegt kleine groepen samen (met behulp van een heuristiek voor de minst-gemeenschappelijke-ouder) om ervoor te zorgen dat groepsgroottes binnen het effectieve contextbudget van de LLM blijven.
3. Modi: Het systeem ondersteunt verschillende zoekmodi (get_all, get_important, get_one) door het systeemprompt aan te passen om af te wegen tussen recall en precisie, maar de onderliggende navigatiemechanisme blijft hetzelfde.

De totale tokenkosten per zoekopdracht groeien sub-lineair met de registergrootte $N$, aangezien het aantal oproepen evenredig is met de boomdiepte ($d$) en het vertakkingsfactor ($b$), in plaats van $N$ zelf.

3. Belangrijkste Bijdragen

1. Herformulering van Dienstontdekking: De auteurs herformuleren dienstontdekking aan de kant van de agent als een contextbeheer probleem, en stellen LLM-native progressieve onthulling voor als oplossing om effectieve contextschaarste te ontkoppelen van registergrootte.
2. A2X Systeem: Een volledig autonoom proces dat:
   • Automatisch een hiërarchische taxonomie bouwt vanuit ruwe dienstbeschrijvingen met behulp van recursieve splitsing en verfijningsslussen.
   • Deze taxonomie laag voor laag doorloopt op het moment van de zoekopdracht, waarbij wordt gegarandeerd dat elke LLM-aanroep slechts een kleine, relevante kandidaatset ziet.
3. Empirische Dominantie: Op de ToolRet benchmark (1.839 diensten, 1.714 zoekopdrachten) bereikt A2X:
   • 92,6% Hit Rate, wat beter is dan volledige context-dumping met 6,2 absolute punten en de state-of-the-art op embedding gebaseerde baseline met >20 punten.
   • 1/9e van de prompt-tokenkosten vergeleken met volledige context-dumping.
   • Sterke cross-taal robuustheid, met vergelijkbare prestaties op een Chinese variant (ToolRet_CN) zonder taal-specifieke engineering.

4. Experimentele Resultaten

• Zoekefficiëntie (Studie 1): In vergelijking met een pure-LLM baseline die alle 1.839 diensten in één enkele prompt dumpt (67.619 tokens/zoekopdracht), bereikt A2X een hogere Hit Rate (92,6% vs. 86,4%) en Recall (89,2% vs. 84,7%) terwijl het slechts 7.069 tokens/zoekopdracht verbruikt.
• Constructiekwaliteit (Studie 2): Ablatiestudies tonen aan dat de recursieve BFS-constructie met keyword-compressie, verfijningsslussen en enkel-as beperkingen essentieel is. Een "one-shot" LLM-bouw (het lezen van alle beschrijvingen in één keer) bereikt slechts ~60% Hit Rate, terwijl de recursieve aanpak 92,6% bereikt.
• Embedding Vergelijking (Studie 3): A2X presteert aanzienlijk beter dan dichte vectorophaal (MiniLM, BGE-M3, etc.) en query-herformulering baselines (MCP-Zero). Embedding-methoden lijden onder onvoldoende recall (bijvoorbeeld 61,8% HR voor MiniLM versus 92,6% voor A2X), met name in complexe, multi-beperking scenario's.
• Model Robuustheid: Experimenten met nieuwere modellen (DeepSeek V4) bevestigen dat hoewel lang-context capaciteiten volledige context baselines verbeteren, A2X een kostenvoordeel behoudt en in veel gevallen ook een nauwkeurigheidsvoordeel, wat bewijst dat de methode niet gebonden is aan een specifieke modelgeneratie.

5. Betekenis en Claims

Het artikel beweert dat LLM-native ontdekking de natuurlijke opvolger is van op embedding gebaseerde ophaal naarmate inferentiekosten dalen.

• Paradigmaverschuiving: In tegenstelling tot op embedding gebaseerde methoden die semantische betekenis comprimeren tot vaste dimensionale vectoren, benut A2X het native vermogen van de LLM om semantisch redeneren uit te voeren en complexe zoekopdrachten te ontcijferen.
• Schaalbaarheid: Door een hiërarchische taxonomie te interponeren, lost A2X het "Verdwaald in het Midden"-probleem op zonder recall te offeren. Het stelt agenten in staat om te schalen naar registers van tienduizenden diensten zonder lineaire tokenkostengroei.
• Autonomie: Het systeem vereist geen mens-in-de-lus ontologie-onderhoud, waardoor het geschikt is voor het dynamische, snel evoluerende "Internet van Agenten".
• Toekomstvisie: De auteurs suggereren dat deze aanpak kan dienen als een uniforme ontdekkingslaag (een "agent DNS") over heterogene diensten en platformen, waardoor rijkere beperkingenverwerking (budgetten, uitsluitingen) mogelijk wordt die vectorzoekopdrachten niet gemakkelijk kunnen ondersteunen.

Erkende Beperkingen:

• Statische Taxonomie: De huidige bouw behandelt diensten als statisch; toekomstig werk stelt gebruik-bewuste verfijning voor om boomdiepte te optimaliseren op basis van zoekopdrachtfrequentie.
• Taaldekking: Cross-taal resultaten zijn gebaseerd op machine-vertaalde data; native niet-Engelse registers met incompatibele vocabulaires kunnen volledige herbouwen vereisen.
• Precisie Rapportage: Vanwege onvolledige ground-truth annotaties in tool-ophaal benchmarks, kunnen traditionele Precisie-metrics de kwaliteit van hoge-recall methoden zoals A2X onderschatten.