Technische Samenvatting: NTILC (Neural Tool Invocation via Learned Compression)

1. Probleemstelling

Agentische systemen die vertrouwen op Large Language Models (LLM's) zijn steeds afhankelijker van uitgebreide registers van aanroepbare API's, functies en lokale acties. De standaardmethode, In-Context Tooling (ICT), voegt de volledige tekst van elke beschikbare tooldefinitie in de prompt van het model in voordat een gebruikersquery wordt verwerkt. Hoewel deze methode effectief is voor kleine registers, brengt het een tokenkosten met zich mee die lineair schalen ($O(N)$) met het aantal tools.

Naarmate de registers groeien (bijv. naar 5.000+ tools), krijgt ICT te maken met drie kritieke beperkingen:

1. Contextuitputting: Tool-schema's (gemiddeld ~120 tokens) verbruiken snel het contextvenster, waardoor er weinig ruimte overblijft voor taakspecifieke informatie.
2. Latentie en Kosten: Het verwerken van enorme contextvensters verhoogt de prefill-tijd en de inferentiekosten.
3. Degradatie van Selectienauwkeurigheid: De aanwezigheid van talrijke irrelevante tools ("distractoren") en semantische vervaging (semantic blur) — waarbij tools bijna identieke natuurlijke taalbeschrijvingen delen maar incompatibele uitvoeringssignatures bezitten (bijv. verschillende argumenttypen) — leidt tot hogere foutpercentages bij de toolselectie.

2. Methodologie: NTILC

De auteurs stellen NTILC (Neural Tool Invocation via Learned Compression) voor, een framework dat de lineair schalende in-context registry-scanning vervangt door een externe, geleerde latente retrieval-stap.

2.1 Inferentie-pipeline

In plaats van de volledige registry in de prompt te injecteren, werkt NTILC als volgt:

1. Intent Generatie: Een backbone LLM ($M$) ontvangt de gebruikersquery ($\chi$) en genereert een planblok ($P$) dat natuurlijke taal tool-intents bevat.
2. Codering: Een toegewezen encoder ($E$) brengt deze intents in kaart naar een getrainde embedding-ruimte.
3. Latente Retrieval: Er wordt een nearest-neighbor search (NNS) uitgevoerd tegen een vooraf gebouwde, offline tool-index ($V$) om de meest relevante tool-cluster identifier ($\hat{t}$) te extraheren.
4. Beperkte Generatie: Het schema van de geëxtraheerde tool wordt aan de LLM doorgegeven. Met behulp van de Outlines library wordt een Finite State Machine (FSM) gebruikt om de vocabulaire van het model te beperken, wat ervoor zorgt dat gegenereerde argumenten syntactisch geldig zijn en strikt voldoen aan de signature van de geselecteerde tool.
5. Executie: De dispatcher voert de tool uit en geeft het resultaat terug aan de LLM voor de uiteindelijke respons-synthese.

Deze aanpak vermindert de registry-prompt tokenkosten van $O(N)$ naar $O(1)$, aangezien de registry extern wordt behandeld als een embedding-index in plaats van tekst in het contextvenster.

2.1 Trainingsdoelstelling

Een kernuitdaging is het oplossen van semantische vervaging, waarbij semantisch gelijkaardige tools functioneel incompatibel zijn. NTILC pakt dit aan via een samengestelde trainingsdoelstelling voor de encoder ($E$):

1. Circle Loss: Wordt gebruikt voor algemene query-tool alignment, waarbij pairwise gelijkenissen worden gewogen om gradiëntsignalen te concentreren nabij de beslissingsgrens van de retrieval.
2. Functional Margin (FM) Loss: Een nieuwe loss-term ontworpen om tools te scheiden die qua beschrijving gelijkaardig zijn maar qua functie incompatibel.
   • Het berekent een compatibiliteitsscore ($compat$) op basis van de intersectie van argumentnamen, typen en return-schema's.
   • Het wijst een afstotend gewicht ($w_{ij}$) toe aan negatieve paren op basis van hun functionele incompatibiliteit.
   • Het past een margin penalty toe specifiek op "harde negatieven" (semantisch dichtbij maar functioneel verschillend van tools), om deze verder uit elkaar te duwen in de embedding-ruimte.

De totale doelstelling is $L_{dispatch} = \lambda_1 L_{circle} + \lambda_2 L_{FM}$.

3. Belangrijkste Bijdragen

1. Framework Innovatie: Introductie van NTILC, dat de capaciteit van de agent loskoppelt van de promptlengte door de tool-registry extern te maken via een geleerde embedding-index, waardoor de registry-prompt tokens van $O(N)$ naar effectief nul worden gereduceerd.
2. Functional Margin Loss: Voorstel van een signature-bewuste loss-functie die expliciet de scheiding afdwingt tussen semantisch gelijkaardige maar functioneel verschillende tools, wat het probleem van "semantische vervaging" direct aanpakt.
3. Uitgebreide Evaluatie: Evaluatie over vijf publieke datasets (ToolBench, BFCL, API-Bank, MetaTool, ToolEyes) die prestaties aantonen bij variërende registry-groottes.

4. Experimentele Resultaten

De auteurs hebben NTILC geëvalueerd tegen ICT-baselines (inclusclusief Qwen3-27B, Ministral 3, Kimi Moonlight, en closed-source modellen zoals ChatGPT 5 en Claude Sonnet 4.6) op publieke datasets.

• Contextreductie: NTILC vermindert het verbruik van het contextvenster met meer dan 95%. Voor een registry van 5.000 tools vereist ICT ~600.000 input tokens, terwijl NTILC slechts de intent en het geselecteerde schema vereist (<5.000 tokens).
• Latentie: NTILC vermindert de inferentie-latentie met tot wel 74% vergeleken met long-context ICT-baselines (bijv. op ToolBench daalde de latentie van 5.663ms naar 1.452ms).
• Nauwkeurigheid: NTILC handhaaft pariteit met state-of-the-art ICT-modellen in Top-1 en Top-5 nauwkeurigheid.
  • Op ToolBench bereikte NTILC een 98% Top-1 nauwkeurigheid met nul registry-prompt tokens.
  • Op semantische-vervaging subsets verbeterde de inclusie van Functional Margin Loss de Semantic-Blur Accuracy van 70,8% (alleen Circle Loss) naar 75,0%, terwijl de Functional Error rate werd teruggebracht naar 8,7%.

5. Betekenis en Claims

Het paper claimt dat NTILC aantoont dat tool-registries niet in het contextvenster hoeven te verblijven. Door de registry te verplaatsen naar een compacte embedding-index, maakt het framework het volgende mogelijk:

• Ontkoppeling van capaciteit van contextlengte: De prestaties van de agent verslechteren niet naarmate de tool-registry schaalt.
• Oplossing voor het "Semantische Vervaging" probleem: Door de Functional Margin Loss leert het model onderscheid te maken tussen tools die tekstueel gelijkaardig zijn maar functioneel verschillend, een faalmodus die veel voorkomt bij standaard semantische retrieval.
• Maakt Schaalbaarheid Mogelijk: De aanpak staat de inzet van agents met enorme tool-registries toe zonder dat hiervoor prohibitieve tokenkosten of latentie-straf worden betaald.

De auteurs merken beperkingen op, specifiek dat NTILC offline indexing vereist en moeite kan hebben met zeer dynamische of statusafhankelijke tool-documentatie zonder frequente her-indexing. Ze benadrukken ook dat hoewel NTILC de selectie-efficiëntie verbetert, veiligheid en beleidshandhaving (bijv. allow-lists) aparte zaken blijven die met het dispatch-mechanisme gekoppeld moeten worden.