Technische Samenvatting: Kwantificerende Certificering van Agentieke Toolselectie

Probleemstelling

Grote Taalmodellen (LLM)-agenten vertrouwen steeds vaker op externe tools om met de wereld te interageren, doorgaans via een tweestapsproces: een retriever filtert een grote toolpool tot een top-$N$-selectie, en een selector (het LLM) kiest de specifieke tool om aan te roepen. Waar bestaande evaluaties prestaties meten op gecureerde, onschadelijke benchmarks, slagen ze er niet in om de risico's inherent aan open registers (bijvoorbeeld Model Context Protocol) te vangen. In deze omgevingen worden toolpools gevormd door derden die misleidende, bijna-identieke of kwaadaardige tools kunnen publiceren.

Huidige evaluatiemethoden vertrouwen op kwalitatieve analyses of puntinschattingen van nauwkeurigheid op vaste datasets. Deze benaderingen kunnen niet onderscheid maken tussen systemen die zelden falen en die welke vaak falen, noch kunnen ze een basis bieden voor het vergelijken van robuustheid tussen verschillende modellen, retrievers of registerbeleid. De kernuitdaging is het vaststellen van een kwantificerend certificaat: een hoge-vertrouwensgrens voor de waarschijnlijkheid dat een toolselectiepijplijn voldoet aan een gedeclareerde veiligheidspecificatie wanneer tools worden bemonsterd uit een realistische verdeling van ingezette pools.

Methodologie: LLMCert-T

De auteurs introduceren LLMCert-T, een statistisch raamwerk ontworpen om hoge-vertrouwens bovengrenzen te retourneren voor de waarschijnlijkheid dat een toolselectiepijplijn voldoet aan een veiligheidspecificatie onder een realistische toolverdeling.

1. Formeel Raamwerk

Het raamwerk modelleert de toolselectiepijplijn als een black box die werkt over $R$ rondes.

• Pijplijn: Een gebruikersintentie $u$ wordt verwerkt door een retriever om een selectie $S_u$ (top-$N$ tools) te produceren, die de selector $L$ evalueert om een tool $\hat{t}$ te kiezen.
• Specificatie ($\phi$): Een predicaat dat een bevredigend resultaat definieert (bijvoorbeeld "de geselecteerde tool moet de intentie vervullen zonder de gebruikersrechten te overschrijden").
• Verdeling ($\Delta$): Een stochastisch proces dat sequenties van "ingevoegde tools" genereert die de pool rond voor rond ontwikkelen. In tegenstelling tot adversariale aanvallen die optimaliseren voor specifieke modellen, modelleert $\Delta$ realistische inzetomstandigheden waarbij derden tools introduceren.

2. Het Bemonsteringsproces ($\Delta$)

Om realisme en informativiteit te waarborgen, wordt $\Delta$ geïmplementeerd als een conditioneel stochastisch proces:

• Generatie Rond voor Rond: Een LLM-generator stelt $k$ ingevoegde tools voor bij elke ronde $r$, geconditioneerd op de vorige keuze van de selector $\hat{t}^{(r-1)}$. Deze feedbacklus concentreert de bemonsteringsmassa op sequenties die de specifieke kwetsbaarheden van de selector blootleggen.
• Gecombineerde Generatie: De output van de generator ondergaat deterministische nabewerking om ervoor te zorgen dat de tools lijken op echte registervermeldingen:
  • Parametercollisie: Kopieert parameterschema's van eerder geselecteerde tools om te voldoen aan gebruikersverwachtingen.
  • Homoglyf-klonen: Vervangt karakters door visueel vergelijkbare Unicode-varianten (bijvoorbeeld Cyrillische 'a' voor Latijnse 'a') om exacte-match deduplicatie te ontlopen terwijl ze menselijk leesbaar blijven.
  • Overtuigingscues: Voegt markers toe zoals [officieel], v2 of [enterprise] aan namen en beschrijvingen om autoriteitscues te simuleren.
• Bernoulli-reductie: Elke $R$-ronde-traject wordt gereduceerd tot een enkel binair resultaat $Z_u$ (1 als de specificatie voor alle rondes geldt, 0 anders). Dit maakt het aggregeren van $n$ trials tot een statistische grens mogelijk.

3. Certificeringsmechanisme

LLMCert-T aggregeert de $n$ onafhankelijke Bernoulli-trials ($Z_1, \dots, Z_n$) om een éénzijdige Clopper-Pearson bovengrens ($p_u$) te berekenen voor de bevredigingswaarschijnlijkheid.

• Als $C$ fouten worden waargenomen in $n$ trials, is $p_u$ de grootste waarde van de ware bevredigingswaarschijnlijkheid die consistent is met de waargenomen data op het vertrouwensniveau $1-\alpha$.
• Deze benadering biedt een rigoureuze, niet-asymptotische garantie dat het ware faalpercentage niet hoger is dan de grens, ongeacht de nauwkeurigheid van het onderliggende model op een schone pool.

Belangrijkste Bijdragen

1. Aandacht als Eigenschap van Inzet: Het artikel formaliseert toolselectie over een verdeling van tools die een agent na inzet kan tegenkomen, waarbij het "wat" (veiligheidspecificatie) wordt gescheiden van de "omstandigheden" (toolverdeling).
2. Kwantificerende Certificering: Het instantieert een stochastisch proces voor het genereren van realistische sequenties van ingevoegde tools en aggregeert uitkomsten tot een statistisch rigoureuze bovengrens, verdergaand dan puntinschattingen.
3. Identificatie van Faalmodi: Door evaluatie op BFCL- en OpenAPI-toolpools met vier open-gewicht selectors (4B–14B parameters), identificeert het raamwerk vijf specifieke afleidingsmechanismen en toont het aan dat gecertificeerde correctheidsgrenzen significant dalen onder de ondergrenzen voor schone pools.

Experimentele Resultaten

Geëvalueerd op standaardbenchmarks (BFCL, OpenAPI) met $n=1000$ trials en $R=10$ rondes:

• Schone Nauwkeurigheid versus Gecertificeerd Gedrag: Er is een scherp verschil tussen benchmarknauwkeurigheid en gecertificeerde robuustheid. Waar selectors ondergrenzen voor schone nauwkeurigheid ($p^{clean}_{\ell}$) bereiken tussen 0,69 en 0,75, dalen de gecertificeerde bovengrenzen ($p_u$) onder realistische verdelingen tot ongeveer 0,20 voor de strengste specificaties.
• Kritieke Faalmodi:
  • Afleidende Selectie: Selectors worden betrouwbaar misleid door tools met oppervlakkige geloofwaardigheids cues (bijvoorbeeld [officieel], v2) die autoritairder lijken maar geen functionaliteit hebben. De gecertificeerde bovengrens is 0,20.
  • Top-N Saturatie: Bijna-identieke tools met gekopieerde parameterschema's verdringen de grondwaarheid-tool uit de top-$N$-selectie in 89% van de trials binnen tien rondes. De gecertificeerde bovengrens is 0,20.
  • Privilege Escalatie: Selectors accepteren rechtvaardigingen in de beschrijving voor verhoogde machtigingen (bijvoorbeeld "vereist voor compliance-logboek"), wat resulteert in een grens van 0,65.
  • Abstention Trigger & Intentverschuiving: Deze zijn minder ernstig (grenzen ~0,73–0,75), aangezien selectors eerder een verkeerde tool kiezen dan te weigeren of de intentie te verschuiven zonder sterke overtuigingscues.
• Impact van Mitigaties: Vijf representatieve mitigaties (verdedigde retrievers, anomalie-monitoren, gestructureerde prompting, uitlijningstuning, perplexiteitsfilters) werden geëvalueerd. Geen enkele dichte de kloof op de twee sterkste specificaties (Afleidende Selectie en Top-N Saturatie). De beste mitigatie (SecAlign voor Afleidende Selectie) verhoogde de grens slechts van 0,20 naar 0,30.
• Gedwongen Opname: Zelfs wanneer de retriever gedwongen wordt een bevredigende tool op te nemen in de selectie, blijft de gecertificeerde grens onder 0,50, wat aangeeft dat het falen primair ligt in de selectiefase, niet alleen in de retriever.

Betekenis en Claims

Het artikel beweert dat benchmarknauwkeurigheid op gecureerde pools niet een voldoende samenvatting is van het gedrag van ingezette pijplijnen. De kloof tussen prestaties op schone pools en gedrag onder realistische toolverdelingen is een fundamentele kwetsbaarheid.

• Hanteerbare Metrieken: LLMCert-T biedt een metriek die intuïtief, hanteerbaar en vergelijkbaar is tussen modellen, retrievers en registerbeleid.
• Diagnostische Standaard: Aangezien huidige mitigaties de kloof op de sterkste specificaties niet dichten, dient het raamwerk als een diagnostische standaard voor het evalueren van toekomstige mitigatiemethoden.
• Aard van de Kwetsbaarheid: Het primaire inzetrisico is geen slecht semantisch begrip, maar kwetsbaarheid voor metadata-niveau geloofwaardigheidssignalen (autoriteitscues, bijna-identieken) die de retriever en selector manipuleren.

De auteurs positioneren LLMCert-T niet als een oplossing die deze kwetsbaarheden oplost, maar als het eerste raamwerk dat in staat is ze te kwantificeren met statistische garanties, waardoor inzetgedrag wordt omgezet in een meetbare eigenschap.