Right Family, Wrong Skill: Benchmarking Risk Exposure in Agent Skill Retrieval

In de opkomende wereld van kunstmatige intelligentie leren softwareagenten te handelen namens ons. Deze digitale assistenten beantwoorden niet alleen vragen; ze voeren taken uit door toegang te krijgen tot een enorme bibliotheek van gespecialiseerde hulpmiddelen, of "vaardigheden" (skills), om de klus te klaren. Stel je een bibliothecaris voor die niet alleen een boek kan vinden, maar het ook kan openen, de instructies erin kan lezen en vervolgens een hamer of een rekenmachine kan gebruiken die in de tekst wordt genoemd om een kapotte stoel te repareren. Om dit te laten werken, moet de agent het juiste hulpmiddel voor het specifieke moment ophalen. Als de taak een delicate operatie vereist, heeft de agent een vaardigheid nodig die precies en veilig is. Als de taak grof en ongepolijst is, heeft hij een andere aanpak nodig. De uitdaging is dat deze bibliotheken enorm groot en rommelig worden, gevuld met hulpmiddelen die aan de oppervlakte heel erg op elkaar lijken, maar onder de motorkap anders functioneren.

Het probleem is niet alleen het vinden van een hulpmiddel dat relevant lijkt; het is het vermijden van de valkuil om de verkeerde versie van het juiste hulpmiddel te kiezen. Een onderzoeker heeft misschien een vaardigheid nodig die gegevens veilig verwerkt, maar de bibliotheek bevat een bijna identieke vaardigheid die veiligheidscontroles negeert. Als de agent de verkeerde pakt, kunnen de gevolgen variëren van een mislukte taak tot een gevaarlijke fout. Deze specifieke fout — het vinden van de juiste familie van hulpmiddelen, maar het selecteren van de verkeerde vertegenwoordiger uit die familie — was tot nu toe moeilijk te meten. Een team onderzoekers van Huawei Technologies en de Tongji Universiteit heeft zich erop gericht deze gevaren in kaart te brengen door een nieuwe manier te creëren om te testen hoe goed agenten het verschil kunnen zien tussen nuttige hulpmiddelen en hun risicovolle lookalikes.

De onderzoekers bouwden een testomgeving genaamd SameCapRisk-Bench, een gecontroleerde omgeving die ontworpen is om dit specifieke type fout te vangen. Ze creëerden meer dan 1.100 testgevallen waarbij een agent wordt gevraagd een probleem op te lossen. Voor elk probleem is er een perfecte vaardigheid die bij de klus past en een "risicovolle tweelingbroer" — een hulpmiddel dat tot dezelfde categorie behoort, maar een verborgen gebrek heeft, zoals het missen van een veiligheidscontrole of het gebruik van de verkeerde middelen. Het doel was om te zien of het retrieval-systeem van de agent de perfecte vaardigheid kon kiezen terwijl het de gevaarlijke tweeling negeerde. De test bevatte twee soorten uitdagingen. De eerste betrof een grote, publieke bibliotheek van duizenden vaardigheden om te zien of de agent de juiste kon vinden tussen veel afleidingen. De tweede was een moeilijkere test waarbij de rollen van de twee vaardigheden werden omgedraaid: het hulpmiddel dat nuttig was in het ene scenario, werd de risicovolle variant in een iets ander scenario, wat het systeem dwong om aandacht te besteden aan de specifieke details van de aanvraag in plaats van alleen aan het algemene onderwerp.

Toen de onderzoekers hun tests uitvoerden, ontdekten ze dat huidige systemen vrij goed zijn in het vinden van de juiste algemene categorie van hulpmiddelen, maar vaak falen in het kiezen van de veilige versie. Met behulp van standaard publieke retrieval-systemen vonden de agenten de nuttige vaardigheid in bijna 90 procent van de gevallen. Echter, in ongeveer 35 tot 37 procent van die succesvolle gevallen haalde het systeem ook de risicovolle tweelingbroer in de topresultaten. Dit betekent dat zelfs wanneer de agent de juiste familie van hulpmiddelen vindt, hij zichzelf vaak blootstelt aan de verkeerde vertegenwoordiger. De onderzoekers maten dit met een metriek die ze de "harmful sibling rate" noemen, die bijhoudt hoe vaak de gevaarlijke lookalike in de uiteindelijke lijst met keuzes verschijnt. De gegevens lieten zien dat de systemen uitstekend waren in recall — het vinden van het juiste hulpmiddel — maar niet goed waren in het wegfilteren van de onveilige versie.

Om dit op te lossen, testte het team een nieuwe aanpak die het proces opsplitst in twee stappen. Eerst identificeert het systeem welke hulpmiddelen tot dezelfde familie behoren. Daarna maakt het een specifieke keuze om slechts één vertegenwoordiger uit die familie te kiezen voordat de definitieve resultaten worden gerangschikt. Toen ze deze methode toepasten, veranderden de resultaten drastisch. Het systeem vond de nuttige vaardigheid nog steeds met een hoog percentage, maar het aantal keren dat het per ongeluk de risicovolle tweelingbroer opnam, daalde van meer dan 30 procent naar minder dan 1 procent in de beste gevallen. Dit bewees dat de fout niet lag in het vinden van het juiste onderwerp, maar in de uiteindelijke beslissing over welk specifiek hulpmiddel te gebruiken. De studie suggereert dat het simpelweg maken van een lijst met relevante hulpmiddelen niet genoeg is; het systeem moet actief beslissen welke versie van een hulpmiddel veilig is voor de huidige taak.

De bevindingen benadrukken een kritiek gat in de manier waarop AI-agenten momenteel worden gebouwd. De meeste systemen richten zich op het koppelen van de vraag van de gebruiker aan het juiste onderwerp, uitgaande van het idee dat als het onderwerp juist is, het hulpmiddel ook veilig is. Dit artikel laat zien dat die aanname onjuist is. Twee hulpmiddelen kunnen dezelfde naam en beschrijving delen, maar verschillende regels hebben voor hoe ze opereren. De een kan een specifieke toestemming vereisen om te draaien, terwijl de ander dat niet doet. Als de agent degene kiest zonder de controle op toestemming, kan het systeem crashen of onvoorspelbaar gedrag vertonen. De onderzoekers toonden aan dat door een stap toe te voegen om deze familieconflicten op te lossen — in essentie vragen: "Welke van deze vergelijkbare hulpmiddelen is daadwerkelijk de juiste voor deze specifieke aanvraag?" — het risico op blootstelling aanzienlijk afneemt zonder het vermogen om het juiste hulpmiddel te vinden op te offeren.

Dit werk beweert niet alle veiligheidsproblemen in AI te hebben opgelost, noch suggereert het dat elk hulpmiddel in een bibliotheek gevaarlijk is. In plaats daarvan biedt het een duidelijke meting voor een specifiek, over het hoofd gezien risico. De onderzoekers ontdekten dat zelfs de meest geavanceerde publieke systemen worstelen met dit onderscheid en in meer dan een derde van de gevallen waar ze de juiste familie vinden, de verkeerde tool blootstellen. Ze toonden echter ook aan dat dit een oplosbaar probleem is. Door de keuze voor een specifiek hulpmiddel te behandelen als een aparte beslissing van de keuze voor een algemeen onderwerp, kunnen ontwikkelaars systemen bouwen die zowel bekwaam als voorzichtig zijn. De studie concludeert dat toekomstige benchmarks voor AI-agenten niet alleen moeten meten of het juiste hulpmiddel is gevonden, maar ook of de verkeerde, risicovolle versie uit de uiteindelijke selectie is gehouden. Deze verschuiving in focus zou kunnen leiden tot meer betrouwbare agenten die niet alleen begrijpen wat ze moeten doen, maar ook precies hoe ze dat veilig moeten doen.