🤖 AI

Agent Skills Can Be Harmful: An Empirical Study of Skill-Induced Failures in LLM Agents

Dit artikel presenteert een uitgebreide empirische studie en een differentieel analyseframework dat aantoont dat ogenschijnlijk relevante agent-vaardigheden vaak functionele defecten en efficiëntie-regressies veroorzaken door het afdwingen van onnodige validatie- en implementatiestappen, waardoor de noodzaak voor veiligere en meer kostenbewuste mechanismen voor het hergebruik van vaardigheden wordt benadrukt.

Oorspronkelijke auteurs: Gen Dong, Yanjie Gao, Liqun Li, Tianyin Xu, Yu Hua, Fan Yang

Gepubliceerd 2026-08-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gen Dong, Yanjie Gao, Liqun Li, Tianyin Xu, Yu Hua, Fan Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super-slimme robotassistent hebt gebouwd die code kan schrijven, wiskundige problemen kan oplossen of je weekend kan plannen. Om deze robot nog beter te maken, geef je hem een "vaardigheidsboek" — een collectie referentiebladen, recepten en stapsgewijze handleidingen voor specifieke taken. Als de robot een website moet bouwen, opent hij het "Web Dev"-vaardigheidsboek; als hij een cake moet bakken, opent hij de "Bakken"-handleiding. Zo werken moderne AI-agenten: ze gebruiken deze vooraf geschreven "vaardigheden" om hun denken en acties te sturen. Het is alsof je een student een tekstboek geeft voor elk examen. Maar hier komt de twist: wat als het tekstboek eigenlijk fout is? Wat als het recept zegt dat je zout aan een dessert moet toevoegen, of de programmeerhandleiding ervoor zorgt dat je een brug bouwt terwijl je een boot nodig had? Soms leidt het perfect volgen van de gids tot een ramp, of zorgt het er in ieder geval voor dat de robot een enorme hoeveelheid tijd en energie verspilt. Dit is het puzzelstuk waar onderzoekers proberen op te lossen: wanneer wordt een behulpzame gids een schadelijke valstrik?

Een nieuwe studie getiteld "Agent Skills Can Be Harmful" duikt diep in dit probleem. De onderzoekers, een team van universiteiten en Microsoft, wilden precies uitzoeken hoe en waarom deze vaardigheidsboeken ervoor zorgen dat AI-agenten falen of inefficiënt worden. Ze keken niet alleen naar of de robot slaagde of faalde; ze vergeleken een robot die een specifieke vaardigheid gebruikte met dezelfde robot die exact dezelfde taak uitvoerde zonder die vaardigheid (of met een andere, vergelijkbare vaardigheid). Denk aan een race waarbij de ene hardloper een nieuw paar "magische" schoenen draagt en de andere blootsvoets loopt. Als de hardloper met de schoenen struikelt, kwam dat dan door de schoenen, of was hij gewoon onhandig? Door deze zij-aan-zij "differentieel-tests" uit te voelen, kon het team precies aanwijzen welke vaardigheid de problemen veroorzaakte.

De studie analyseerde honderden van deze kop-aan-kop-races met behulp van twee belangrijke testomgevingen voor AI-vaardigheden. Ze vonden 307 specifieke gevallen waarin een vaardigheid een probleem veroorzaakte. Deze problemen vielen in twee hoofdcategorieën: Functionele Fouten (waarbij de taak simpelweg niet werd voltooid) en Efficiëntie-regressies (waarbij de taak wel werd voltooid, maar de robot veel meer energie en tijd verbruikte dan nodig).

Hier is wat ze ontdekten, onderverdeeld volgens het verhaal van de "Slechte Gids":

1. De "Slimme" Fout (Functionele Flingen)
Je zou denken dat de robot faalt omdat hij een vaardigheid kiest die niets met de klus te maken heeft — zoals een "Autoreparatie"-gids gebruiken om een broodrooster te repareren. Verrassend genoeg bleek dit zeldzaam. Slechts 2 van de 125 fouten kwamen voort uit het feit dat de vaardigheid totaal irrelevant was.

In plaats daarvan gebeurden de fouten meestal omdat de vaardigheid te relevant was. De gids leek perfect, maar lokte de robot in de val om de klus op de verkeerde manier uit te voeren.

Het "Verkeerde Recept" (68,8% van de fouten): Het meest voorkomende probleem was dat de vaardigheid ertoe leidde dat de robot een vereiste stap onjuist uitvoerde of deze volledig oversloeg. Bijvoorbeeld: een vaardigheid kan zeggen: "Bereken het percentage", maar de gids van de robot vertelde het hem per ongeluk om het ruwe getal te berekenen in plaats daarvan. Of een gids laat zien hoe je 3 instellingen configureert, maar vergeet de 4e instelling te vermelden die eigenlijk vereist was. De robot volgde de gids getrouw, maar de gids was incompleet of misleidend.
Het "Verkeerde Adres" (19,2% van de fouten): Soms bouwde de robot het juiste ding, maar plaatste het op de verkeerde plek. Als de taak zei: "Sla het bestand op in de 'Keuken'-map", maar de vaardigheidsgids zei: "Sla bestanden op in de 'Woonkamer'-map", dan volgde de robot de gids op en faalde de test.
De "Verkeerde Wereld" (10,4% van de fouten): Af en toe vertelde de vaardigheid de robot om zijn omgeving te veranderen op een manier die de test verstoorde. Bijvoorbeeld: de vaardigheid kan zeggen: "Installeer deze nieuwe versie van een hulpmiddel", maar de test was ontwor건 voor de oude versie. De robot volgde de instructie op, verbrak de opstelling en faalde.

2. De "Over-geëngineerde" Fout (Efficiëntie-regressies)
In 182 gevallen voltooide de robot de taak daadwerkelijk, maar was hij ongelooflijk verspillend. Hij gebruikte meer dan het dubbele aan "tokens" (de digitale munteenheid die AI gebruikt om na te denken) en deed er veel langer over dan een robot zonder de vaardigheid.

De "Overmatige Controle" (62,6% van de fouten): De grootste boosdoener hier was "Excessieve Procedure". De vaardigheidsgidsen veranderden eenvoudige checklists vaak in verplichte, zware rituelen. In plaats van alleen te controleren of de code werkt, kan de gids de robot dwingen om een volledige reeks van 50 extra tests uit te voeren, of hetzelfde ding drie keer te verifiëren. Het is als een student die, in plaats van alleen een wiskundevraag te beantwoorden, een essay van 10 pagina's schrijft over de geschiedenis van getallen voordat hij het uiteindelijke antwoord geeft.
De "Zware Rugzak" (25,3% van de fouten): Een andere belangrijke oorzaak was "Context Bloat". De vaardigheidsgids zelf was simpelweg te lang. Elke keer als de robot nadacht, moest hij de hele enorme gids opnieuw lezen, wat hem vertraagde en meer "tokens" kostte. Het is alsof je een menu probeert te lezen terwijl iemand een 50 pagina tellende biografie van de chef in je oor schreeuwt.

De Conclusie
De onderzoekers bouwden een tool genaamd SKILLTRIAGE om deze chaos te ordenen. Hun belangrijkste conclusie is een waarschuwing: alleen omdat een vaardigheid relevant lijkt, betekent het niet dat deze veilig is. Sterker nog, de gevaarlijkste vaardigheden zijn de vaardigheden die behulpzaam lijken maar subtiele fouten, ontbrekende stappen of overly strikte regels bevatten die de AI dwingen tijd te verspillen of het verkeerde ding te bouwen.

De studie suggereert dat voor AI-agenten om echt betrouwbaar te zijn, we moeten stoppen met deze vaardigheidsgidsen als perfecte instructies te behanden. In plaats daarvan moeten we ze behandelen als suggesties die gecontroleerd moeten worden tegen de specifieke taak, om te garanderen dat de robot niet blindelings een recept volgt dat hem vertelt om zout in de cake te doen. Het artikel beweert niet het probleem voor altijd opgelost te hebben, maar biedt een duidelijke kaart van waar de valstrikken verborgen liggen, wat ontwikkelaars helpt om in de toekomst veiligere en slimmere AI-assistenten te bouwen.

Technische Samenvatting: Agent-vaardigheden kunnen schadelijk zijn

Probleemstelling

Hoewel "vaardigheden" (instructiepakketten die taakspecifieke procedures, voorbeelden en beperkingen coderen) de de facto methode zijn voor het uitbreiden van Large Language Model (LLM) agents, is hun impact inconsistent. Voorgaand werk geeft aan dat terwijl sommige vaardigheden de succespercentages verbeteren, andere geen effect hebben, het tokenverbruik en de executietijd verhogen, of zelfs de succespercentages verlagen.

De kernuitdaging die dit artikel aanpakt, is de moeilijkheid om deze negatieve uitkomsten specifiek toe te schrijven aan de geladen vaardigheid. Bestaande evaluaties slagen er vaak niet in om schade veroorzaakt door vaardigheden te onderscheiden van de beperkingen van de basisagent, de taakcomplexiteit of artefacten in de omgeving. Bovendien richten huidige benchmarks zich op het meten van nut (succespercentages) in plaats van het blootleggen van de specifieke mechanismen van falen, waardoor een gat ontstaat in het begrip van hoe een specifieke vaardigheidsdocumentatie leidt tot functionele fouten of verborgen efficiëntie-regressies.

Methodologie

De auteurs stellen een differentieel analyseframework voor, geïnspireerd door differentiële testen, om fouten toe te schrijven aan specifieke vaardigheden. De methodologie omvat het construeren van gepaarde executies waarbij de taak, de verifieerder, het agent-framework, het model en de omgeving constant worden gehouden, terwijl de vaardigheidsopzet varieert.

Contrastieve Opzet:
- Target Run (Doel-executie): Een uitvoering met de geauditeerde vaardigheid.
- Reference Run (Referentie-executie): Een uitvoering van dezelfde taak met ofwel "geen vaardigheid" of een "semantisch overeenkomende" vaardigheid (gehaald uit publieke repositories zoals smithery.ai en skillsmp.com op basis van semantische gelijkenis).
- De referentie-executie fungeert als een pseudo-oracle om aan te tonen dat de taak oplosbaar is of goedkoper kan worden opgelost onder dezelfde omstandigheden zonder de specifieke geauditeerde vaardigheid.
Definities van Falen:
- Functioneel Falen: De doel-executie faalt de verifieerder terwijl de referentie-executie slaagt.
- Efficiëntie-regressie: Beide runs slagen, maar de doel-executie vertoont substantieel hoger tokenverbruik of langere executietijd (gedefinieerd als beide metrieken die toenemen ten opzichte van de referentie, waarbij ten minste één metriek een drempelwaarde $T=2.0$ overschrijdt).
Dataverzameling & Labeling:
- De studie breidt twee bestaande benchmarks uit, SkillsBench (84 taken) en SWE-Skills-Bench (490 taken), met semantisch overeenkomende publieke vaardigheden, waardoor de vergelijkingsruimte wordt uitgebreid van 826 naar 20.664 potentiële paren.
- Executies werden uitgevoerd met OpenCode 1.15.1 en Claude Opus 4.6.
- In totaal werden 307 bevestigde vaardigheids-geïnduceerde fouten geïdentificeerd: 125 functionele fouten en 182 hoog-betrouwbare efficiëntie-regressies.
Tooling:
- De auteurs hebben SKILLTRIAGE ontwikkeld, een taxonomie-gestuurde attributietool die gepaarde gevallen normaliseert, differentiële bewijslast extraheert en triage-rapporten produceert om de oorzaakanalyse te automatiseren.

Belangrijkste Bijdragen

Contrastieve Dataset: Constructie van een dataset van 307 bevestigde vaardigheids-geïnduceerde fouten, gevalideerd door no-skill of semantisch overeenkomende vaardigheid referentie-runs.
Empirische Studie: De eerste uitgebreide analyse die de oorzaken van functionele fouten en efficiëntie-regressies in LLM-agents categoriseert en analyseert.
Attributietool: Ontwikkeling en evaluatie van SKILLTRIAGE, die met succes 88,8% van de functionele fouten en 72,5% van de efficiëntie-regressies koppelt aan handmatig toegewezen oorzaken.

Belangrijkste Resultaten en Bevindingen

1. Oorzaken van Functionele Fouten

De studie vond dat functionele fouten zelden worden veroorzaakt door overduidelijk irrelevante vaardigheden. In plaats daarvan zijn Task-Implementation Faults (TIF) de dominante oorzaak, verantwoordelijk voor 68,8% (86/125) van de fouten.

Incorrecte invulling van vereiste elementen (36,8%): De agent implementeert een vereist element (bijv. een API-aanroep, berekening of outputformaat) onjuist door misleidende instructies in een ogenschijnlijk relevante vaardigheid.
Omissie van vereiste elementen (28,8%): De agent laat een vereist element weg omdat de voorbeelden of sjablonen van de vaardigheid dit niet bevatten, waardoor de agent ervan uitgaat dat het optioneel is.
Artefact Misplaatsing (19,2%): De agent creëert een plausibel artefact maar plaatst het in de verkeerde directory of integratiepunt, vaak door repository-conventies te volgen in plaats van de taakspecificaties.
Omgevingsmismatch (10,4%): Vaardigheden induceren runtime-staten (bijv. pakketversies, werkdirectories) die conflicteren met de omgeving van de verifieerder.
Toepasbaarheidsmismatch (1,6%): Zeldzame gevallen waarin de metadata van de vaardigheid onjuist de toepasbaarheid signaleert.

Bevinding: Schijnbaar relevante vaardigheden zorgen er vaak voor dat agents de herbruikbare instructies interpreteren als verplichte taakeisen, wat leidt tot onjuiste implementaties of weglatingen.

2. Oorzaken van Efficiëntie-regressies

Efficiëntie-regressies worden niet uitsluitend verklaard door de lengte van de prompt. De dominante oorzaak is Excessive Procedure (EP), verantwoordelijk voor 62,6% (114/182) van de gevallen.

Excessieve Verificatie (67 gevallen): Vaardigheden veranderen validatie-checklists in verplichte, redundante taken, waardoor de agent onnodige tests of loops uitvoert.
Zware Implementatie-pipelines (30 gevallen): Vaardigheden schrijven overdreven complexe workflows of constructierecepten voor die het tokenverbruik en de tijd verhogen.
Context Bloat (25,3%): Hoewel minder dominant dan EP, gebeurt dit wanneer de tekst van de vaardigheid zelf aanzienlijke overhead toevoegt aan elke modeloproep (43 van de 46 gevallen in deze categorie).

Bevinding: Vaardigheden transformeren vaak optionele validatiestappen of complexe recepten in verplichte procedures, wat de kosten opdrijft zelfs wanneer de taak succesvol wordt voltooid.

Betekenis en Claims

Het artikel beweert het eerste systematische, empirische bewijs te leveren dat het hergebruik van vaardigheden in LLM-agents aanzienlijke risico's op functionele fouten en kosten-regressie met zich meebrengt, zelfs wanneer vaardigheden thematisch relevant zijn.

Identificatie van Mechanismen: De studie gaat verder dan geaggregeerde metrieken om specifieke faalmechanismen te identificeren, zoals "Task-Implementation Faults" en "Excessive Procedure", die voorheen verborgen bleven in standaard benchmark-evaluaties.
Praktisch Nut: De ontwikkeling van SKILLTRIAGE toont aan dat automatische attributie van vaardigheids-geïnduceerde fouten haalbaar is, wat een pad biedt voor het screenen van vaardigheden in marktplaatsen en platforms.
Implicaties voor Ontwerp: De bevindingen suggereren dat auteurs van vaardigheden duidelijk onderscheid moeten maken tussen verplichte taakeisen en optionele voorbeelden/sjablonen. Op dezelfde manier moeten agent-platforms taakgespecificeerde paden en omgevingsstaten behandelen als beschermde beperkingen om te voorkomen dat vaardigheden mismatches induceren.

De auteurs concluderen dat voor veiliger en kostenbewuster vaardigheidhergebruik, toekomstig onderzoek en tooling zich moeten richten op deze specifieke oorzaken, met name de neiging van vaardigheden om onjuiste implementaties en onnodige procedurele overhead te induceren.