🤖 machine learning

SkillConsist: Detecting Inconsistencies in Agent Skills via Bidirectional Graph Alignment

SkillConsist is een nieuw framework dat inconsistenties detecteert tussen gedeclareerde en geïmplementeerde agentvaardigheden door bidirectionele gedragsgrafen te construeren en grafenuitlijning en -differentiatie uit te voeren, waarmee het de state-of-the-art prestaties bereikt op een nieuw geconstrueerde benchmark van 633 vaardigheden.

Oorspronkelijke auteurs: Chaofan Meng, Yuhang Zheng, Yingnan Zhou, Sihan Xu

Gepubliceerd 2026-08-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chaofan Meng, Yuhang Zheng, Yingnan Zhou, Sihan Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je computer niet alleen bevelen opvolgt, maar fungeert als een behulpzame assistent, een digitale butler die het internet kan afzoeken, je bestanden kan beheren of zelfs je vakantie kan boeken. Om dit te doen, gebruikt het "Agent Skills" (Agent-vaardigheden)—kant-en-klare tools of recepten die de computer precies vertellen hoe een specifieke taak moet worden uitgevoerd. Denk aan deze vaardigheden als instructies in een kookboek: de "declaratie" is de smakelijke beschrijving op het menu die een gerecht als "Pittige Tacos" belooft, terwijl de "implementatie" het daadwerkelijke koken is dat in de keuken plaatsvindt.

Het probleem ontstaat wanneer het menu liegt. Misschien voegt de chef (de code) per ongeluk een geheim ingrediënt toe dat de taco's giftig maakt, of misschien is hij vergeten de salsa toe te voegen, ook al beloofde het menu dat wel. In de digitale wereld zijn deze mismatches gevaarlijk. Als een computeragent een vaardigheid kiest op basis van een valse belofte, kan hij per ongeluk je bestanden verwijderen, je privégegevens lekken of door een hacker worden misleid. Wetenschappers proberen een "voedselcriticus" te bouwen die het gerecht kan proeven en het kan vergelijken met het menu om de leugens te ontdekken voordat de agent ze serveert. Dit is de uitdaging om te controleren of wat een vaardigheid zegt te doen, overeenkomt met wat het daadwerkelijk doet.

Maak kennis met SkillConsist, een nieuwe digitale detective die ontworpen is om precies dit mysterie op te lossen. De onderzoekers achter deze tool realiseerden zich dat eerdere methoden leken op het vergelijken van een menubeschrijving van één zin met een receptenboek van 50 pagina's zonder een duidelijke manier om ze aan elkaar te koppelen. Het menu zegt misschien "Maak Tacos", terwijl het recept bestaat uit het snijden van uien, het grillen van vlees, het verwarmen van tortilla's en het mengen van salsa. Een eenvoudige controle op woordniveau zou falen omdat "Maak Tacos" één groot idee is, terwijl het werk in de keuken een keten van veel kleine stappen is.

SkillConsist pakt dit aan door te fungeren als een supergeorganiseerde bibliothecaris die twee aparte kaarten bouwt: één voor de beloftes op het menu en één voor de acties in de keuken. Eerst gebruikt het een slimme AI om de rommelige mix van tekst en code te sorteren, waarbij het "wat we beloven" scheidt van "wat we daadwerkelijk doen". Vervolgens tekent het deze als grafieken—denk aan stroomdiagrammen waarbij elke stap een knooppunt is en elke verbinding een lijn.

De magie vindt plaats in de volgende stap: Bidirectional Graph Alignment (Tweezijdige Grafiekuitlijning). Stel je voor dat je probeert een enkele, grote "Maak Tacos"-bubbel op de menukaart te matchen met een hele cluster van verbonden bellen op de keukenkaart. SkillConsist zoekt niet alleen naar een enkele match; het breidt zich naar buiten toe uit, volgt de lijnen in de keukenkaart om te zien of een hele groep stappen (snijden, grillen, mengen) samen gebundeld kan worden om de enkele menu-belofte perfect te verklaren. Dit doet het in beide richtingen, waarbij het controleert of elke keukenstap een menu-belofte heeft en of elke menu-belofte een keukenplan heeft.

Zodra de kaarten zijn uitgelijnd, zoekt de detective naar inconsistenties. Het signaleert drie soorten problemen:

Conflicten: Het menu zegt "Pittig", maar de keuken-code voegt "Zoet" toe.
Niet-geïmplementeerd: Het menu belooft "Salsa", maar de keuken heeft helemaal geen salsa-ingrediënten.
Niet-gedeclareerd: De keuken voegt stiekem "Vergif" toe aan de mix, maar het menu heeft daar nooit over melding gemaakt.

De onderzoekers testten SkillConsist op een enorme benchmark van 633 echte "Agent Skills", inclusen sommigen die bekend stonden als lastig of kwaadaardig. De resultaten waren indrukwekkend: de tool identificeerde inconsistente vaardigheden in 87,93% van de gevallen (een score genaamd F1), wat een enorme sprong was van meer dan 20 procentpunten vergeleken met de beste eerdere methoden. Het slaagde er ook in om in ongeveer 62% van de gevallen precies aan te wijzen waar de leugen in de code verborgen zat.

Misschien wel het belangrijkste is dat het paper laat zien dat dit niet alleen gaat over het corrigeren van typefouten; het gaat over veiligheid. Wanneer de onderzoekers SkillConsist gebruikten om te screenen op kwaadaardige vaardigheden, hielp het om meer gevaarlijke tools te vangen zonder ze eerst in een risicovolle omgeving te hoeven draaien. Door de mismatch tussen de belofte en de werkelijkheid te ontdekken, geeft SkillConsist ons een manier om onze digitale assistenten iets meer te vertrouwen, en zorgt het ervoor dat wanneer de computer zegt dat hij taco's maakt, hij niet eigenlijk iets gevaarlijks serveert.

Technisch overzicht: SkillConsist

Probleemstelling

Agent Skills bieden herbruikbare workflows voor Large Language Model (LLM) agents, gedefinieerd door een declaratie (wat de Skill beweert te doen) en een implementatie (wat het daadwerkelijk uitvoert). Inconsistenties tussen deze twee zijden — zoals gedeclareerde maar niet geïmplementeerde gedragingen, geïmplementeerde maar niet gedeclareerde gedragingen, of conflicterende gedragingen — kunnen leiden tot onjuiste Skill-selectie of het aanroepen van gevaarlijke acties die buiten de scope vallen.

Bestaande detectiemethoden staan voor twee primaire uitdagingen in dit domein:

Gemengde inhoud: Declaratie- en implementatiegedragingen zijn vaak vermengd binnen natuurlijke taalinstructies en codefragmenten, wat het moeilijk maakt om onderscheid te maken tussen een bewering en een uitvoeringstap.
Granulariteitsverschil: Een beknopte declaratie kan overeenkomen met meerdere verbonden implementatiestappen, terwijl één geïmplementeerd gedrag verspreid kan worden beschreven over meerdere losstaande declaraties.

Huidige benaderingen, die vaak vertrouwen op het vergelijken van vooraf gedefinieerde security-taxonomieën of het gebruik van LLM's om metadata met code te matchen, hebben moeite om deze gemengde rollen en variërende granulariteiten effectief te behanden.

Methodologie: SkillConsist

SkillConsist pakt deze uitdagingen aan via een drietraps pijplijn: Rolscheiding en Gedragsrecordextractie, Gedragsgrafenconstructie, en Bidirectionele Graafalignement en Differencing.

1. Rolscheiding en Gedragsrecordextractie

Het systeem ontrafelt eerst de gemengde inhoud om semantische rollen te identificeren.

LLM-gebaseerde scheiding: Een LLM (DeepSeek-V4 Pro) verwerkt pakketfragmenten om declaratie- en implementatiefacten te scheiden in gestructureerde gedragsrecords ( $K = \langle C, O, R, E \rangle$ ), waarbij $C$ de conditie is, $O$ het getroffen object, $R$ het effect en $E$ de bronlocatie.
Statische Analyse: Programma-analyse vult deze records aan door implementatiedetails te extraheren uit broncode, configuraties en gecontroleerde uitvoering (bijv. publieke entry points, inputs, outputs en side effects).
Output: Twee samengevoegde, bron-gelinkte sets: Declaratie-records $D(S)$ en Implementatie-records $M(S)$ .

2. Gedragsgrafenconstructie

Om het verschil in granulariteit op te lossen, worden de records georganiseerd in twee afzonderlijke gerichte grafen: de Declaratiegraaf ( $G_D$ ) en de Implementatiegraaf ( $G_M$ ).

Knopen: Omvatten record-knopen, object-knopen, public-entry knopen en evidence-knopen.
Randen: Zes getypeerde relaties verbinden de knopen, waaronder entry-naar-record, record-naar-object, evidence-naar-record en inter-record afhankelijkheden (resultaat-naar-input, resultaat-naar-conditie, conditie-naar-conditie).
Gedragsgroepen: Verbonden subgrafen binnen elke graaf die gezamenlijk één gedrag uitdrukken, worden geïdentificeerd als gedragsgroepen ( $B_X(S)$ ). Deze groepen dienen als de atomaire eenheden voor vergelijking.

3. Bidirectionele Graafalignement en Differencing

Deze fase stemt gedragsgroepen tussen de twee grafen af om inconsistenties te detecteren, waarbij het granulariteitsverschil wordt aangepakt door in beide richtingen te zoeken ( $D \to M$ en $M \to D$ ).

Anchor en Expansie: Vertrekkend vanuit een anchor-record in een bron-gedragsgroep, zoekt het systeem in de doelgraaf naar kandidaat-subgrafen. Het breidt deze kandidaten uit langs de gedragsrelaties totdat ze potentieel het bron-gedrag dekken.
Subgraph Completion: Kandidaten worden gevalideerd tegen vier volledigheidspredicaten: Conditie, Input, Resultaat en Pad. Een kandidaat wordt alleen uitgelijnd als deze voldoet aan de bindingsvoorwaarden (compatibele eigenaren, entries, scopes) en alle vereiste velden en paden biedt.
Bewijs en Differencing:
- Supported (Ondersteund): Bewijs bevestigt dat alle condities en effecten overeenkomen.
- Contradicted (Tegengesproken): Bewijs toont incompatibele velden (bijv. verschillende standaardwaarden).
- Not-Applicable (Niet-van- toepassing): Er is geen verplichting.
- Unknown (Onbekend): Het bewijs is incompleet.
Coverage Checking (Dekkingcontrole): Als er geen uitgelijnde kandidaat wordt gevonden, genereert het systeem een coverage certificate om te verifiëren dat de zoekruimte uitputtend was. Dit voorkomt fout-positieven bij "ontbrekende" gedragingen.
Inconsistentie-outputs:
- Conflict: Een vereiste declaratie heeft een tegengesproken tegenhanger.
- Unimplemented (Niet geïmplementeerd): Een vereiste declaratie heeft geen tegenhanger.
- Undeclared (Niet gedeclareerd): Een in-scope implementatie heeft geen declaratie-tegenhanger.

Belangrijkste Bijdragen

Bidirectionele Graafalignement Formulering: Het artikel formuleert pakketniveau-consistentie als een bidirectioneel graafalignementprobleem, waardoor één gedrag aan één zijde kan overeenkomen met meerdere verbonden records aan de andere zijde, wat de inherente granulariteitsverschillen verzacht.
SkillConsist Systeem: Een nieuw systeem dat gedragingen extraheert uit gemengde inhoud, aparte declaratie- en implementatiegrafen construeert, en inconsistenties lokaliseert via relatie-gestuurde subgraafzoekopdrachten, differencing en dekkingcontrole.
Benchmark Constructie: De creatie van een handmatig beoordeelde benchmark van 633 Agent Skills (afkomstig van ClawHub en Skill-Inject) bevattende 319 inconsistente en 314 consistente pakketten, met 442 gelokaliseerde inconsistentie-annotaties.

Experimentele Resultaten

Het systeem werd geëvalueerd op de 633-Skill benchmark tegen vier baselines (LLM, LLM+RAG, aangepaste C4RLLaMA, aangepaste SKILLSCOPE).

Detectie op pakketniveau: SkillConsist behaalde 86,85% precisie, 89,03% recall en 87,93% F1. Dit is een verbetering van 20,43 procentpunt in F1 ten opzichte van de beste baseline.
Inconsistentie Lokalisatie: SkillConsist behaalde 67,60% precisie, 58,14% recall en 62,52% F1.
Ablatie-studies: Het verwijderen van rolscheiding of subgraafexpansie verslechterde de prestaties aanzienlijk, wat hun noodzaak bevestigt voor het herstellen van geldige tegenhangers. Het verwijderen van de dekkingcontrole verhoogde de recall maar verlaagde de precisie drastisch door fout-positieven.
Screening van Malicious Skills: Bij toepassing op 133 Skill-Inject pakketten verbeterden de inconsistentie-risicosignalen de recall van malafide skill-detectie met 11,90% (High risk gate) en 26,19% (Medium/High risk gate) met minimale redundante dynamische verificatie.

Betekenis en Claims

Het artikel stelt dat SkillConsist de stand van de techniek vooruit helpt door verder te gaan dan eenvoudige tekst-code vergelijking naar een structurele, graaf-gebaseerde aanpak die expliciet omgaat met de gemengde aard van Agent Skill-inhoud en de granulariteitskloof tussen declaraties en implementaties.

Door rollen te scheiden en bidirectionele alignement te gebruiken, biedt SkillConsist bron-gelokaliseerde bevindingen in plaats van enkel pakketniveau-vlaggen. De auteurs stellen dat dit vermogen cruciaal is voor security, omdat het de detectie van niet-gedeelde gevaarlijke gedragingen mogelijk maakt (bijv. een Skill die beweert e-mail te synchroniseren, maar in werkelijkheid bestanden doorstuurt naar een extern eindpunt) en de betrouwbaarheid van agent-workflows verbetert. De resultaten suggereren dat bidirectionele graafalignement een robuuste methode is voor het vaststellen van correspondenties in complexe, gemengde software-artefacten, waarbij het superieur is aan retrieval-augmented generation en statische security-eigenschap matching in zowel detectie- als lokalisatietaken.