Technische Samenvatting: Cross-Layer Misalignment Detectie in Agent Skills

Probleemdefinitie

Naarmate Large Language Model (LLM) agents evolueren naar agentic AI-systemen, vertrouwen ze steeds vaker op Agent Skills—herbruikbare artefacten die natuurlijke taal-metadata, procedurele instructies en uitvoeringstijd-resources bevatten. Een kritieke kwetsbaarheid ontstaat door de hiërarchische aard van deze skills: gebruikers en agents selecteren vaak skills op basis van oppervlakkige metadata (beschrijvingen, tags, namen) voordat de onderliggende instructies en resources volledig zijn geladen of uitgevoerd.

Het artikel identificeert Cross-Layer Misalignment als de discrepantie tussen de door de gebruiker geziene claims van een skill (metadata) en het werkelijke gedrag ervan (instructies en resources). Deze misalignment manifesteert zich in twee vormen:

1. Malicious Misalignment (Kwaadwillende Misalignment): Metadata maskeert schadelijke gedragingen (bijv. prompt injection, lekken van credentials, onveilige commando-uitvoering) die aanwezig zijn in diepere lagen.
2. Benign Misalignment (Onschuldige Misalignment): Metadata overdrijft of beschrijft onnauwkeurig capaciteiten die het onderliggende pakket feitelijk niet ondersteunt.

Huidige evaluatieparadigma's richten zich op runtime-prestaties (taaksucces, tool-bekwaamheid) of specifieke beveiligingskwetsbaarheden binnen geïsoleerde artefacten. Ze falen echter in het beoordelen van de consistentie tussen lagen vóór de uitvoering, waardoor er een gat ontstaat waar beslissingen over vertrouwen worden genomen op basis van onvolledige informatie.

Methodologie: PL-HCL Framework

Om dit aan te pakken, stellen de auteurs Progressive Loading-Aware Hierarchical Contrastive Learning (PL-HCL) voor. Het framework behandelt Agent Skills als gelaagde artefacten ($S = (M, I, R)$) en traint modellen om te verifiëren of de metadata ($M$) wordt onderbouwd door de instructies ($I$) en resources ($R$).

1. Dataset Constructie

• Corpus: Een genormaliseerd corpus van 264.937 open-source Agent Skills uit SkillsMP, gekoppeld aan GitHub-repositories. Elke skill is gestructureerd in drie lagen: Metadata, Instructies en Resources.
• Challenge Set: Een door mensen geverifieerde, apart gehouden evaluatieset van 1.444 skills (1.150 uitgelijnd, 294 misaligned). Cruciaal is dat de misaligned voorbeelden natuurlijk voorkomende "in-the-wild" gevallen zijn, en niet synthetisch gegenereerd, om generalisatie te testen.

2. Twee-fasen Continued Pretraining (CPT)

Voordat de contrastieve leerfase begint, ondergaat het basis-LLM een curriculum-geïnspireerde adaptatie aan het skill-formaat:

• Fase 1 (Short View): Traint op Metadata + Instructies ($M, I$), wat de initiële inspectiefase simuleert.
• Fase 2 (Full View): Traint op Metadata + Instructies + Resources ($M, I, R$), waardoor het model wordt blootgesteld aan de volledige pakketcontext.
• Doel: Om het model aan te passen aan de vocabulaire, formattering en hiërarchische structuur van Agent Skills, in plaats om het model direct te dwingen tot het beoordelen van consistentie.

3. Progressive Loading-Aware Hierarchical Contrastive Learning (PL-HCL)

Deze component leert expliciet cross-layer consistentie door views te contrasteren:

• Positive View ($P_i$): Uitgelijnde lagen van dezelfde skill: $(M_i, I_i, R_i)$.
• Negative Views:
  • Swap Negative ($N^A_i$): Metadata van een andere skill gekoppeld aan de originele instructies/resources: $(M_j, I_i, R_i)$ waarbij $j \neq i$.
  • Corruption Negative ($N^B_i$): Verstoorde/misleidende metadata gekoppeld aan de originele lagen: $(\tilde{M}_i, I_i, R_i)$.
• Objectief: Het model leert de uitgelijnde view hoger te scoren dan de mismatching varianten, waardoor het effectief een "claim-versus-bewijs" signaal leert. Deze training vindt plaats in twee sub-fasen die overeenkomen met de short en full views gebruikt in CPT.

Belangrijkste Bijdragen

1. Probleemformalisering: Gedefinieerd cross-layer misalignment als een pre-executie, artefact-niveau evaluatieprobleem, onderscheidend van standaard runtime security of taak-prestatie evaluatie.
2. Dataset: Geconstrueerd een grootschalig open-source Agent Skill corpus en een door mensen geverifieerde challenge set specifiek voor uitgelijnde/misaligned evaluatie.
3. Framework: Geïntroduceerd PL-HCL, een contrastief pretraining framework dat cross-layer consistentie leert.
4. Empirische Bevindingen: Gedemonstreerd dat hoewel aanpassing aan het skill-formaat (CPT) noodzakelijk is, het onvoldoende is voor detectie; expliciet contrastief leren is vereist om misalignment te identificeren.

Experimentele Resultaten

Het framework werd geëvalueerd op de Challenge Set met algemene (bijv. Llama-3.1-8B) en cybersecurity-getunede (bijv. Foundation-Sec-8B) backbones in zero-shot, two-shot en five-shot settings.

• Base LLMs (E0): Niet-geadapteerde modellen presteerden slecht op de misaligned klasse, met Macro-F1 scores rond de 0,45–0,52 en een Misaligned F1 ($F1_m$) onder de 0,15. Ze vertoonden een sterke bias naar het classificeren van plausibele pakketten als "aligned".
• Continued Pretraining Only (E1): Twee-fasen CPT verbeterde de adaptatie aan het skill-formaat, maar leverde beperkte winst op voor de detectie van misalignment. De Macro-F1 bleef rond de 0,48–0,52 en $F1_m$ bleef onder de 0,15. Dit geeft aan dat bekendheid met het formaat niet gelijkstaat aan het vermogen om inconsistenties te detecteren.
• PL-HCL (E2): Het volledige framework verbeterde de prestaties aanzienlijk.
  • Op Foundation-Sec-8B steeg de Macro-F1 van ~0,52 (alleen CPT) naar 0,889, en de $F1_m$ sprong van 0,150 naar 0,817 (two-shot setting).
  • Op Llama-3.1-8B bereikte de Macro-F1 0,872 en de $F1_m$ bereikte 0,788.
• Generalisatie: Ondanks dat het getraind is op synthetische negatieve paren (geswapt/gecorrumpeerd metadata), slaagde PL-HCL erin te generaliseren naar natuurlijk voorkomende, "in-the-wild" misaligned skills in de Challenge Set.

Betekenis en Claims

Het artikel claimt dat PL-HCL een schaalbare, pre-executie screeningtool biedt voor het agentic AI-ecosysteem. De betekenis ligt in drie gebieden:

1. Verschuiving in Evaluatieparadigma: Het verlegt de focus van "werkt de tool?" (runtime) naar "is de tool eerlijk over wat het is?" (pre-executie consistentie).
2. Nut voor Stakeholders:
   • Marketplaces (Marktplaatsen): Kunnen PL-HCL gebruiken als een governance-mechanisme om high-risk skills te markeren voor handmatige controle of om verificatiebadges toe te kennen voordat ze worden vermeld.
   • Gebruikers: Maakt lichtgewicht client-side screening mogelijk om gebruikers te waarschuwen wanneer de beschrijving van een skill in strijd is met de code of resources.
   • Analisten: Biedt een methode om grote collecties skills te triageren door clusters van metadata-gedrag inconsistenties te identificeren.
3. Ontwerpprincipe: De auteurs stellen dat voor elk progressief geladen, hiërarchisch digitaal artefact (bijv. browser extensies, MCP servers), vertrouwsbeslissingen die vóór de volledige uitvoering worden genomen, vereisen dat modellen expliciet de consistentie leren tussen oppervlakkige claims en dieper bewijs, in plaats van enkel te vertrouwen op generieke taalmodellering of keyword-gebaseerde scanning.

De auteurs blijven bescheiden over beperkingen en merken op dat de aanpak afhankelijk is van statische pakket-artefacten en geen dynamische runtime-gedragingen, bijwerkingen of mutaties kan detecteren die pas tijdens live uitvoering optreden. Zij suggereren dat PL-HCL moet worden gezien als een complementaire laag naast runtime sandboxing en traject-niveau evaluatie.