Sintesi Tecnica: Rilevamento del Disallineamento Cross-Layer nelle Skill degli Agenti

Definizione del Problema

Man mano che i sistemi di Agentic AI basati su Large Language Model (LLM) evolvono, essi si affidano sempre più alle Agent Skills (Skill degli Agenti): artefatti riutilizzabili contenenti metadati in linguaggio naturale, istruzioni procedurali e risorse per il tempo di esecuzione. Una vulnerabilità critica emerge dalla natura gerarchica di queste skill: gli utenti e gli agenti spesso selezionano le skill basandosi su metadati superficiali (descrizioni, tag, nomi) prima che le istruzioni sottostanti e le risorse vengano completamente caricate o eseguite.

Il documento identifica il Disallineamento Cross-Layer come la discrepanza tra le affermazioni rivolte all'utente di una skill (metadati) e il suo vero comportamento (istruzioni e risorse). Questo disallineamento si manifesta in due forme:

1. Disallineamento Malizioso: I metadati mascherano comportamenti dannosi (es. prompt injection, fuga di credenziali, esecuzione di comandi insicuri) presenti negli strati più profondi.
2. Disallineamento Benigno: I metadati esagerano o descrivono in modo inaccurato capacità che il pacchetto sottostante non supporta effettivamente.

I paradigmi di valutazione attuali si concentrano sulle prestazioni durante l'esecuzione (successo del task, proficienza degli strumenti) o su specifiche vulnerabilità di sicurezza all'interno di artefatti isolati. Essi non riescono a valutare la coerenza tra i livelli prima dell'esecuzione, lasciando un vuoto in cui le decisioni di fiducia vengono prese sulla base di informazioni parziali.

Metodologia: Framework PL-HCL

Per affrontare questo problema, gli autori propongono il Progressive Loading-Aware Hierarchical Contrastive Learning (PL-HCL). Il framework tratta le Agent Skills come artefatti stratificati ($S = (M, I, R)$) e addestra i modelli a verificare se i metadati ($M$) sono supportati dalle istruzioni ($I$) e dalle risorse ($R$).

1. Costruzione del Dataset

• Corpus: Un corpus normalizzato di 264.937 Agent Skill open-source da SkillsMP, collegati a repository GitHub. Ogni skill è strutturata in tre strati: Metadati, Istruzioni e Risorse.
• Set di Sfida (Challenge Set): Un set di valutazione tenuto separato e verificato da umani di 1.444 skill (1.150 allineate, 294 disallineate). Fondamentalmente, gli esempi disallineati sono casi naturali "in-the-wild", non generati sinteticamente, per testare la generalizzazione.

2. Two-Stage Continued Pretraining (CPT)

Prima dell'apprendimento contrastivo, il modello LLM di base subisce un adattamento ispirato al curriculum al formato della skill:

• Stage 1 (Short View): Addestramento su Metadati + Istruzioni ($M, I$), simulando la fase iniziale di ispezione.
• Stage 2 (Full View): Addestramento su Metadati + Istruzioni + Risorse ($M, I, R$), esponendo il modello al contesto completo del pacchetto.
• Obiettivo: Adattare il modello al vocabolario, alla formattazione e alla struttura gerarchica delle Agent Skill, piuttosto che forzare immediatamente il modello a giudicare la coerenza.

3. Progressive Loading-Aware Hierarchical Contrastive Learning (PL-HCL)

Questa componente apprende esplicitamente la coerenza cross-layer contrastando le viste:

• Vista Positiva ($P_i$): Strati allineati della stessa skill: $(M_i, I_i, R_i)$.
• Viste Negative:
  • Swap Negative ($N^A_i$): Metadati di una diversa skill accoppiati con le istruzioni/risorse originali: $(M_j, I_i, R_i)$ dove $j \neq i$.
  • Corruption Negative ($N^B_i$): Metadati perturbati/fuorvianti accoppiati con gli strati originali: $(\tilde{M}_i, I_i, R_i)$.
• Obiettivo: Il modello impara a assegnare un punteggio più alto alla vista allineata rispetto alle varianti disallineate, apprendendo efficacementmente un segnale di "affermazione-contro-evidenza". Questo addestramento avviene in due sottostadi corrispondenti alle viste "short" e "full" utilizzate nel CPT.

Contributi Chiave

1. Formalizzazione del Problema: Ha definito il disallineamento cross-layer come un problema di valutazione pre-esecuzione a livello di artefatto, distinguendolo dalla standard valutazione della sicurezza o delle prestazioni del task durante l'esecuzione.
2. Dataset: Ha costruito un corpus di Agent Skill open-source su larga scala e un set di sfida verificato da umani specificamente per la valutazione di allineamento/disallineamento.
3. Framework: Ha introdotto PL-HCL, un framework di pre-addestramento contrastivo che apprende la coerenza cross-layer.
4. Risultati Empirici: Ha dimostrato che, sebbene l'adattamento al formato della skill (CPT) sia necessario, esso è insufficiente per il rilevamento; è richiesto un esplicito apprendimento contrastivo per identificare il disallineamento.

Risultati Sperimentali

Il framework è stato valutato sul Challenge Set utilizzando backbone generali (es. Llama-3.1-8B) e specializzati nella cybersecurity (es. Foundation-Sec-8B) in impostazioni zero-shot, two-shot e five-shot.

• LLM Base (E0): I modelli non adattati hanno performato scarsamente sulla classe disallineata, ottenendo punteggi Macro-F1 intorno a 0,45–0,52 e un $F1_m$ inferiore a 0,15. Mostravano un forte bias nel classificare i pacchetti plausibili come "allineati".
• Solo Continued Pretraining (E1): Il CPT a due stadi ha migliorato l'adattamento al formato della skill ma ha prodotto guadagni limitati nel rilevamento del disallineamento. Il Macro-F1 è rimasto vicino a 0,48–0,52 e l'$F1_m$ è rimasto sotto lo 0,15. Ciò indica che la familiarità con il formato non equivale alla capacità di rilevare inconsistenze.
• PL-HCL (E2): Il framework completo ha migliorato significativamente le prestazioni.
  • Su Foundation-Sec-8B, il Macro-F1 è salito da ~0,52 (solo CPT) a 0,889, e l'$F1_m$ è balzato da 0,150 a 0,817 (impostazione two-shot).
  • Su Llama-3.1-8B, il Macro-F1 ha raggiunto 0,872 e l'$F1_m$ ha raggiunto 0,788.
• Generalizzazione: Nonostante l'addestramento su coppie negative sintetiche (metadati scambiati/corrotti), PL-HCL è riuscito a generalizzare con successo su skill disallineate naturali ("in-the-wild") nel Challenge Set.

Significato e Rivendicazioni

Il documento sostiene che PL-HCL offra uno strumento di screening scalabile pre-esecuzione per l'ecosistema dell'IA agentica. La sua importanza risiede in tre aree:

1. Spostamento del Paradigma di Valutazione: Sposta il focus da "lo strumento funziona?" (runtime) a "lo strumento è onesto riguardo a ciò che è?" (coerenza pre-esecuzione).
2. Utilità per gli Stakeholder:
   • Marketplace: Possono utilizzare PL-HCL come meccanismo di governance per segnalare le skill ad alto rischio per una revisione manuale o per assegnare badge di verifica prima della pubblicazione.
   • Utenti: Consente uno screening leggero lato client per avvisare gli utenti quando la descrizione di una skill contraddice il suo codice o le sue risorse.
   • Analisti: Fornisce un metodo per triare grandi collezioni di skill identificando cluster di inconsistenze tra metadati e comportamento.
3. Principio di Design: Gli autori sostengono che per qualsiasi artefatto digitale gerarchico caricato progressivamente (es. estensioni del browser, server MCP), le decisioni di fiducia prese prima della piena esecuzione richiedono che i modelli apprendano esplicitamente la coerenza tra le affermazioni superficiali e le evidenze più profonde, piuttosto che fare affidamento solo su modelli linguistici generici o scansioni basate su parole chiave.

Gli autori rimangono modesti riguardo ai limiti, notando che l'approccio si basa su artefatti statici del pacchetto e non può rilevare comportamenti dinamici durante l'esecuzione, effetti collaterali o mutazioni che si verificano solo durante l'esecuzione live. Suggeriscono che PL-HCL debba essere visto come uno strato complementare al sandboxing a runtime e alla valutazione a livello di traiettoria.