Riepilogo Tecnico: Quando le Competenze Non Aiutano

Enunciato del Problema

Le Competenze degli Agenti (Agent Skills) — pacchetti strutturati di conoscenza procedurale (ad esempio, file SKILL.md) caricati negli agenti di Modelli Linguistici su Grande Scala (LLM) al momento dell'inferenza — sono ampiamente riportate come capaci di migliorare i tassi di superamento dei compiti di una media di 16,2 punti percentuali (pp) attraverso diversi domini. Tuttavia, i benchmark esistenti (come SkillsBench) mostrano una varianza significativa, con 16 su 84 compiti che presentano delta di performance negativi quando le Competenze vengono introdotte. Il settore attualmente manca di una spiegazione meccanicistica per determinare quando le Competenze forniscono valore, quando sono ridondanti e quando degradano attivamente le prestazioni. Questo documento affronta tale lacuna investigando l'efficacia della conoscenza procedurale nella cybersecurity offensiva, un dominio sottorappresentato nei benchmark attuali delle Competenze, specificamente all'interno di un ambiente fondato sul Protocollo di Contesto Modello (MCP).

Metodologia

Gli autori rianalizzano uno studio controllato precedentemente pubblicato su un agente autonomo per Capture-the-Flag (CTF). Lo studio originale ha coinvolto 180 esecuzioni su 15 sfide (coprendo corruzione della memoria, ingegneria inversa, sfruttamento web e crittografia) utilizzando un singolo modello di base (Claude Sonnet 4.5) e un livello di strumenti rigoroso e validato tramite schema (MCP).

Lo studio è riproposto come un'ablazione delle Competenze a quattro livelli, mappando le condizioni originali di documentazione sulla tassonomia standard delle Competenze:

1. Senza Competenze (Minimale): 55 righe di contesto contenenti solo definizioni del server MCP e schemi degli strumenti. Nessuna guida procedurale.
2. Competenze Esperienziali (Lezioni): 1.478 righe di contesto contenenti lezioni distillate da sessioni di debug precedenti e un classificatore di triage (analogo a Competenze auto-distillate e estratte dalle traiettorie).
3. Competenze Curate (Modelli): 1.976 righe di contesto contenenti modelli di attacco strutturati e redatti da umani, indicizzati per tipo di vulnerabilità con condizioni di applicabilità esplicite.
4. Competenze Comprehensive (Baseline): 4.147 righe, rappresentanti l'unione delle condizioni Esperienziali e Curate più gli strumenti completi di triage.

Le metriche di valutazione includevano i tassi di superamento dei compiti, i tempi medi di risoluzione e test di significatività statistica (test Chi-quadrato, test di tendenza di Cochran-Armitage e dimensioni dell'effetto h di Cohen).

Risultati Chiave

La rianalisi produce un risultato negativo riguardo al beneficio marginale delle Competenze in questo specifico dominio:

• Guadagno Marginale: La condizione Competenze Comprehensive ha migliorato il tasso di superamento di soli +8,9 pp (dal 77,8% all'86,7%) rispetto alla baseline Senza Competenze. Questo è significativamente inferiore alla media cross-dominio di SkillsBench di +16,2 pp e rientra nel range del dominio con il guadagno più basso in SkillsBench (Ingegneria del Software, +4,5 pp).
• Significatività Statistica: Le differenze tra le condizioni non sono statisticamente significative.
  • Test Chi-quadrato: p = 0,71.
  • Test di tendenza di Cochran-Armitage: p = 0,25.
  • Cinque su sei valori di Cohen's h a coppie rientrano al di sotto della soglia di 0,2 per un effetto piccolo.
• Non Monotonicità: In specifici sottocompiti (ad esempio, canali laterali temporali), l'aggiunta di più conoscenza procedurale ha degradato le prestazioni. La condizione Competenze Comprehensive (33% di successo) ha performato peggio della condizione Competenze Curate (67% di successo) perché le lezioni "esperienziali" aggiuntive hanno distorto l'agente verso l'esecuzione simbolica, una tecnica inadatta agli attacchi ai canali laterali.
• Economia dei Token: La condizione Comprehensive ha consumato circa 75 volte più token per il contesto procedurale rispetto alla condizione Senza Competenze per un guadagno non significativo, collocando la condizione Senza Competenze sulla frontiera di Pareto per l'efficienza dei costi.

Meccanismo Proposto: L'Ipotesi della Larghezza di Banda del Feedback

Gli autori propongono l'Ipotesi della Larghezza di Banda del Feedback (H1) per spiegare questi risultati e la varianza osservata nei benchmark più ampi:

Il beneficio marginale delle Competenze degli Agenti curate è inversamente correlato alla larghezza di banda del feedback deterministico dell'ambiente disponibile per l'agente.

• Alta Larghezza di Banda del Feedback (Questo Studio): L'ambiente fondato su MCP fornisce osservazioni rigorose, validate tramite schema e a bassa latenza (ad esempio, JSON tipizzato da nmap o gdb). L'ambiente stesso fornisce il segnale di correzione procedurale che le Competenze sono normalmente necessarie a fornire, rendendo le Competenze curate ridondanti o addirittura dannose a causa del rumore nel contesto.
• Bassa Larghezza di Banda del Feedback (Dominii di SkillsBench): Domini come sanità e manifattura spesso coinvolgono ambienti fragili, parzialmente osservabili con feedback deboli o ritardati. In questi contesti, le Competenze sono critiche per fornire la guida procedurale mancante.

Il documento delinea tre previsioni verificabili derivate da questa ipotesi:

1. Ridurre la larghezza di banda del feedback (ad esempio, utilizzando output shell grezzi invece di strumenti validati tramite schema) dovrebbe aumentare il beneficio marginale delle Competenze.
2. I compiti con verificatori densi e immediati dovrebbero mostrare delta delle Competenze più piccoli rispetto ai compiti con verificatori sparsi e ritardati.
3. La conoscenza procedurale che contraddice il feedback dell'ambiente dovrebbe produrre delta negativi, mentre la conoscenza che l'ambiente non può fornire (ad esempio, convenzioni di dominio) dovrebbe produrre delta positivi.

Significato e Affermazioni

Il documento afferma di offrire un rendiconto meccanicistico falsificabile per l'eterogeneità dell'efficacia delle Competenze, andando oltre le statistiche aggregate. I suoi contributi principali sono:

1. Estensione del Dominio: Estende il panorama empirico della valutazione delle Competenze alla cybersecurity offensiva, un dominio precedentemente non testato in SkillsBench.
2. Validazione del Risultato Negativo: Dimostra che in ambienti ad alta larghezza di banda del feedback, la conoscenza procedurale strutturata aggiunge valore trascurabile e può essere un netto negativo a causa del sovraccarico di token e della "propagazione di lezioni false".
3. Implicazioni di Progettazione per Sistemi AI Composti: Gli autori sostengono che il valore di un livello di Competenze non è indipendente ma sostitutivo. In sistemi con un forte ancoraggio agli strumenti (alta larghezza di banda del feedback), il valore marginale delle Competenze diminuisce. Di conseguenza, i praticanti dovrebbero dare priorità agli investimenti nel feedback dell'ambiente (validazione degli schemi, verificatori a bassa latenza) prima di curare le Competenze. Le Competenze dovrebbero essere viste come un livello compensativo per ambienti privi di feedback deterministico, piuttosto che come un'astrazione universalmente benefica.

Gli autori dichiarano esplicitamente di non affermare una dimostrazione causale di un effetto nullo, ma piuttosto che qualsiasi effetto in questo dominio è troppo piccolo per essere distinto dal rumore in uno studio di 180 esecuzioni, in netto contrasto con gli effetti ad alta potenza osservati nei domini a basso feedback. Si impegnano a rilasciare la pipeline di rianalisi per supportare la replicazione e i futuri test dell'Ipotesi della Larghezza di Banda del Feedback.