SkillRevise: Improving LLM-Authored Agent Skills via Trace-Conditioned Skill Revision

Riepilogo Tecnico: SKILLREVISE

Definizione del Problema

Gli agenti basati su Large Language Model (LLM) operano sempre più in ambienti guidati da verificatori, dove il successo dipende dall'esecuzione di workflow multi-step, dal soddisfacimento di vincoli e dal recupero dai fallimenti. Sebbene le "abilità degli agenti" (artefatti procedurali riutilizzabili) siano progettate per colmare il divario tra strumenti atomici e prompt di alto livello, i metodi esistenti per l'acquisizione di queste abilità affrontano limitazioni significative, in particolare nei contesti di cold-start dove è disponibile solo un'abilità iniziale imperfetta.

Gli approcci attuali si dividono in tre categorie, ognuna con distinti svantaggi:

1. Metodi basati sul retrieval: Spesso selezionano abilità che non corrispondono completamente al compito target, portando a una interruzione dell'esecuzione.
2. Metodi di auto-evoluzione: Richiedono traiettorie ed esperienza accumulate, rendendoli inefficaci quando si parte da zero (cold-start) o soggetti a overfitting.
3. Autore diretto (Esperto o One-shot LLM): L'autorevolezza dell'esperto è costosa e può non allinearsi ai comportamenti reali dell'agente. La generazione one-shot tramite LLM produce spesso abilità sintatticamente corrette ma comportamentalmente deboli, prive di validazione rispetto alle tracce di esecuzione.

La sfida centrale è che le abilità non migliorano le prestazioni dell'agente in modo così affidabile come gli strumenti atomici; abilità di bassa qualità o non corrispondenti possono degradare le prestazioni. È necessario un metodo per raffinare iterativamente un'abilità iniziale, scritta da un LLM e imperfetta, utilizzando evidenze di esecuzione senza richiedere un ampio corpus preesistente di traiettorie di successo.

Metodologia: SKILLREVISE

Gli autori propongono SKILLREVISE, un framework basato sull'esecuzione progettato per raffinare iterativamente un'abilità iniziale ($S_0$) attraverso un ciclo di revisione limitato. Il framework decompone il processo di revisione in diagnosi specifiche per il compito e conoscenza di riparazione generale, evitando la necessità di un'ampia esperienza pregressa.

Componenti Core

1. Diagnosi ($D_i$): Una componente specifica per il compito che converte le evidenze di esecuzione grezze in vincoli di riparazione. Per ogni tentativo di revisione $i$, consiste in:

   • Specifica di Verifica ($V_i$): Requisiti osservabili (percorsi di output, schemi, formati, asserzioni pass/fail).
   • Attribuzione del Fallimento ($A_i$): Un riepilogo dei controlli falliti, del comportamento osservato, delle probabili cause e delle etichette di difetto.
   • Vincoli di Preservazione ($K_i$): Registrazioni dei controlli superati e delle scelte che dovrebbero essere preservate per evitare regressioni.

2. Memoria dei Principi ($M$): Un repository di principi di riparazione riutilizzabili piuttosto che soluzioni specifiche per il compito. Ogni principio astrae un difetto ricorrente del design delle abilità in un pattern di riparazione operativo, specificando quando applicarlo, quale difetto affronta e come verificare la riparazione. Il sistema si inizializza con un set di sette principi (es. "Esporre gli output al verificatore", "Preservare il comportamento corretto").

3. Operatore di Revisione ($R_\phi$): Questo modulo mappa l'abilità corrente ($S_i$), la diagnosi ($D_i$) e i principi recuperati ($P_i$) verso un candidato di abilità rivista ($\hat{S}_{i+1}$) e una traccia di revisione ($z_i$). Crucialmente, applica ancore di esecuzione (execution anchors)—istruzioni specifiche su come un'edizione testuale debba cambiare il comportamento dell'esecutore (es. "ricaricare il file", "analizzare il JSON", "controllare le chiavi")—assicurando che le edizioni siano ancorate a passi azionabili.

4. Episodio di Revisione Limitato: Il framework opera sotto un budget finito (es. $B=3$ round).

   • Esecuzione & Diagnosi: L'abilità corrente viene eseguita; se si verificano fallimenti, viene generata una diagnosi.
   • Retrieval & Binding: I principi rilevanti vengono recuperati da $M$ e legati alla diagnosi corrente.
   • Revisione & Re-esecuzione: Un candidato di abilità viene generato e rieseguito.
   • Selezione con Gate di Utilità: Il sistema mantiene un set di candidati osservati. L'output finale non è necessariamente l'ultima revisione generata, ma la migliore abilità osservata ($S^*$) basata su una funzione di utilità $U(S, T)$. Questa funzione bilancia il tasso di successo, l'efficienza di esecuzione, le prestazioni di trasferimento e i costi di interferenza, garantendo che i guadagni di efficienza siano premiati solo se il compito viene completato con successo.

Contributi Chiave

Il paper apporta tre contributi primari:

1. Formulazione: Inquadra il miglioramento delle abilità in cold-start come una revisione limitata e ancorata all'esecuzione di un'abilità esistente scritta da un LLM, distinta dal retrieval o dall'auto-evoluzione aperta.
2. Framework: Introduce SKILLREVISE, che integra Diagnosi specifica per il compito, Memoria dei Principi riutilizzabile e revisione ancorata all'esecuzione con selezione a gate di utilità per mantenere sistematicamente la versione ottimale dell'abilità.
3. Valutazione: Fornisce una vasta validazione empirica attraverso tre benchmark (SkillsBench, SkillLearnBench-Random, SWE-Skills-Bench-Hard) e uno studio su ALFWorld, dimostrando guadagni costanti rispetto ai baseline "no-skill" e "one-shot" su molteplici modelli esecutori.

Risultati Sperimentali

Il framework è stato valutato utilizzando un harness comune guidato da un verificatore su cinque LLM (GPT-5.5, Opus-4.7, Kimi-2.6, Qwen-3.6plus, DeepSeek-V4-Pro).

• Guadagni di Prestazione: Su SkillsBench, SKILLREVISE ha migliorato il tasso di successo dell'agente GPT-5.5 dal 36,05% (no skill) e dal 39,53% (generazione one-shot) al 61,63% in soli tre round di revisione. Simili sostanziali miglioramenti sono stati osservati su SkillLearnBench-Random e SWE-Skills-Bench-Hard.
• Trasferibilità Cross-Modello: Le abilità riviste hanno mostrato una forte trasferibilità. Quando le abilità fisse riviste da GPT-5.5 sono state applicate ad altri esecutori (es. Opus-4.7, DeepSeek-V4-Pro), hanno spesso superato il baseline "no-skill", suggerendo che le abilità catturano una conoscenza procedurale generalizzata piuttosto che artefatti specifici del modello. Tuttavia, la revisione specifica per l'esecutore ha generalmente prodotto le prestazioni più elevate.
• Studi di Ablazione: Rimuovere la componente Diagnosi ha causato il calo di prestazioni più grande (da 53/86 a 28/86 su SkillsBench), evidenziando la necessità di collegare esplicitamente le evidenze del verificatore ai difetti a livello di abilità. Anche il Preserve Ledger e gli Execution Anchors sono stati critici per prevenire regressioni e garantire che le edizioni inducessero azioni concrete.
• Studio ALFWorld: In uno studio di assorbimento dei principi, un banco compatto di 10 principi appresi da 25 task di calibrazione ha migliorato le prestazioni su un set di 100 task tenuti fuori (held-out), risolvendo 71/100 task, dimostrando la capacità di astrarre i fallimenti locali in pattern di riparazione riutilizzabili.

Significato e Rivendicazioni

Il paper sostiene che la revisione ancorata all'esecuzione sia un paradigma affidabile per l'autoria automatizzata di abilità, particolarmente in scenari di cold-start. La significatività del lavoro risiede nel dimostrare che:

• Le abilità sono più efficaci quando non sono consigli statici ma memorie procedurali testabili affinate dai fallimenti osservati.
• Un approccio strutturato che combina diagnosi, principi generali e selezione a gate di utilità può superare la fragilità della generazione one-shot e la fame di dati dell'auto-evoluzione.
• Il framework riesce a colmare il divario tra l'autorevolezza dell'esperto (costosa) e la generazione one-shot (inaffidabile) raffinando iterativamente una bozza iniziale tramite il feedback del verificatore.

Gli autori notano modestamente alcune limitazioni, tra cui la dipendenza dal feedback visibile al verificatore (che può portare a overfitting se i test sono scarsi) e il fatto che il metodo non torna all'esecuzione "no-skill" se un'abilità degrada costantemente le prestazioni. Posizionano SKILLREVISE come un passo verso un'acquisizione di abilità automatizzata e robusta che allinea il comportamento dell'agente con i vincoli del compito e i criteri di verifica.