💻 computer science

Harnessing LLM Agents with Skill Programs

Il documento introduce HASP, un framework modulare che trasforma competenze testuali di consulenza in Funzioni di Programma (PF) eseguibili per intervenire attivamente nei cicli degli agenti LLM, migliorando così significativamente le prestazioni su compiti complessi come la ricerca sul web, il ragionamento matematico e la programmazione attraverso guida al momento dell'inferenza, supervisione post-allenamento o auto-miglioramento.

Autori originali: Hongjun Liu, Yifei Ming, Shafiq Joty, Chen Zhao

Pubblicato 2026-05-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Hongjun Liu, Yifei Ming, Shafiq Joty, Chen Zhao

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente robotico molto intelligente, ma a volte goffo. Gli chiedi di risolvere un puzzle complesso, come trovare un fatto specifico su Internet o scrivere un pezzo di codice. Il robot fa del suo meglio, ma continua a commettere gli stessi errori: si arrende troppo presto, cerca le cose sbagliate o si confonde con nomi che suonano simili.

Di solito, quando cerchiamo di risolvere questo problema, diamo al robot una lista di istruzioni scritte (come un manuale) che dicono: "Ricordati di controllare il tuo lavoro!" oppure "Non indovinare!". Ma il robot spesso ignora queste note perché sono semplicemente testo passivo. Non sa esattamente quando fermarsi e ascoltare, o come cambiare la sua azione.

HASP (Sfruttare gli Agenti LLM con Programmi di Abilità) è un nuovo framework che cambia le regole del gioco. Invece di dare al robot un manuale passivo, i ricercatori gli forniscono un insieme di Programmi di Abilità eseguibili (PF). Pensa a questi non come a un libro, ma come a un imbracatura di sicurezza intelligente o a un co-pilota che siede proprio accanto al cervello del robot.

Ecco come funziona, usando semplici analogie:

1. Da "Consigli Passivi" a "Barriere Attive"

Il Vecchio Modo (Abilità Testuali): Immagina un istruttore di guida seduto sul sedile posteriore che grida: "Dovresti rallentare!". Il guidatore potrebbe sentirlo, potrebbe ignorarlo o potrebbe non rendersi conto esattamente quando premere i freni. È solo un consiglio.
Il Modo HASP (Funzioni di Programma): Ora, immagina che l'auto abbia un imbracatura di sicurezza intelligente. Se l'auto inizia a sbandare verso una scogliera (uno "stato incline al fallimento"), l'imbracatura non si limita a urlare consigli. Interviene fisicamente. Potrebbe sterzare delicatamente la ruota verso il centro o iniettare un segnale di avvertimento direttamente nella visuale del guidatore.
Nel Documento: Questi "Programmi di Abilità" sono piccoli pezzi di codice che osservano ogni movimento del robot. Se il robot sta per commettere un errore (come finalizzare una risposta senza aver letto le prove), il Programma di Abilità interviene. Può riscrivere l'azione del robot (trasformando una query di ricerca scadente in una buona) o iniettare un suggerimento (dicendo al robot: "Aspetta, non hai ancora letto il documento!").

2. I Tre Modi per Usare l'Imbracatura

Il documento mostra che questa "imbracatura" può essere utilizzata in tre modi diversi, come addestrare uno studente:

Modalità A: La Correzione Istantanea (Intervento al Momento dell'Inferenza)
- Analogia: Indossi l'imbracatura al robot mentre sta lavorando. L'imbracatura coglie gli errori in tempo reale e li corregge immediatamente. Il robot non ha bisogno di imparare nulla di nuovo; l'imbracatura fa semplicemente il lavoro pesante.
- Risultato: Il robot risolve i problemi molto meglio subito, anche senza alcun addestramento aggiuntivo.
Modalità B: La Guida di Studio (Post-Addestramento)
- Analogia: Dopo che l'imbracatura ha corretto gli errori del robot, i ricercatori prendono un video del percorso "corretto" e lo mostrano al robot come lezione. Il robot studia questi esempi e impara a fare le scelte giuste da solo la prossima volta.
- Risultato: Il robot interiorizza le abilità. Inizia ad agire come se l'imbracatura fosse parte del suo stesso cervello, avendo bisogno di meno aiuto nel tempo.
Modalità C: La Biblioteca di Auto-Miglioramento (Evoluzione)
- Analogia: Se il robot incontra un nuovo tipo di errore che l'imbracatura non ha mai visto prima, il sistema si mette in pausa. Chiede a un "Insegnante" (un'intelligenza artificiale molto intelligente) di scrivere un nuovo Programma di Abilità specificamente per quell'errore. Prima di aggiungere questa nuova abilità alla cassetta degli attrezzi, l'Insegnante la verifica per assicurarsi che sia sicura e utile.
- Risultato: La cassetta degli attrezzi di abilità del robot diventa più intelligente nel tempo, imparando dai propri fallimenti senza che gli umani debbano scrivere ogni singola regola.

3. Perché Funziona Così Bene

Il documento ha testato questo su tre compiti difficili:

Ricerca Web: Trovare risposte che richiedono di collegare più pezzi di informazione (come un detective che risolve un mistero).
Matematica: Risolvere equazioni complesse.
Programmazione: Scrivere programmi per computer.

I Risultati:

L'approccio "imbracatura" ha battuto quasi tutti gli altri metodi con cui i ricercatori l'hanno confrontato.
Per la ricerca web, usando solo l'imbracatura (senza addestrare il robot), le prestazioni sono migliorate del 25% rispetto ai metodi standard.
Quando hanno permesso al robot di imparare dall'imbracatura (Post-Addestramento), è diventato ancora migliore.
Crucialmente, il sistema è modulare. È come un coltellino svizzero; puoi usare solo gli attrezzi, oppure puoi usare gli attrezzi per insegnare al robot, oppure puoi lasciare che il robot costruisca nuovi attrezzi.

La Conclusione

HASP trasforma l'"esperienza riutilizzabile" da un'idea vaga in uno strumento concreto ed eseguibile. Invece di sperare che un robot ricordi una regola, HASP fornisce al robot un insieme di controlli di sicurezza automatici che catturano gli errori nel momento in cui accadono, li correggono e aiutano il robot a imparare a evitarli in futuro. È la differenza tra dare a uno studente un libro di testo e dargli un tutor che siede proprio accanto a lui, correggendo il suo lavoro mentre lo fa.

Riepilogo Tecnico: Sfruttare Agenti LLM con Programmi di Abilità (HASP)

1. Enunciato del Problema

Mentre gli agenti basati su Modelli Linguistici di Grande Dimensione (LLM) hanno dimostrato capacità crescenti nella pianificazione e nell'interazione con gli ambienti, essi esibiscono frequentemente pattern di fallimento ricorrenti, come la terminazione prima della verifica, l'adesione a conclusioni intermedie fragili o la ripetizione di azioni improduttive. Gli approcci esistenti per mitigare questi fallimenti si basano spesso su abilità testuali derivate da esperienze passate. Queste abilità vengono tipicamente iniettate nei prompt o utilizzate come guida consultiva. Tuttavia, il documento sostiene che le abilità testuali soffrono di tre limitazioni fondamentali:

Natura Consultiva: Esprimono cosa un agente dovrebbe fare in linea di principio, ma mancano di meccanismi espliciti per quando attivarle o come intervenire all'interno del ciclo di policy.
Controllo Debole: Spesso vengono ignorate dal modello nella pratica, fallendo nell'alterare in modo affidabile il comportamento dell'agente.
Mancanza di Esecutività: Esiste un divario tra l'esperienza riutilizzabile espressa in linguaggio e l'esperienza riutilizzabile che può controllare esplicitamente le azioni dell'agente.

La sfida centrale è colmare questo divario trasformando lezioni testuali passive in meccanismi attivi ed eseguibili che possano intervenire direttamente nel processo decisionale dell'agente.

2. Metodologia: Il Framework HASP

Gli autori introducono HASP (Sfruttare Agenti LLM con Programmi di Abilità), un framework che eleva le abilità da testo passivo a Funzioni di Programma (PF). Una PF è definita come una funzione di intervento stato-azione riutilizzabile ed eseguibile.

Componenti Principali

Funzioni di Programma (PF): A differenza dei promemoria in linguaggio naturale, le PF sono moduli Python eseguibili con due interfacce distinte:
- should_activate(state, action): Un predicato deterministico che decide se l'abilità è rilevante per lo stato corrente e l'azione proposta.
- intervene(state, action, teacher): Restituisce un intervento strutturato, che può essere:
  - Modify_Action: Riscrittura o raffinamento dell'azione successiva (es. accorciamento di una query di ricerca eccessivamente vincolata).
  - Inject_Context: Aggiunta di testo correttivo all'osservazione dell'agente (es. un avviso sulla confusione di entità).
  - NOOP: Astensione dal cambiamento mentre si registra un record di audit.
Libreria di Abilità: Una raccolta di PF validate. I nuovi candidati sono generati da casi di fallimento, sottoposti a validazione sintattica e di interfaccia, e revisionati da un modello insegnante prima dell'ammissione.
Il Controllore (Harness): Un livello di controllo esterno che avvolge la policy dell'agente di base ( $\pi_\theta$ ). Ad ogni passo, il controllore recupera le PF rilevanti, valuta i loro predicati di attivazione, esegue interventi validi e reinserisce l'azione revisionata o il contesto iniettato nel ciclo.

Tre Modalità Operative

HASP è progettato per essere altamente modulare, supportando tre paradigmi distinti:

Intervento al Momento dell'Inferenza: Le PF agiscono come guardrail eseguibili a runtime. Si attivano autonomamente in base allo stato dell'agente per modificare le azioni o iniettare contesto senza aggiornare i pesi del modello. Un insegnante ausiliario opzionale può assistere nella selezione della PF più appropriata quando esistono più candidati.
Post-Training (Internalizzazione): Le esecuzioni delle PF generano record strutturati contenenti l'azione originale, la riparazione della PF e l'esito. Questi record sono valutati utilizzando quattro segnali: Timing (quando), Mode (come), Correctness (qualità) e Outcome (efficacia). Questi punteggi guidano il post-training tramite:
- Supervised Fine-Tuning (SFT): Addestramento sulle azioni corrette.
- Rejection Sampling (RS): Selezione di traiettorie che corrispondono alle correzioni guidate dalle PF e raggiungono il successo nel compito.
- On-Policy Distillation (OPD): Addestramento dello studente sui propri stati in cui le PF hanno intervenuto.
Evoluzione Auto-Migliorante: Il sistema rivisita i fallimenti residui sotto il checkpoint corrente, riassume i pattern ricorrenti di fallimento-riparazione in PF candidate e aggiorna la libreria di abilità esterna dopo una rigorosa validazione eseguibile e la revisione dell'insegnante. Questo chiude il ciclo tra esecuzione, apprendimento e crescita della libreria.

3. Contributi Chiave

Il documento delinea tre contributi principali:

Abilità come Funzioni Stato-Azione Esegubili: La trasformazione dell'esperienza riutilizzabile dell'agente in Funzioni di Programma eseguibili che si attivano su richiesta e intervengono esplicitamente, superando le abilità testuali passive.
Un Framework Modulare di Controllo per Agenti: La proposta di HASP, che supporta l'attivazione controllata delle PF e l'intervento attraverso i paradigmi di sola inferenza, post-training e auto-miglioramento.
Prestazioni Empiriche Forti: Dimostrazione di guadagni sostanziali rispetto a baseline competitive in compiti di ragionamento nella ricerca web, ragionamento matematico e coding.

4. Risultati Sperimentali

Gli autori hanno valutato HASP su HotpotQA, 2Wiki e MuSiQue (ricerca web), AIME24, AMC23 e GameOf24 (matematica) e HumanEval, MBPP e BigCodeBench (coding). Il modello di base era Qwen2.5-7B-Instruct.

Risultati Chiave

Guadagni all'Inferenza: Anche senza aggiornamenti del modello, l'intervento solo con PF ha superato significativamente le baseline.
- Nel ragionamento sulla ricerca web, l'intervento solo con PF ha migliorato la precisione media al 51,0% (contro il 20,5% per le Abilità Solo-Prompt e il 31,2% per la baseline ReAct multi-loop).
- L'aggiunta di un insegnante ausiliario per la selezione delle PF ha ulteriormente aumentato la precisione nella ricerca web al 56,2%.
- Nel coding, l'approccio solo PF ha raggiunto il 63,4% pass@1, salendo al 68,7% con la selezione dell'insegnante.
Internalizzazione Post-Training: La supervisione derivata dalle PF ha permesso al modello di internalizzare comportamenti senza reinforcement learning completo.
- Nella ricerca web, la Distillazione On-Policy (OPD) ha raggiunto il 62,5%, e il Rejection Sampling (RS) ha raggiunto il 59,3% sotto una libreria fissa.
- Questi risultati sono stati competitivi o superiori rispetto agli schemi standard di SFT e addestramento basato su abilità.
Evoluzione in Ciclo Chiuso: L'evoluzione controllata della libreria di abilità ha ulteriormente migliorato le prestazioni.
- HASP-Evolve + RS ha raggiunto il 60,3% nella ricerca web e il 45,4% nel ragionamento matematico.
- Nel coding, ha raggiunto il 69,9% pass@1, superando l'SFT vanilla del 12,4% e rimanendo competitivo con i metodi basati su GRPO.
Analisi del Meccanismo:
- Tipi di Intervento: Il 65,1% degli interventi sono state modifiche a livello di azione (es. riscrittura di query), mentre il 34,9% sono state iniezioni di contesto.
- Importanza dei Segnali: Studi di ablazione hanno mostrato che tutti e quattro i segnali di supervisione (Timing, Mode, Correctness, Outcome) erano necessari. La rimozione di "Mode" ha causato il calo più grande (-15,5%), indicando che come un intervento è applicato è tanto critico quanto quando.
- Necessità del Filtraggio: Il filtraggio rigoroso (validazione eseguibile + revisione dell'insegnante) era essenziale. Un'evoluzione non filtrata ha causato un calo netto delle prestazioni (-24,0%), confermando che l'inquinamento della libreria degrada le prestazioni dell'agente.

5. Significato e Affermazioni

Il documento posiziona HASP come un percorso complementare per il miglioramento degli agenti LLM. Gli autori affermano che:

Stabilizzazione rispetto alla Scoperta: Le PF aiutano a far emergere e stabilizzare strategie utili che il modello può spesso eseguire ma non applica in modo affidabile. Questo contrasta con l'esplorazione in stile RL, più adatta a scoprire strategie fondamentalmente nuove.
Controllo Esplicito: Convertendo le abilità in codice eseguibile, HASP fornisce un controllo esplicito e auditabile sul comportamento dell'agente, affrontando la debolezza "consultiva" delle abilità basate su prompt.
Modularità: Il framework disaccoppia la definizione dell'abilità dall'obiettivo di addestramento, permettendo alle stesse PF di essere utilizzate per l'intervento a runtime, l'addestramento supervisionato o il auto-miglioramento.

Gli autori rimangono modesti riguardo alle limitazioni, notando che le PF aiutano principalmente ad assorbire strategie esistenti piuttosto che a scoprirne di nuove, che il framework si basa su segnali di verifica chiari (limitando l'applicabilità a compiti aperti) e che l'auto-miglioramento richiede un filtraggio rigoroso per prevenire il degrado della libreria. Concludono che, sebbene un'esplorazione più ampia in stile RL possa ancora essere necessaria per la scoperta di nuove strategie, le PF offrono un meccanismo robusto per rifinire e stabilizzare il comportamento dell'agente in compiti complessi a lungo orizzonte.