Riepilogo Tecnico: SKILLGRAPH

Enunciato del Problema

Gli agenti basati su Modelli Linguistici di Grande Dimensione (LLM) hanno dimostrato capacità in compiti interattivi complessi come la navigazione web e la manipolazione incarnata. Tuttavia, gli agenti attuali spesso trattano i compiti come episodi isolati, non riuscendo a imparare dai successi o dai fallimenti passati anche quando si trovano di fronte a problemi strutturalmente simili. Sebbene gli approcci esistenti utilizzino librerie di abilità per memorizzare unità di conoscenza riutilizzabili, queste librerie funzionano tipicamente come collezioni piatte in cui le abilità sono memorizzate come voci indipendenti e recuperate esclusivamente sulla base della similarità semantica.

Questa organizzazione piatta presenta due limitazioni critiche per i compiti compositivi:

1. Recupero non compositivo: I compiti complessi richiedono spesso una sequenza ordinata di abilità con dipendenze specifiche (ad esempio, riscaldare un oggetto prima di posizionarlo). I recuperatori piatti possono identificare le abilità pertinenti ma non riescono a indicare il loro ordine di esecuzione o le relazioni di prerequisito.
2. Manutenzione non strutturata: Senza segnali strutturali espliciti, le librerie piatte mancano di meccanismi per determinare quando le abilità dovrebbero essere fuse, divise o rimosse, rendendo difficile gestire la ridondanza o far evolvere la libreria insieme alla politica migliorante dell'agente.

Metodologia: SKILLGRAPH

Gli autori propongono SKILLGRAPH, un framework che organizza le abilità riutilizzabili in un grafo diretto strutturato di dipendenze e fa co-evolvere tale grafo con la politica dell'agente attraverso l'Apprendimento per Rinforzo (RL). Il framework opera in un ciclo chiuso comprendente tre fasi principali:

1. Costruzione del Grafo

Il sistema distilla le abilità dalle traiettorie dell'agente (sia di successo che fallite) utilizzando un modello linguistico insegnante.

• Nodi: Rappresentano abilità classificate come generali (strategie indipendenti dal dominio) o specifiche per il compito. Ogni nodo traccia i conteggi di utilizzo e i tassi di successo empirici.
• Archi: Archi tipizzati modellano esplicitamente le relazioni tra le abilità:
  • Prerequisito ($A \to B$): L'abilità $A$ deve essere applicata prima di $B$.
  • Migliora ($A \to B$): Un'abilità generale migliora l'efficacia di un'abilità specifica per il compito.
  • Co-occorrenza ($A \leftrightarrow B$): Abilità che appaiono frequentemente insieme negli episodi di successo.
• Livelli: I nodi sono assegnati a livelli topologici basati sulle gerarchie di dipendenza (Livello 0 per le abilità fondamentali senza prerequisiti).

2. Recupero Consapevole del Grafo

Invece di recuperare un insieme di abilità isolate, il sistema recupera un sottografo ordinato per dipendenze per guidare il processo decisionale multi-step.

• Selezione del Seed: Identifica i punti di ingresso rilevanti per il compito (abilità generali e abilità corrispondenti al compito) dall'insieme attivo attualmente "sbloccato".
• Espansione del Grafo:
  • Espansione all'indietro: Attraversa gli archi di prerequisito in entrata per recuperare le abilità fondamentali.
  • Espansione in avanti: Utilizza la ricerca a fascio (beam search) per esplorare gli archi in uscita, dando priorità ai percorsi con pesi degli archi elevati.
• Ordinamento Topologico: I nodi recuperati vengono ordinati topologicamente per produrre una sequenza coerente di abilità che rispecchia il flusso logico dei sottocompiti (dal semplice al complesso).

3. Evoluzione del Grafo

Il grafo delle abilità viene aggiornato dinamicamente durante l'addestramento in base al feedback a livello di traiettoria, garantendo che la libreria si adatti alla crescente competenza dell'agente.

• Adattamento a livello di Nodo:
  • Inserimento: Genera nuove abilità per affrontare specifici modi di fallimento identificati nelle traiettorie.
  • Fusione: Combina abilità ridondanti con una sovrapposizione di vicinato elevata.
  • Divisione: Decompone abilità eccessivamente ampie che mostrano tassi di successo moderati nonostante un elevato utilizzo.
  • Deprecazione: Rimuove le abilità che vengono recuperate frequentemente ma falliscono costantemente.
• Adattamento a livello di Arco:
  • Rafforzamento: Aumenta i pesi degli archi attraversati nelle traiettorie di successo.
  • Scoperta: Aggiunge nuovi archi di co-occorrenza quando le abilità appaiono insieme nel successo.
  • Decadimento e Potatura: Applica un decadimento moltiplicativo ai pesi degli archi e rimuove gli archi deboli per prevenire relazioni obsolete.
• Sblocco Progressivo: Implementa un curriculum in cui le abilità di livello superiore vengono attivate solo quando il tasso medio di successo del livello fondamentale corrente supera una soglia.

Ottimizzazione della Politica

La politica dell'agente viene ottimizzata utilizzando GRPO (Group Relative Policy Optimization). La politica è condizionata dalla descrizione del compito e dalla sequenza ordinata di abilità recuperate. Il sistema minimizza un obiettivo surrogato troncato con una penalità KL ancorata a una politica di riferimento inizializzata tramite Fine-Tuning Supervisionato (SFT).

Contributi Chiave

1. Formulazione delle Abilità Strutturata a Grafo: Il documento introduce una formulazione innovativa in cui le abilità sono collegate da relazioni esplicite di prerequisito, miglioramento e co-occorrenza, superando il recupero semantico piatto.
2. Framework SKILLGRAPH: Un sistema a ciclo chiuso che abilita il recupero di abilità consapevole delle dipendenze e aggiornamenti strutturati delle abilità (inserimento, fusione, divisione) durante l'addestramento RL.
3. Validazione Empirica: Esperimenti estesi che dimostrano come i grafi strutturati delle abilità migliorino l'efficienza del campione e le prestazioni in compiti complessi e multi-step rispetto ai metodi RL potenziati da memoria piatta.

Risultati Sperimentali

Il framework è stato valutato su ALFWorld (manipolazione incarnata), WebShop (navigazione web) e sette benchmark QA potenziati dalla ricerca.

• ALFWorld & WebShop: SKILLGRAPH ha raggiunto prestazioni all'avanguardia, superando significativamente gli LLM a codice chiuso (ad esempio, GPT-4o, Gemini-2.5-Pro) e le baseline basate su prompt/potenziamento della memoria. In particolare, ha superato il metodo precedente più forte, SkillRL, di 11,7 punti su WebShop. I guadagni sono stati più pronunciati nei sottocompiti che richiedono un ordinamento rigoroso (ad esempio, "Pulisci" e "Riscalda" in ALFWorld).
• QA Potenziato dalla Ricerca: Addestrato su NQ e HotpotQA, SKILLGRAPH si è generalizzato zero-shot a cinque dataset non visti (TriviaQA, PopQA, 2Wiki, MuSiQue, Bamboogle), raggiungendo la prestazione media più alta (48,9) tra tutte le baseline.
• Studi di Ablazione: La rimozione del recupero consapevole del grafo ha causato il calo di prestazioni più grande su ALFWorld (-31,2%), confermando la necessità di sequenze di abilità ordinate. La rimozione dell'evoluzione del grafo ha avuto l'impatto maggiore su WebShop (-14,1%), evidenziando il valore di un insieme di abilità in continua raffinazione.
• Efficienza: Il recupero guidato dal grafo ha mantenuto lunghezze di prompt più brevi rispetto al recupero piatto, migliorando il costo di inferenza e il rapporto segnale-rumore.

Significato e Affermazioni

Il documento afferma che SKILLGRAPH affronta le limitazioni fondamentali delle librerie di abilità piatte abilitando la pianificazione compositiva attraverso il recupero consapevole delle dipendenze e l'evoluzione principiale attraverso aggiornamenti strutturati. Gli autori affermano che la modellazione esplicita delle relazioni tra abilità permette agli agenti di:

• Trasferire conoscenza compositiva da compiti più semplici a quelli più complessi.
• Ridurre l'esplorazione ridondante fornendo una guida strutturata.
• Affinare continuamente sia la libreria delle abilità che la politica dell'agente in un ciclo di reciproco rafforzamento.

Il lavoro si posiziona come un passo verso agenti in grado di accumulare conoscenza strutturata dall'esperienza, migliorando l'efficienza del campione e l'affidabilità in domini come l'assistenza domestica e il recupero di informazioni. Gli autori riconoscono le limitazioni relative alla dipendenza da un forte modello insegnante per le operazioni sul grafo e alla limitazione attuale all'addestramento in un singolo ambiente, suggerendo il trasferimento tra ambienti e la distillazione autonoma leggera come direzioni future.