Riepilogo Tecnico: Skill-as-Pseudocode (SaP)

Enunciato del Problema

Gli agenti moderni basati su LLM fanno affidamento su librerie di competenze—collezioni di documenti procedurali (tipicamente Markdown) che gli agenti recuperano e seguono durante l'esecuzione dei compiti. Tuttavia, queste librerie sono attualmente redatte come prosa libera. Questa rappresentazione crea un collo di bottiglia significativo: l'agente deve rivedere sia lo schema di input (cosa fa la competenza) sia la sintassi concreta di invocazione (come chiamarla) ad ogni recupero.

Gli autori osservano che questo formato ricco di prosa induce un ciclo "confuso → riesegue il recupero → ancora confuso". Quando un agente esegue un'azione parzialmente corretta basata su una descrizione in prosa, l'ambiente restituisce spesso feedback non informativo (ad esempio, "Non succede nulla"). L'agente riesegue quindi il recupero della stessa prosa, non riesce a estrarre il dettaglio mancante e ripete il ciclo. Questo ciclo guida sia i fallimenti dei compiti sia l'aumento dei costi delle chiamate LLM. Sebbene esistano cataloghi tipizzati come OpenAPI, non rappresentano la superficie di distribuzione standard per le competenze degli agenti, che rimangono in formato Markdown.

Metodologia: Skill-as-Pseudocode (SaP)

Gli autori propongono Skill-as-Pseudocode (SaP), una pipeline automatica che converte librerie di competenze Markdown in pseudocodice tipizzato con controllo di qualità deterministico. L'intuizione fondamentale è che due segnali specifici interrompono il ciclo recupero-azione:

1. Un Contratto Tipizzato: Una firma strutturata che espone il trigger, gli schemi di input/output e le condizioni pre/post.
2. Modelli di Azione Concreti: Le esatte sequenze di token accettate dall'ambiente (ad esempio, move {obj} to {target}), distinte dal contratto astratto.

La Pipeline

La pipeline SaP elabora una libreria di competenze genitore (documenti Markdown) attraverso cinque fasi più due passaggi di post-verifica consapevoli dell'LLM:

1. Parser: Divide i documenti Markdown in unità procedurali (sezioni sotto intestazioni).
2. Propositore di Candidati: Raggruppa unità da uno o più genitori in cluster candidati basandosi su verbi condivisi, oggetti e collegamenti di codice utilizzando il clustering basato su embedding.
3. Estrattore di Contratti (LLM): Per ogni cluster, una singola chiamata LLM abbozza un contratto JSON tipizzato rigoroso ($\kappa$).
4. Verificatore (Deterministico): Un verificatore deterministico a quattro controlli valuta l'abbozzo del contratto. Un contratto viene promosso solo se supera:
   • Copertura: Le stringhe di trigger e I/O del contratto devono essere presenti nel testo dell'unità genitore.
   • Legame: Ogni input richiesto nel contratto deve avere una corrispondente porzione nel testo genitore.
   • Sostituzione: L'unità genitore deve essere sintatticamente sostituibile da un segnaposto invoke(κ, args) senza interrompere il flusso di controllo.
   • Rischio: Il contratto non deve contenere effetti collaterali non sicuri (ad esempio, rm -rf, egress di rete non dichiarati).
5. Refactoring: I contratti validati vengono inseriti nelle competenze genitore.
   • Estrazione del Legame (BE): Un passaggio LLM che verifica se un'unità specifica è una vera istanza del contratto ed estrae i legami specifici degli argomenti. Le corrispondenze spurie vengono scartate.
   • Pulizia della Riscrittura (RC): Un passaggio LLM che rileva e riscrive conflitti residui di prosa (ad esempio, un blocco di esempio che usa un verbo come put quando l'ambiente richiede move) per allinearli al contratto verificato.

Sostituzione al Momento del Recupero

Al momento dell'inferenza, l'agente recupera un pacchetto di competenze sostituito invece della prosa grezza. Per una competenza genitore recuperata, il sistema sostituisce il contenuto originale con:

1. Modelli di Azione: Sequenze di comandi concrete ed eseguibili con legami estratti (posizionate per prime).
2. Scheletro Riscritto: La struttura genitore con segnaposti invoke(κ, args).
3. Contratto Incorporato: La firma tipizzata e lo schema per la competenza figlia invocata.

Crucialmente, il sistema utilizza un pool di recupero gerarchico. I contratti figli promossi sono archiviati internamente e sono accessibili solo tramite il segnaposto invoke del genitore. Evitare di esporre i figli come risultati di primo livello indipendenti è fondamentale, poiché ciò priverebbe l'agente del contesto necessario (i modelli di azione del genitore).

Contributi Chiave

1. Riformulazione del Miglioramento delle Competenze: Il documento riformula l'ottimizzazione delle librerie di competenze come un problema di conversione da prosa a pseudocodice tipizzato con controllo di qualità deterministico, integrando il lavoro esistente sul routing tipizzato che presuppone l'esistenza già dei contratti.
2. La Pipeline SaP: Un'architettura innovativa che presenta un verificatore deterministico a quattro controlli e due passaggi di post-verifica consapevoli dell'LLM (BE e RC), ciascuno protetto da controlli post-deterministici per garantire sicurezza e coerenza.
3. Interfaccia di Recupero Gerarchica: Un meccanismo di recupero che consegna un pacchetto strutturato (contratto tipizzato + modello concreto) per ogni invocazione, separando il "cosa" (contratto) dal "come" (modello).
4. Validazione Empirica: Dimostrazione che SaP migliora simultaneamente i tassi di successo dei compiti e riduce i costi di token/chiamate LLM rispetto alla baseline Graph-of-Skills (GoS).

Risultati

Gli esperimenti sono stati condotti sulla divisione non vista di ALFWorld (134 giochi) utilizzando gpt-4o-mini e un sottoinsieme di SkillsBench (10 compiti) utilizzando gpt-5-codex.

• Prestazioni ALFWorld: Attraverso tre semi (402 giochi accoppiati), SaP ha vinto 82/402 giochi rispetto ai 47/402 della baseline GoS. Ciò rappresenta un aumento relativo della ricompensa del 74% (McNemar $p = 8.2 \times 10^{-5}$).
• Guadagni di Efficienza: SaP ha ottenuto questi miglioramenti riducendo i token di input del 22,8%, i token di output del 17,3% e le chiamate LLM del 14,5% per gioco.
• Analisi del Meccanismo: Il miglioramento è attribuito alla rottura del "ciclo recupero-azione". Gli agenti SaP hanno generato significativamente meno errori "Non succede nulla" e richieste di riesecuzione del recupero. La correttezza dell'azione post-recupero è migliorata dal 20,5% (GoS) al 29,3% (SaP).
• Ablazione: Rimuovere la separazione gerarchica (esporre i figli come risultati indipendenti) ha causato un calo del 27% nella ricompensa, confermando la necessità della struttura del pacchetto genitore-figlio. I passaggi BE e RC hanno dimostrato di riparare modalità di fallimento distinte (appartenenza spuria al cluster e conflitti di sintassi, rispettivamente).

Significato e Affermazioni

Il documento afferma che la rappresentazione in prosa stessa, piuttosto che una mancanza di fattorizzazione, è il collo di bottiglia dominante per gli agenti LLM che consumano librerie di competenze. Automatizzando la conversione da prosa a pseudocodice tipizzato con verifica deterministica, SaP fornisce agli agenti un segnale "cosa" (contratto) e "come" (modello) in una singola risposta.

Gli autori posizionano SaP come una soluzione lato produttore al problema del routing tipizzato. Mentre il lavoro esistente presuppone che i contratti siano scritti a mano, SaP li recupera dalla prosa. La metodologia è presentata come un approccio disciplinato in cui ogni estrazione LLM è un'ipotesi verificata da regole deterministiche, piuttosto che un output a scatola nera.

Il documento nota modestamente che, sebbene la pipeline sia supportata architecturalmente per API tipizzate (OpenAPI), la valutazione empirica attuale è limitata alle librerie Markdown. Inoltre, il meccanismo di sostituzione è statico (sintattico) piuttosto che dinamico (espansione a runtime), affidandosi all'interfaccia di recupero per fornire contratti figli su richiesta. I risultati suggeriscono che per le librerie di competenze statiche, il costo della conversione da prosa a struttura può essere sostenuto al momento dell'indicizzazione piuttosto che ad ogni recupero, migliorando significativamente l'efficienza e l'affidabilità dell'agente.