Riepilogo Tecnico: ANNEAL – Adattamento di Agenti LLM tramite Apprendimento Simbolico Governato di Patch

1. Enunciato del Problema

Gli agenti basati su Modelli Linguistici di Grande Dimensione (LLM) possiedono la capacità di riprendersi dagli errori di esecuzione all'interno di un singolo episodio di attività (ad esempio, riprovando un'azione fallita). Tuttavia, spesso non riescono a eliminare i difetti ricorrenti quando la conoscenza sottostante del processo—nello specifico gli schemi degli operatori, le precondizioni e i vincoli—rimane invariata. Gli approcci esistenti di auto-evoluzione tentano di affrontare questo problema aggiornando prompt, buffer di memoria o pesi dei modelli fondazionali. Questi metodi soffrono di due limitazioni principali:

1. Mancanza di Riparazione Strutturale: Si adattano ciò che l'agente ricorda o come formula i prompt, ma non riparano direttamente le strutture simboliche tipizzate che codificano la logica di esecuzione dell'attività. Di conseguenza, lo stesso difetto strutturale può ripresentarsi in nuove attività.
2. Carenze di Governance: Pochi sistemi forniscono le garanzie necessarie (provenienza, guardrail, rollback) richieste per un deployment sicuro in ambienti open-world dove norme e API evolvono.

Il documento ipotizza che la conversione dei guasti ricorrenti in riparazioni strutturali durature sia centrale per l'expertise, una capacità di cui gli attuali agenti LLM sono privi.

2. Metodologia: ANNEAL

ANNEAL è un agente neuro-simbolico progettato per colmare questo divario convertendo i fallimenti ricorrenti in modifiche simboliche governate di un Grafo della Conoscenza del Processo (PKG) senza modificare i pesi del modello fondazionale. Il sistema opera su un'architettura a ciclo chiuso composta da un pianificatore HTN, uno stato simbolico tipizzato, un esecutore, un controllore metacognitivo e un pool di esperienze.

Meccanismo Principale: Acquisizione di Conoscenza Guidata dal Fallimento (FDKA)

La FDKA è la pipeline centrale che trasforma i fallimenti di esecuzione in patch strutturali verificate. Tratta l'LLM strettamente come un generatore di codice vincolato sotto uno schema tipizzato chiuso, garantendo che tutta la logica di accettazione rimanga simbolica e verificabile. La pipeline è composta da sei fasi:

1. Localizzazione: Data una traccia di fallimento, il sistema assegna un punteggio agli operatori per identificare quello responsabile (ad esempio, uno strumento specifico di prenotazione) basandosi su delta simbolici, similarità dei log degli strumenti e confidenza del parser.
2. Generazione Vincolata: L'LLM sintetizza una patch (ad esempio, l'aggiunta di una precondizione) tramite un processo in tre fasi: serializzazione della traccia in JSON, generazione di modifiche limitate a uno schema chiuso (aggiunte di precondizioni, raffinamenti degli effetti, aggiornamenti dello schema degli strumenti) e analisi deterministica dell'output.
3. Valutazione Multidimensionale: Le modifiche proposte sono aggregate tramite una funzione di punteggio che pondera:
   • Plausibilità: Allineamento con la distribuzione appresa dall'LLM.
   • Coerenza: Integrità logica verificata tramite euristiche simboliche o solver SMT Z3.
   • Utilità: Prevenzione stimata dei fallimenti tramite replay controfattuale su tracce recuperate.
   • Rischio: Probabilità di violazione dei valori e raggio d'azione dell'impatto.
4. Validazione dei Guardrail: Due gate di veto rigido operano indipendentemente dal punteggio:
   • Guardrail dei Valori: Verifica le regole deontiche (Obbligatorio/Proibito/Permesso) per garantire che la modifica non violi vincoli etici o di policy.
   • Guardrail Causale: Assicura che la modifica abbia un'identificabilità sufficiente e non propaghi un impatto eccessivo.
5. Staging e Test Canary: Le modifiche che superano la valutazione e i guardrail subiscono test in ambiente sandbox (fino a 8 esecuzioni). Se la patch fallisce qualsiasi test, viene rifiutata.
6. Commit e Rollback: Le patch accettate vengono confermate con piena provenienza (fonte, input, motivazione) e un set di rollback deterministico. I punteggi di fiducia sono inizializzati tramite prior Beta–Bernoulli; le patch con bassa fiducia nelle attività successive attivano un rollback automatico.

Controllo Metacognitivo

Un ciclo di controllo consapevole della fase arbitra tra tre percorsi basati sull'incertezza ($u$) e sulla probabilità di violazione ($p_{viol}$):

• S1 (Percorso Rapido): Esecuzione standard.
• S2 (Percorso Deliberativo): Attivato in caso di alta incertezza per una pianificazione estesa.
• VERIFY (Verifica prima dell'Azione): Attivato quando il rischio di violazione è alto per verificare le precondizioni prima dell'esecuzione, potenzialmente attivando riparazioni locali o bloccando il piano.

3. Contributi Chiave

Il documento delinea quattro contributi principali:

1. Acquisizione di Conoscenza Guidata dal Fallimento Governata (FDKA): Una pipeline che sintetizza modifiche simboliche tipizzate sotto uno schema JSON chiuso e le convalida tramite valutazione multidimensionale, guardrail di valore/causali e deployment canary. Nelle esecuzioni riportate, ciò ha raggiunto un'accettazione delle patch del 100% senza rollback osservati.
2. Arbitrato Metacognitivo: Un ciclo di controllo che regola i percorsi di adattamento basandosi su segnali di incertezza e violazione. Studi di ablazione mostrano che la rimozione di questo arbitrato riduce i tassi di successo di 4,7 punti percentuali in ambienti stocastici dove i cambiamenti di policy composti creano catene di violazioni multiple.
3. Envelope di Governance Completo: Ogni modifica confermata include provenienza, punteggio di fiducia, gate con intervento umano e rollback deterministico. Un benchmark di stress dedicato ha confermato un'accuratezza decisionale del 100% nell'escalation di modifiche allo schema sensibili all'autenticazione prima del commit.
4. Evidenza Empirica di Riparazione Strutturale: In quattro domini (Viaggi, E-commerce, ITSM) e 27 esecuzioni con semi multipli, ANNEAL è l'unico sistema valutato a confermare riparazioni strutturali persistenti. Mentre i baseline come ReAct e Reflexion raggiungono un alto recupero episodico, mantengono tassi di fallimento su dati di holdout del 72–100% per i difetti ricorrenti. ANNEAL riduce questi valori allo 0%.

4. Risultati

• Eliminazione dei Fallimenti Ricorrenti: Nei test di stress che coinvolgono derive API ricorrenti e violazioni di policy, le patch confermate di ANNEAL hanno ridotto i tassi di fallimento su dati di holdout allo 0%. Al contrario, ReAct e Reflexion, nonostante un alto successo episodico, hanno mantenuto tassi di fallimento su dati di holdout del 72–100% perché non hanno riparato le definizioni sottostanti degli operatori.
• Tassi di Successo: ANNEAL ha raggiunto un successo delle attività del 94,7–100% tra i vari domini. Nel dominio dell'e-commerce, ha confermato una media di 2,7 patch per esecuzione che coprivano tre categorie di modifica (aggiornamenti dello schema, aggiunte di precondizioni, raffinamenti degli effetti).
• Studi di Ablazione:
  • La rimozione della FDKA ha eliminato tutte le riparazioni strutturali e fatto crollare il tasso di successo nell'e-commerce di 26,7 punti percentuali.
  • La rimozione dell'arbitrato metacognitivo ha ridotto i tassi di successo di 4,7 punti percentuali negli scenari di viaggio stocastici.
  • La rimozione della governance (in una suite di stress specifica) ha permesso la conferma di modifiche allo schema non sicure, dimostrando la necessità dei guardrail per domini critici per la sicurezza.
• Efficienza: L'intero ciclo di adattamento (dal fallimento alla ripianificazione riuscita) richiede meno di 2 minuti e non richiede alcun riaddestramento del modello.

5. Significato e Affermazioni

Il documento afferma che la riparazione simbolica governata offre un paradigma complementare all'adattamento a livello di pesi e a livello di prompt per l'eliminazione persistente dei difetti.

• Contributo Stretto ma Concreto: Gli autori dichiarano esplicitamente che il loro contributo è "deliberatamente ristretto". Non rivendicano una superiorità generale su tutti gli agenti di auto-evoluzione. Piuttosto, dimostrano che un alto recupero episodico (ad esempio, il 97,6% di successo di Reflexion) non implica l'eliminazione persistente dei difetti.
• Adattamento Verificabile: Modificando la conoscenza esplicita del processo simbolico al di fuori del modello fondazionale, ANNEAL rende le modifiche direttamente verificabili, reversibili e compatibili con i vincoli di governance, affrontando la natura "scatola nera" del fine-tuning basato sui pesi.
• Trasferimento Centrato sull'Operatore: I risultati supportano l'affermazione che ANNEAL può riparare difetti centrati sull'operatore e trasferire queste riparazioni tra attività all'interno della stessa ontologia, ma il documento riconosce che l'autonomia in domini arbitrari e una generalizzazione più ampia rimangono sfide aperte.

Il lavoro suggerisce che, per un deployment sicuro in ambienti di produzione dove l'auditabilità è un prerequisito, convertire i fallimenti ricorrenti in modifiche simboliche governate è un'alternativa vitale e necessaria al riaddestramento del modello.