🤖 AI

Toward Effective and Reliable LLM Agents via Dynamic Ontology

Il documento introduce OaK, un framework che costruisce e perfeziona dinamicamente ontologie orientate ai task per ancorare esplicitamente la conoscenza e le relazioni, migliorando così l'utilizzo delle evidenze e l'affidabilità del ragionamento multi-step negli agenti basati su grandi modelli linguistici.

Autori originali: Xiaohui Zhang, Zequn Sun, Chengyuan Yang, Yuanning Cui, Lingbing Guo, Wei Hu

Pubblicato 2026-08-25

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Xiaohui Zhang, Zequn Sun, Chengyuan Yang, Yuanning Cui, Lingbing Guo, Wei Hu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo in rapida evoluzione dell'intelligenza artificiale, un tipo specifico di software noto come "modello linguistico di grandi dimensioni" è emerso come uno strumento potente per comprendere e generare il linguaggio umano. Questi modelli sono spesso utilizzati per costruire "agenti", ovvero programmi progettati non solo per chattare, ma per eseguire compiti complessi scomponendoli in passaggi più piccoli, come la ricerca di informazioni, l'uso di strumenti digitali e il processo decisionale basato su ciò che trovano. Tuttavia, man mano che questi agenti tentano lavori più lunghi e complicati, spesso incontrano difficoltà. Possono perdere traccia dei fatti di cui hanno bisogno, compiere salti logici che non reggono o incappare in cicli di errore perché si affidano troppo eccessivamente alla vasta e non strutturata conoscenza memorizzata all'interno della propria memoria. Per risolvere questo problema, i ricercatori stanno esplorando modi per fornire a questi agenti una mappa del mondo che stanno navigando più chiara e organizzata, assicurando che ogni passo compiuto sia basato su prove affidabili piuttosto che su congetture.

Un team di ricercatori dell'Università di Nanchino e di altre istituzioni ha sviluppato un nuovo framework chiamato OaK per affrontare questi problemi di affidabilità. Il loro lavoro si concentra su un concetto chiamato "ontologia", che è essenzialmente un dizionario strutturato di concetti e delle relazioni tra di essi, scritto in un modo che i computer possano interpretare rigorosamente. Mentre i metodi tradizionali per la creazione di queste strutture richiedono che gli esperti definiscano manualmente ogni regola — un processo lento e difficile — il nuovo sistema automatizza la creazione di queste mappe specificamente per il compito da svolgere. I ricercatori hanno scoperto che, costruendo una struttura personalizzata e dinamica per ogni lavoro, potevano migliorare significativamente la capacità dell'agente di pianificare ed eseguire compiti multi-step, rendendo il processo più trasparente e meno incline al fallimento.

Il nucleo del sistema OaK è un processo in due fasi che avviene prima che l'agente tenti un compito nel mondo reale. In primo luogo, il sistema esamina un insieme di esempi di addestramento e i requisiti specifici di un lavoro, come pianificare un viaggio o gestire i dati dei clienti. Successivamente, redige automaticamente uno schema, ovvero un progetto che definisce i tipi importanti di informazioni coinvolte, come "hotel", "voli" o "budget", e come essi si connettono. Questo progetto non è solo un elenco; è controllato rigorosamente da un ragionatore logico per garantire che non vi siano contraddizioni o regole mancanti. Se il progetto è difettoso, il sistema lo corregge prima di procedere. Una volta che il progetto è solido, il sistema costruisce un grafo della conoscenza, una rete di punti dati effettivi estratti dai materiali di addestramento, organizzati esattamente secondo le regole del progetto.

Con questa base strutturata in atto, il sistema crea un insieme di strumenti specializzati, o funzioni, che l'agente può utilizzare. Inveve di chiedere all'agente di capire come cercare un volo, filtrare per prezzo e controllare la disponibilità tutto da solo, il sistema fornisce strumenti pre-costruiti che eseguono correttamente queste azioni specifiche. L'agente utilizza poi questi strumenti per risolvere problemi, guidato dalle regole rigide del progetto. Se l'agente commette un errore o il compito fallisce, un modello "giudice" revisiona l'intero processo, identifica esattamente dove il progetto o gli strumenti hanno sbagliato e suggerisce miglioramenti. Questo ciclo di costruzione, test e raffinamento si ripete diverse volte finché il sistema non è abbastanza robusto da gestire domande mai viste prima. Il risultato è un "kernel", un'interfaccia fissa e affidabile che l'agente usa per interagire con i dati, garantendo che ogni decisione sia supportata da prove e che l'agente non possa accidentalmente inventare fatti o ignorare i vincoli.

I ricercatori hanno testato questo approccio su tre tipi di sfide molto diversi per vedere se reggeva nel mondo reale. Il primo era un compito di pianificazione di viaggi in cui un agente doveva organizzare voli, hotel, pasti e attività rispettando rigidi vincoli di budget e di orario. Il secondo coinvolgeva la gestione delle relazioni con i clienti in un contesto aziendale, richiedendo all'agente di seguire complesse politiche aziendali e recuperare record specifici. Il terzo testava la capacità di combinare informazioni da varie fonti esterne, come database di voli e recensioni di ristoranti, per rispondere a domande dettagliate. In ogni caso, il sistema OaK ha superato i metodi standard. Nel compito di pianificazione dei viaggi, ad esempio, il sistema ha migliorato il tasso di successo nel completare un itinerario completo e valido da circa il 15 percento a quasi il 56 percento utilizzando uno dei modelli base, e da circa il 4 percento a quasi il 20 percento con un altro. Ha inoltre mostrato guadagni significativi nei compiti aziendali e di dati, in particolare in scenari in cui l'agente doveva seguire regole rigide o combinare dati da più tabelle.

Lo studio ha anche rivelato perché si siano verificati questi miglioramenti. Quando i ricercatori hanno rimosso gli strumenti costruiti su misura o hanno impedito al sistema di perfezionare il proprio progetto attraverso più round, le prestazioni sono scese drasticamente. Ciò ha indicato che fornire semplicemente all'agente l'accesso ai dati non fosse sufficiente; l'agente aveva bisogno delle regole strutturate e degli strumenti pre-confezionati per coordinare le proprie azioni in modo efficace. Il sistema funzionava rendendo visibile e vincolato il processo di ragionamento dell'agente, impedendogli di vagare verso assunzioni non supportate. Sebbene il nuovo metodo richiedesse leggermente più tempo per l'esecuzione e producesse più testo in uscita rispetto ad alcuni approcci più semplici, utilizzava meno token di input, suggerendo che l'interfaccia strutturata rendesse l'agente più efficiente nell'elaborazione delle informazioni necessarie. I ricercatori hanno concluso che, trasformando la conoscenza del dominio in un'interfaccia eseguibile e autocorrettiva, potevano rendere gli agenti di intelligenza artificiale più affidabili, fidati e capaci di gestire il ragionamento complesso e multi-step richiesto nelle applicazioni del mondo reale.

Riepilogo Tecnico: OaK – Verso Agenti LLM Efficaci e Affidabili tramite Ontologia Dinamica

Problema

Gli agenti basati su Large Language Models (LLM) attualmente fanno affidamento pesantemente sulla conoscenza codificata nei parametri del modello o presentata come contesto non strutturato. In compiti specifici di dominio, questa dipendenza lascia le connessioni semantiche critiche implicite, portando a un utilizzo incompleto delle evidenze e a un processo decisionale fragile in più fasi. Sebbene le ontologie offrano un meccanimento per esternalizzare i concetti e le relazioni di dominio in strutture interpretabili dalle macchine, la costruzione tradizionale delle ontologie è laboriosa, richiede un considerevole sforzo esperto e manca di scalabilità. Inoltre, la costruzione automatica è complessa; un'ontologia che appare semanticamente plausibile può comunque mancare delle strutture relazionali specifiche richieste per l'effettiva capacità decisionale.

La sfida centrale identificata è che le attuali architetture di agenti (ad esempio, ReAct, cicli basati sulla riflessione) migliorano la pianificazione e il riutilizzo della memoria, ma lasciano implicito l'insieme dei concetti ammissibili e delle sequenze di azione. Di conseguenza, il comportamento dell'agente manca di un contratto vincolante riguardo a ciò che può eseguire o su come i risultati debbano essere verificati, rendendo difficile tracciare i fallimenti di esecuzione o garantire che gli output siano fondati su prove di supporto.

Metodologia: Il Framework OaK

Gli autori propongono OaK (Ontology-as-a-Kernel), un framework che costruisce e affina dinamicamente ontologie orientate al compito per servire come contratto semantico e procedurale per gli agenti LLM. OaK opera in due fasi distinte: una fase di costruzione sui dati di addestramento e una fase di inferenza su query non viste.

1. Il Kernel dell'Ontologia

Il framework impacchetta l'interfaccia del compito in un kernel $K = (S, F)$ , dove:

$S$ (Schema): Uno schema orientato al compito che definisce i concetti di dominio disponibili, le loro proprietà, le relazioni e i vincoli.
$F$ (Funzioni): Un insieme di funzioni di ragionamento tipizzate che definiscono procedure eseguibili per il recupero, il filtraggio, la traversata, la proiezione, l'aggregazione e il ragionamento multi-step.

2. Ciclo di Costruzione

La fase di costruzione esegue un ciclo di raffinamento iterativo a quattro fasi sui dati di addestramento:

Step 1: Costruzione dello Schema: Un LLM analizza le descrizioni dei compiti e i campioni di addestramento per redigere una specifica dei requisiti ( $R$ ). Successivamente, redige uno schema ( $S_t$ ) basato su $R$ e sul feedback del round precedente. Questo schema viene sottoposto a verifica formale codificandolo come ontologia OWL ed eseguendo il ragionatore HermiT per controllare la validità logica (disgiunzione, restrizioni, coerenza e classi insoddisfacibili). Gli schemi non validi vengono riparati sulla base di controesempi.
Step 2: Istanziazione del Knowledge Graph: Utilizzando lo schema validato, OaK istanzia un Knowledge Graph ( $G_t$ ) dai corpora di riferimento. Questo impiega una pipeline "chunk–map–merge" in cui un estrattore LLM mappa i chunk di testo in entità e relazioni tipizzate, seguito da un operatore di fusione che risolve i duplicati utilizzando le chiavi primarie dichiarate dallo schema per creare nodi canonici.
Step 3: Ragionamento sulla Conoscenza (Composizione di Funzioni): Un LLM compositore assembla un catalogo di funzioni adattate al dominio ( $F_t$ ) componendo operatori generici (ad esempio, ricerca di entità, filtraggio di vincoli) basati su pattern di ragionamento ricorrenti osservati nelle query di addestramento. Queste funzioni vengono testate su $G_t$ per garantirne l'eseguibilità.
Step 4: Valutazione dell'Ontologia: Un agente ReAct esegue le query di addestramento utilizzando il kernel corrente. Un modello giudice esamina le traiettorie di esecuzione, i punteggi dei compiti e il kernel stesso per generare suggerimenti di riparazione ( $\psi_t$ ). Questi suggerimenti mirano a specifici artefatti (tipi di entità, relazioni o funzioni) per l'aggiunta, la cancellazione o la modifica, alimentando nuovamente gli Step 1 e 3 per l'iterazione successiva.

3. Fase di Inferenza

Una volta concluso il ciclo, il kernel viene congelato ( $S^*, F^*$ ). Per le query di test non viste, l'agente opera rigorosamente all'interno di questo spazio semantico verificato. Istanzia un grafo specifico per la query ( $G_q$ ) e risolve il compito invocando le funzioni congelate come strumenti, legando gli argomenti tipizzati secondo lo schema. Ciò limita l'agente a composizioni eseguibili e vincolate dallo schema, prevenendo la generazione aperta di inferenze non supportate.

Contributi Chiave

Ontologia come Kernel: L'introduzione di un framework che accoppia uno schema orientato al compito con funzioni di ragionamento tipizzate e un grafo di evidenza guidato dallo schema, fungendo da interfaccia controllata tra LLM e compiti di dominio.
Pipeline di Costruzione Automatica: Un sistema che costruisce automaticamente uno schema verificato, istanzia il suo knowledge graph e compila operatori generici in funzioni di dominio eseguibili senza l'intervento manuale di esperti.
Raffinamento Guidato dal Giudice: Un meccanismo che diagnostica e ripara i fallimenti di schema e funzione attraverso i round di costruzione utilizzando i punteggi ufficiali dei compiti e le traiettorie di esecuzione.
Validazione Empirica: Esperimenti esaustivi che dimostrano guadagni di prestazioni costanti attraverso diversi benchmark e backbone LLM.

Risultati Sperimentali

OaK è stato valutato su tre benchmark: TravelPlanner (pianificazione multi-step), CRMArenaPro (esecuzione di workflow CRM) e ToolQA (uso compositivo di strumenti su corpora eterogenei). Il framework è stato testato utilizzando due backbone LLM: DeepSeek-v4-flash e GPT-4o-mini.

TravelPlanner: OaK ha ottenuto i più alti tassi di successo finali e ha guidato tutti i metri macroscopici. Ha superato solidi baseline (ReAct, AFlow, MemP, ReCode, AgentSquare) coordinando efficacementamente i vincoli tra i componenti (date, budget, trasporti) attraverso il suo schema esplicito e le funzioni integrate.
CRMArenaPro: OaK ha ottenuto i punteggi medi più elevati sia in contesti B2B che B2C, eccellendo particolarmente nei compiti di Policy e Database. L'esecuzione basata sullo schema ha ridotto il carico sul modello di base per il ragionamento su dati complessi e la selezione dei record.
ToolQA: OaK ha ottenuto la migliore performance media ponderata, dimostrando una capacità superiore di comporre operazioni su corpora eterogenei mappando le domande su procedure riutilizzabili e tipizzate, vincolate dallo schema di dominio.

Gli studi di ablazione hanno confermato la necessità di ogni componente:

La rimozione della Composizione di Funzioni ha causato la maggiore degradazione delle prestazioni, poiché gli agenti faticavano a ricostruire le operazioni dipendenti per ogni query.
La rimozione del Modulo di Funzioni ha eliminato le procedure riutilizzabili, costringendo gli agenti a ragionare direttamente sull'intero grafo.
La rimozione del Raffinamento Iterativo (costruzione a singolo round) ha portato a prestazioni significativamente inferiori, evidenziando la necessità di riparazioni guidate dal giudice per correggere vincoli mancanti e lacune nel ragionamento.

Analisi dei Costi: Sebbene OaK comporti costi di runtime e di token in uscita più elevati a causa dell'istanziazione del grafo, ottiene prestazioni superiori con meno token in ingresso rispetto a baseline come ReAct e MemP, suggerendo che le funzioni adattate allo schema riducono la necessità di una vasta ricostruzione del contesto.

Significato e Rivendicazioni

L'articolo sostiene che OaK affronti il divario di affidabilità degli agenti LLM rendendo espliciti la semantica di dominio e il comportamento eseguibile. Agendo come un "contratto semantico e procedurale", il kernel dell'ontologia vincola le azioni dell'agente per garantire che gli output siano collegati a prove di supporto e che i passaggi errati possano essere identificati e corretti.

Gli autori sottolineano che OaK integra i meccanismi di controllo degli agenti esistenti (come la riflessione e la memoria) strutturando l'interfaccia del compito stesso. I risultati suggeriscono che definire esplicitamente l'interfaccia tra i requisiti del compito e l'esecuzione dell'agente migliori sia l'efficacia che l'ispezionabilità degli agenti LLM in compiti di ragionamento complessi e multi-step. Il documento riconosce i limiti, notando il costo dell'istanziazione del grafo e la dipendenza da estrattori e giudici basati su LLM, suggerendo lavori futuri in grafi riutilizzabili e librerie di operatori più ricche.