🤖 AI

Toward Effective and Reliable LLM Agents via Dynamic Ontology

L'article présente OaK, un cadre qui construit et affine dynamiquement des ontologies orientées tâches afin de fonder explicitement les connaissances et les relations, améliorant ainsi l'utilisation des preuves et la fiabilité du raisonnement multi-étapes des agents de modèles de langage de grande taille.

Auteurs originaux : Xiaohui Zhang, Zequn Sun, Chengyuan Yang, Yuanning Cui, Lingbing Guo, Wei Hu

Publié 2026-08-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaohui Zhang, Zequn Sun, Chengyuan Yang, Yuanning Cui, Lingbing Guo, Wei Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde en évolution rapide de l'intelligence artificielle, un type spécifique de logiciel connu sous le nom de « grand modèle de langage » est apparu comme un outil puissant pour comprendre et générer le langage humain. Ces modèles sont souvent utilisés pour construire des « agents », qui sont des programmes conçus non seulement pour discuter, mais pour accomplir des tâches complexes en les décomposant en étapes plus petites, comme la recherche d'informations, l'utilisation d'outils numériques et la prise de décisions basées sur ce qu'ils trouvent. Cependant, à mesure que ces agents tentent des travaux plus longs et plus compliqués, ils rencontrent souvent des difficultés. Ils peuvent perdre la trace des faits dont ils ont besoin, faire des sauts logiques qui ne tiennent pas la route ou s'enfermer dans des boucles d'erreurs car ils s'appuient trop lourdement sur la vaste connaissance non structurée stockée dans leur propre mémoire. Pour résoudre cela, les chercheurs explorent des moyens de donner à ces agents une carte du monde plus claire et plus organisée qu'ils naviguent, garantissant que chaque étape qu'ils franchissent est fondée sur des preuves fiables plutôt que sur des suppositions.

Une équipe de chercheurs de l'Université de Nanjing et d'autres institutions a développé un nouveau cadre appelé OaK pour répondre à ces problèmes de fiabilité. Leur travail se concentre sur un concept appelé « ontologie », qui est essentiellement un dictionnaire structuré de concepts et de leurs relations, écrit d'une manière que les ordinateurs peuvent interpréter strictement. Alors que les méthodes traditionnelles de création de ces structures nécessitent que des experts définissent manuellement chaque règle — un processus lent et difficile — le nouveau système automatise la création de ces cartes spécifiquement pour la tâche en question. Les chercheurs ont constaté qu'en construisant une structure personnalisée et dynamique pour chaque tâche, ils pouvaient améliorer considérablement la capacité d'un agent à planifier et à exécuter des tâches multi-étapes, rendant le processus plus transparent et moins sujet à l'échec.

Le cœur du système OaK est un processus en deux étapes qui se déroule avant que l'agent n'entreprenne une tâche réelle. D'abord, le système examine un ensemble d'exemples d'entraînement et les exigences spécifiques d'un travail, comme la planification d'un voyage ou la gestion de données clients. Il rédige ensuite automatiquement un schéma, qui est un plan définissant les types d'informations importants impliqués, comme les « hôtels », les « vols » ou les « budgets », et comment ils se connectent. Ce plan n'est pas seulement une liste ; il est rigoureusement vérifié par un raisonneur logique pour s'assurer qu'il n'y a pas de contradictions ou de règles manquantes. Si le plan est défectueux, le système le corrige avant de poursuivre. Une fois que le plan est solide, le système construit un graphe de connaissances, un réseau de points de données réels extraits des documents d'entraînement, organisé exactement selon les règles du plan.

Avec cette fondation structurée en place, le système crée un ensemble d'outils spécialisés, ou fonctions, que l'agent peut utiliser. Au lieu de demander à l'agent de comprendre comment rechercher un vol, de filtrer par prix et de vérifier la disponibilité par lui-même, le système fournit des outils pré-construits qui effectuent ces actions spécifiques correctement. L'agent utilise ensuite ces outils pour résoudre des problèmes, guidé par les règles strictes du plan. Si l'agent commet une erreur ou si la tâche échoue, un modèle « juge » examine l'ensemble du processus, identifie précisément où le plan ou les outils ont fait défaut, et suggère des améliorations. Ce cycle de construction, de test et de perfectionnement se répète plusieurs fois jusqu'à ce que le système soit assez robuste pour gérer des questions inédites. Le résultat est un « noyau » (kernel), une interface fiable et figée que l'agent utilise pour interagir avec les données, garantissant que chaque décision est appuyée par des preuves et que l'agent ne peut pas accidentellement inventer des faits ou ignorer des contraintes.

Les chercheurs ont testé cette approche sur trois types de défis très différents pour voir si elle tenait bon dans le monde réel. Le premier était une tâche de planification de voyage où un agent devait organiser des vols, des hôtels, des repas et des activités tout en respectant des contraintes strictes de budget et d'emploi du temps. Le second impliquait la gestion de relations clients dans un contexte commercial, exigeant que l'agent suive des politiques d'entreprise complexes et récupère des dossiers spécifiques. Le troisième testait la capacité à combiner des informations provenant de diverses sources externes, telles que des bases de données de vols et des critiques de restaurants, pour répondre à des questions détaillées. Dans chaque cas, le système OaK a surpassé les méthodes standards. Sur la tâche de planification de voyage, par exemple, le système a amélioré le taux de réussite de la complétion d'un itinéraire complet et valide d'environ 15 % à près de 56 % en utilisant l'un des modèles de base, et d'environ 4 % à près de 20 % avec un autre. Il a également montré des gains significatifs dans les tâches commerciales et de données, particulièrement dans les scénarios où l'agent devait suivre des règles strictes ou combiner des données provenant de plusieurs tableaux.

L'étude a également révélé pourquoi ces améliorations se sont produites. Lorsque les chercheurs ont supprimé les outils sur mesure ou ont empêché le système de perfectionner son plan sur plusieurs cycles, les performances ont chuté brutalement. Cela indiquait que donner simplement accès aux données à l'agent ne suffisait pas ; l'agent avait besoin des règles structurées et des outils pré-emballés pour coordonner ses actions efficacement. Le système fonctionnait en rendant le processus de raisonnement de l'agent visible et contraint, l'empêchant de s'égarer dans des suppositions non fondées. Bien que la nouvelle méthode nécessite un peu plus de temps d'exécution et produise plus de texte de sortie que certaines approches plus simples, elle utilisait moins de jetons (tokens) d'entrée, suggérant que l'interface structurée rendait l'agent plus efficace pour traiter les informations dont il avait besoin. Les chercheurs ont conclu qu'en transformant la connaissance du domaine en une interface exécutable et autocorrectrice, ils pouvaient rendre les agents d'intelligence artificielle plus fiables, dignes de confiance et capables de gérer le raisonnement complexe à plusieurs étapes requis dans les applications du monde réel.

Résumé Technique : OaK – Vers des Agents LLM Efficaces et Fiables via une Ontologie Dynamique

Énoncé du Problème

Les agents basés sur les Grands Modèles de Langage (LLM) reposent actuellement de manière intensive sur les connaissances encodées dans les paramètres du modèle ou présentées sous forme de contexte non structuré. Dans les tâches spécifiques à un domaine, cette dépendance laisse les connexions sémantiques critiques implicites, ce qui entraîne une utilisation incomplète des preuves et une prise de décision multi-étapes fragile. Bien que les ontologies offrent un mécanisme pour externaliser les concepts et les relations de domaine en structures interprétables par machine, la construction d'ontologies traditionnelles est laborieuse, exigeant un effort d'expert substantiel et manquant de scalabilité. De plus, la construction automatique est complexe ; une ontologie qui semble sémantiquement plausible peut néanmoins manquer des structures relationnelles spécifiques requises pour une prise de décision réelle.

Le défi central identifié est que les architectures d'agents actuelles (par exemple, ReAct, les boucles de réflexion) améliorent la planification et la réutilisation de la mémoire, mais laissent l'ensemble des concepts admissibles et des séquences d'actions implicite. Par conséquent, le comportement de l'agent manque d'un contrat exécutoire concernant ce qu'il peut exécuter ou la manière dont les résultats doivent être vérifiés, ce qui rend difficile le traçage des échecs d'exécution ou la garantie que les sorties sont fondées sur des preuves de soutien.

Méthodologie : Le Cadre OaK

Les auteurs proposent OaK (Ontology-as-a-Kernel), un cadre qui construit et affine dynamiquement des ontologies orientées vers les tâches pour servir de contrat sémantique et procédural aux agents LLM. OaK opère en deux étapes distinctes : une phase de construction sur les données d'entraînement et une phase d'inférence sur des requêtes inédites.

1. Le Noyau de l'Ontologie (Ontology Kernel)

Le cadre encapsule l'interface de la tâche dans un noyau $K = (S, F)$ , où :

$S$ (Schéma) : Un schéma orienté tâche définissant les concepts de domaine disponibles, leurs propriétés, leurs relations et leurs contraintes.
$F$ (Fonctions) : Un ensemble de fonctions de raisonnement typées définissant des procédures exécutables pour la récupération, le filtrage, le parcours, la projection, l'agrégation et le raisonnement multi-étapes.

2. Boucle de Construction

La phase de construction exécute une boucle de raffinement itérative en quatre étapes sur les données d'entraînement :

Étape 1 : Construction du Schéma : Un LLM analyse les descriptions de tâches et les échantillons d'entraînement pour rédiger une spécification d'exigences ( $R$ ). Il rédige ensuite un schéma ( $S_t$ ) basé sur $R$ et sur les retours de l'étape précédente. Ce projet est soumis à une vérification formelle en étant encodé sous la forme d'une ontologie OWL et en utilisant le raisonneur HermiT pour vérifier la validité logique (disjonction, restrictions, cohérence et classes insatisfaisables). Les schémas invalides sont réparés à partir de contre-exemples.
Étape 2 : Instanciation du Graphe de Connaissances : En utilisant le schéma validé, OaK instancie un graphe de connaissances ( $G_t$ ) à partir des corpus de référence. Cela utilise un pipeline "chunk–map–merge" où un extracteur LLM mappe les segments de texte vers des entités et des relations typées, suivi d'un opérateur de fusion qui résout les doublons en utilisant les clés primaires déclarées par le schéma pour créer des nœuds canoniques.
Étape 3 : Raisonnement de Connaissance (Composition de Fonctions) : Un LLM compositeur assemble un catalogue de fonctions adaptées au domaine ( $F_t$ ) en composant des opérateurs génériques (ex: recherche d'entité, filtrage de contraintes) basés sur des motifs de raisonnement récurrents observés dans les requêtes d'entraînement. Ces fonctions sont testées sur $G_t$ pour garantir leur exécutabilité.
Étape 4 : Évaluation de l'Ontologie : Un agent ReAct exécute les requêtes d'entraînement en utilisant le noyau actuel. Un modèle juge examine les trajectoires d'exécution, les scores des tâches et le noyau lui-même pour générer des suggestions de réparation ( $\psi_t$ ). Ces suggestions ciblent des artefacts spécifiques (types d'entités, relations ou fonctions) pour l'ajout, la suppression ou la modification, alimentant ainsi les étapes 1 et 3 pour l'itération suivante.

3. Phase d'Inférence

Une fois la boucle terminée, le noyau est gelé ( $S^*, F^*$ ). Pour les requêtes de test inédites, l'agent opère strictement dans cet espace sémantique vérifié. Il instancie un graphe spécifique à la requête ( $G_q$ ) et résout la tâche en invoquant les fonctions gelées comme outils, en liant des arguments typés selon le schéma. Cela restreint l'agent à des compositions exécutables et contraintes par le schéma, empênant la génération ouverte d'inférences non supportées.

Contributions Clés

L'Ontologie comme Noyau : L'introduction d'un cadre qui couple un schéma orienté tâche avec des fonctions de raisonnement typées et un graphe d'évidence guidé par le schéma, servant d'interface contrôlée entre les LLM et les tâches de domaine.
Pipeline de Construction Automatisée : Un système qui construit automatiquement un schéma vérifié, instancie son graphe de connaissances et compile des opérateurs génériques en fonctions de domaine exécutables sans intervention d'expert manuel.
Raffinement Piloté par un Juge : Un mécanisme qui diagnostique et répare les échements de schéma et de fonction à travers les cycles de construction en utilisant les scores de tâches officiels et les trajectoires d'exécution.
Validation Empirique : Des expériences exhaustives démontrant des gains de performance constants à travers divers benchmarks et backbones de LLM.

Résultats Expérimentaux

OaK a été évalué sur trois benchmarks : TravelPlanner (planification multi-étapes), CRMArenaPro (exécution de flux de travail CRM) et ToolQA (utilisation d'outils compositionnels sur des corpus hétérogènes). Le cadre a été testé avec deux backbones LLM : DeepSeek-v4-flash et GPT-4o-mini.

TravelPlanner : OaK a obtenu les taux de réussite finaux les plus élevés et a dominé toutes les métriques macro. Il a surpassé les bases solides (ReAct, AFlow, MemP, ReCode, AgentSquare) en coordonnant efficacement les contraintes inter-composants (dates, budgets, transport) grâce à son schéma explicite et ses fonctions intégrées.
CRMArenaPro : OaK a obtenu les scores moyens les plus élevés dans les contextes B2B et B2C, excellant particulièrement dans les tâches de Politique et de Base de Données. L'exécution ancrée sur le schéma a réduit la charge cognitive du modèle de base pour le raisonnement complexe sur les données et la sélection d'enregistrements.
ToolQA : OaK a obtenu la performance moyenne pondérée la plus élevée, démontrant une capacité supérieure à composer des opérations sur des corpus hétérogènes en mappant les questions vers des procédures réutilisables et typées, contraintes par le schéma de domaine.

Les études d'ablation ont confirmé la nécessité de chaque composant :

La suppression de la Composition de Fonctions a provoqué la dégradation de performance la plus importante, car les agents peinaient à reconstruire des opérations dépendantes pour chaque requête.
La suppression du Module de Fonction a éliminé les procédures réutilisables, forçant les agents à raisonner directement sur l'intégralité du graphe.
La suppression du Raffinement Itératif (construction en un seul tour) a entraîné des performances nettement inférieures, soulignant la nécessité des réparations guidées par le juge pour corriger les contraintes manquantes et les lacunes de raisonnement.

Analyse des Coûts : Bien qu'OaK incurre des coûts plus élevés en termes de temps d'exécution et de jetons de sortie dus à l'instanciation du graphe, il atteint une performance de tâche supérieure avec moins de jetons d'entrée par rapport aux bases comme ReAct et MemP, suggérant que les fonctions adaptées au schéma réduisent le besoin de reconstruction massive du contexte.

Signification et Revendications

L'article affirme qu'OaK comble le fossé de fiabilité des agents LLM en rendant explicites la sémantique du domaine et le comportement exécutable. En agissant comme un "contrat sémantique et procédural", le noyau de l'ontologie contraint les actions de l'agent pour garantir que les sorties sont connectées à des preuves de soutien et que les étapes défaillantes peuvent être identifiées et corrigées.

Les auteurs soulignent qu'Oak complète les mécanismes de contrôle d'agents existants (comme la réflexion et la mémoire) en structurant l'interface de la tâche elle-même. Les résultats suggèrent qu'une définition explicite de l'interface entre les exigences de la tâche et l'exécution de l'agent améliore à la fois l'efficacité et l'inspectabilité des agents LLM dans les tâches de raisonnement complexes à plusieurs étapes. Le papier reconnaît des limites, notant le coût de l'instanciation du graphe et la dépendance vis-à-vis des extracteurs et des juges basés sur les LLM, suggérant des travaux futurs sur des graphes réutilisables et des bibliothèques d'opérateurs plus riches.