Agent-OM: Leveraging LLM Agents for Ontology Matching

Cet article présente Agent-OM, un nouveau cadre générique exploitant des agents de modèles de langage pour l'appariement d'ontologies, qui démontre des performances compétitives sur des tâches simples et une amélioration significative sur des tâches complexes et en contexte de few-shot par rapport aux systèmes de l'état de l'art.

L'essentiel

Voici une explication simple et imagée de l'article scientifique "Agent-OM : Utiliser des agents d'IA pour l'appariement d'ontologies".

🌍 Le Problème : Deux Dictionnaires qui ne se parlent pas

Imaginez que vous avez deux bibliothèques immenses.

• La Bibliothèque A (l'ontologie source) est tenue par des experts en informatique. Ils appellent un fauteuil de bureau "Chaise de bureau".
• La Bibliothèque B (l'ontologie cible) est tenue par des architectes. Eux, ils appellent le même objet "Siège de travail".

Le but de l'Appariement d'Ontologies (OM) est de dire : "Attendez, 'Chaise de bureau' et 'Siège de travail', c'est la même chose !".

Jusqu'à présent, on utilisait deux méthodes :

1. Les experts humains : Très précis, mais lents et coûteux (comme faire traduire un livre page par page par un professeur).
2. Les logiciels statistiques : Rapides, mais ils ont besoin de milliers d'exemples pour apprendre (comme un élève qui doit lire 1000 livres pour comprendre ce qu'est une chaise).

🤖 La Nouvelle Solution : Agent-OM (Le Super-Détective)

Les auteurs de cet article ont créé un nouveau système appelé Agent-OM. Au lieu d'utiliser une simple intelligence artificielle (IA) qui "devine" la réponse, ils ont créé un Agent.

Imaginez un Super-Détective (l'IA) qui ne travaille pas seul, mais qui a une équipe et des outils à sa disposition. C'est là que la magie opère.

1. Le Cerveau Central (Le LLM)

C'est le chef d'orchestre. Il ne fait pas tout le travail lui-même. Il dit : "Ok, je dois trouver l'équivalent de ce mot. Je vais d'abord chercher des indices, puis comparer, et enfin vérifier."

2. Les Deux Agents Jumeaux (Siamese Agents)

Le système utilise deux agents qui travaillent en tandem, comme des jumeaux :

• L'Agent Récupérateur (Retrieval Agent) : C'est l'archiviste. Il va fouiller dans les bibliothèques pour trouver toutes les infos sur un objet (son nom, sa description, ses relations). Il ne se contente pas de lire le titre, il lit aussi les commentaires et les définitions.
• L'Agent Appariement (Matching Agent) : C'est le détective. Il prend les infos de l'archiviste et cherche les correspondances dans l'autre bibliothèque.

3. La Mémoire et les Outils (Le Secret de la Réussite)

Pourquoi ce système est-il mieux qu'une IA classique ? Parce qu'il a de la mémoire et des outils :

• La Mémoire à court terme : C'est comme un post-it sur le bureau du détective. Il note ce qu'il vient de lire pour ne pas l'oublier dans la phrase suivante.
• La Mémoire à long terme (La Base de Données) : Au lieu de tout lire dans sa tête (ce qui est lent et coûteux), l'agent écrit tout dans un grand classeur numérique. Quand il cherche une correspondance, il utilise un moteur de recherche ultra-rapide (comme Google) pour trouver les pages pertinentes, au lieu de tout relire.
• Le Vérificateur : Avant de valider une réponse, l'agent se pose la question : "Est-ce que j'ai vraiment raison ?". Il rejette les réponses qui semblent bizarres (les "hallucinations" de l'IA).

🧪 Les Résultats : Comment ça marche en vrai ?

Les chercheurs ont testé leur détective sur trois types de missions (les "tracks" OAEI) :

1. Les missions faciles (Ex: "Chaise" vs "Chaise") :
   • Résultat : L'agent est aussi bon que les meilleurs systèmes existants depuis des années. Il ne fait pas de bêtises sur les évidences.
2. Les missions complexes (Ex: "Artère fémorale" vs "Femoral_Artery" dans des codes médicaux) :
   • Résultat : Là, l'agent brille ! Là où les autres logiciels échouent car ils ne comprennent pas le contexte, l'agent utilise son "bon sens" (entraîné sur des milliards de textes) pour deviner que c'est la même chose.
3. Les missions avec peu d'exemples (Few-shot) :
   • Résultat : Même sans avoir vu beaucoup d'exemples avant, l'agent s'en sort très bien grâce à sa capacité à comprendre le contexte.

💡 L'Analogie Finale

Imaginez que vous devez traduire un livre ancien.

• L'approche ancienne : Vous engagez un traducteur qui doit mémoriser tout le dictionnaire par cœur (c'est lent et cher).
• L'approche Agent-OM : Vous engagez un traducteur expert qui a un ordinateur (pour chercher les mots rapidement), un cahier de notes (pour ne pas oublier le contexte) et un collègue vérificateur (pour s'assurer qu'il n'invente pas des mots).

🏆 Conclusion Simple

Agent-OM prouve que l'on n'a pas besoin de réapprendre à l'IA (ce qui est trop cher) pour qu'elle soit bonne en sciences des données. Il suffit de lui donner un plan, des outils de recherche et un système de vérification.

C'est comme passer d'un élève qui apprend par cœur à un chercheur professionnel qui sait comment utiliser une bibliothèque. Résultat : plus rapide, moins cher, et surtout, beaucoup plus intelligent sur les sujets complexes.

Résumé technique

1. Problématique et Contexte

L'appariement d'ontologies (Ontology Matching - OM) est une tâche essentielle pour l'interopérabilité sémantique, visant à aligner les entités (classes et propriétés) de deux ontologies différentes. Bien que des systèmes traditionnels basés sur la connaissance (expert) et des systèmes d'apprentissage automatique (ML) existent, ils présentent des limites :

• Systèmes experts : Nécessitent une connaissance experte extensive et sont coûteux en main-d'œuvre.
• Systèmes ML (ex: BERTMap) : Nécessitent de grands volumes de données d'entraînement de haute qualité, ce qui est souvent impossible car les ontologies de domaine sont petites (100-200 entités) et les LLMs ne peuvent pas être réentraînés facilement (coût prohibitif, risque de fuite de données).

L'utilisation directe de Grands Modèles de Langage (LLM) pour l'OM rencontre également des obstacles majeurs :

1. Hallucinations : Les LLMs génèrent souvent des réponses factuellement incorrectes.
2. Manque de contexte dynamique : Ils ne capturent pas les informations récentes sans mise à jour.
3. Limites non linguistiques : Ils peinent dans les tâches de planification et de raisonnement logique complexe.
4. Coût et Tokenisation : Une approche naïve (comparaison binaire de chaque paire d'entités) explose le nombre de tokens et les coûts.

Objectif : Développer une nouvelle architecture exploitant les agents LLM autonomes pour surmonter ces limitations, en combinant planification, outils externes et mémoire, sans nécessiter de réentraînement du modèle.

---

2. Méthodologie : Le Framework Agent-OM

Les auteurs proposent Agent-OM, un cadre générique basé sur des agents LLM. L'architecture repose sur deux agents « jumeaux » (Siamese agents) qui partagent une mémoire mais possèdent leurs propres modules de planification et d'outils :

A. Architecture Globale

Le processus est divisé en deux étapes principales, gérées par deux agents distincts :

1. Agent de Récupération (Retrieval Agent - $Agent_R$) :

   • Rôle : Extraire les entités des ontologies source et cible, collecter leurs métadonnées et leur contexte (syntaxique, lexical, sémantique).
   • Outils :
     • Récupérateur de métadonnées : Identifie le type (classe/propriété) et la source.
     • Récupérateur syntaxique : Prétraitement (tokenisation, normalisation).
     • Récupérateur lexical : Utilise le LLM pour générer des définitions contextuelles (similaire à une recherche sur Wikipédia via prompt).
     • Récupérateur sémantique : Verbalise les relations triples (ex: rdfs:subClassOf) en langage naturel.
   • Stockage : Les données sont stockées dans une base de données hybride (relationnelle pour les métadonnées, vectorielle pour le contenu textuel afin de permettre une recherche par similarité).

2. Agent d'Appariement (Matching Agent - $Agent_M$) :

   • Rôle : Trouver les correspondances, les classer et les valider.
   • Processus :
     • Recherche hybride : Interroge la base de données pour trouver des candidats similaires (cosinus) basés sur les informations syntaxiques, lexicales et sémantiques.
     • Fusion de rangs (RRF) : Combine les résultats des différents matchers.
     • Validation (Self-Check) : Le LLM pose une question binaire (« L'entité A est-elle équivalente à B dans ce contexte ? ») pour filtrer les hallucinations.
     • Fusion bidirectionnelle : Les résultats sont combinés en assurant que la correspondance est trouvée dans les deux sens ($O_s \to O_t$ et $O_t \to O_s$).

B. Composants Clés

• Planification (CoT) : Utilisation de la « Chain of Thought » pour décomposer la tâche complexe d'appariement en sous-tâches gérables.
• Mémoire :
  • Court terme : Dialogue de conversation pour le contexte immédiat.
  • Long terme : Base de données hybride (PostgreSQL + pgvector) pour stocker les informations des entités et permettre la recherche par similarité (RAG).
• Outils (Function Calling) : Le LLM agit comme un contrôleur qui invoque des outils externes (recherche de base de données, vérification) plutôt que de tout générer de mémoire.

---

3. Contributions Principales

1. Nouveau Paradigme de Conception : Introduction d'une architecture basée sur des agents LLM pour l'OM, distincte des approches purement conversationnelles ou de classification binaire directe.
2. Framework Agent-OM : Implémentation d'un système complet intégrant :
   • Un LLM central agissant comme « cerveau ».
   • Des modules de planification utilisant CoT.
   • Des outils utilisant ICL (In-Context Learning) et RAG pour réduire les hallucinations.
   • Une mémoire partagée pour la recherche et la récupération des mappings.
3. Résolution des défis techniques :
   • Réduction des coûts de tokens via la recherche par similarité (évite la comparaison exhaustive de toutes les paires).
   • Gestion des conventions de nommage complexes (codes vs noms naturels) via une normalisation préalable.
   • Mécanismes de validation pour atténuer les hallucinations.

---

4. Résultats Expérimentaux

Le système a été évalué sur trois pistes de l'OAEI (Ontology Alignment Evaluation Initiative) : Conférence, Anatomie et MSE (Sciences des Matériaux).

• Tâches Simples (Correspondances triviales) :
  • Agent-OM obtient des résultats très proches des meilleurs systèmes existants (F1-score élevé), confirmant sa capacité à gérer les cas standards.
• Tâches Complexes et Few-Shot (Peu d'exemples) :
  • Amélioration significative : Sur les tâches complexes (ex: Anatomie sans correspondances triviales, Sciences des matériaux avec acronymes), Agent-OM surpasse la plupart des systèmes traditionnels et des approches ML.
  • Il se classe souvent dans le top 3 ou 1er, surpassant même des systèmes basés sur l'apprentissage profond (DL) qui bénéficiaient de grands ensembles de données d'entraînement spécifiques.
• Analyse des Composants (Ablation Study) :
  • L'utilisation d'une base de données hybride et de la recherche par similarité est cruciale pour l'efficacité (complexité réduite de $N_s \times N_t$ à $N_s + N_t$).
  • Le validateur d'appariement (Self-Check) améliore la précision (Precision) en réduisant les faux positifs, au prix d'une légère baisse du rappel (Recall).
  • Les modèles API (GPT-4o, Claude-3) surpassent généralement les modèles open-source, mais Gemma-2-9b montre de bons résultats parmi les open-source.

Paramètres Optimaux :

• Seuil de similarité ($T$) : $[0.90, 0.95]$ pour équilibrer précision et rappel.
• Nombre de candidats ($k$) : $[3, 4, 5]$.

---

5. Signification et Discussion

• Efficacité et Coût : L'approche par agents est plus rentable que l'appariement LLM naïf car elle réduit drastiquement la consommation de tokens grâce à la recherche vectorielle et évite le réentraînement des modèles.
• Autonomie : Le système simule le comportement humain en effectuant du prétraitement, de l'analyse et de la validation, réduisant ainsi la nécessité d'intervention humaine.
• Paradoxe de Moravec : Les auteurs notent un phénomène intéressant : Agent-OM excelle sur les tâches complexes (raisonnement, contexte) mais est moins performant que les systèmes simples sur les tâches triviales (correspondances exactes de noms), illustrant que « les problèmes difficiles sont faciles et les problèmes faciles sont difficiles » pour les LLMs.
• Limites et Futur :
  • Les hallucinations ne peuvent être totalement éliminées (nécessité potentielle d'une boucle humaine).
  • L'approche actuelle se concentre sur les T-Box (classes/propriétés), excluant les A-Box (instances) pour des raisons de confidentialité.
  • Travail futur envisagé sur l'OM multilingue, multimodal et l'utilisation de petits modèles de langage (SLM).

Conclusion :
Agent-OM démontre que l'utilisation d'agents LLM, structurés avec une planification rigoureuse, des outils externes et une mémoire, permet de réaliser un appariement d'ontologies entièrement automatisé, performant et adaptable, sans avoir besoin de réentraîner les modèles de base. C'est une avancée majeure vers un OM 100% automatisé et indépendant du domaine.