Agent-OM: Leveraging LLM Agents for Ontology Matching

Dit artikel introduceert Agent-OM, een nieuw raamwerk dat LLM-agenten inzet voor het oplossen van semantische heterogeniteit tussen ontologieën en dat, zoals aangetoond door evaluaties op OAEI-benchmarks, uitstekende prestaties levert op zowel eenvoudige als complexe matching-taken.

De kern

Agent-OM: De Slimme Vertaler voor Digitale Werelden

Stel je voor dat je twee enorme bibliotheken hebt. In de ene bibliotheek (de "Bron") staan boeken over conferenties, maar ze zijn geschreven in een taal die alleen de oude bibliothecarissen begrijpen. In de andere bibliotheek (de "Doel") staan boeken over hetzelfde onderwerp, maar dan in een heel andere taal en met andere indelingen.

Het probleem? Je wilt weten welk boek in de ene bibliotheek precies hetzelfde inhoudt als welk boek in de andere. Dit noemen we Ontologie Matching. Het is als het vinden van de perfecte dubbelgangers tussen twee verschillende werelden.

Vroeger deden computers dit met starre regels (als A lijkt op B, dan is het hetzelfde) of met machine learning die duizenden voorbeelden nodig had om te leren. Maar nu hebben we LLM's (zoals de slimme AI's die je misschien kent). Die zijn geweldig in taal, maar ze hebben een paar lastige eigenschappen:

1. Ze weten niet alles wat er gisteren is gebeurd.
2. Ze kunnen "hallucineren" (dingen verzinnen die klinken als waarheid, maar niet kloppen).
3. Ze zijn niet goed in complexe plannen maken of het zoeken naar specifieke feiten zonder hulp.

Hier komt Agent-OM om de hoek kijken.

Wat is Agent-OM eigenlijk?

In plaats van de AI gewoon te vragen: "Zijn deze twee woorden hetzelfde?", hebben de onderzoekers een AI-agent gebouwd. Denk aan deze agent niet als een simpele chatbot, maar als een super-organiseerde detective met een team van gespecialiseerde hulpmiddelen.

Deze detective werkt met een slim systeem dat bestaat uit drie belangrijke onderdelen:

1. De "Tweeling" (Siamese Agents)

Stel je voor dat je twee detectives hebt die samenwerken, maar elk hun eigen werkplek hebben.

• Detective A (Retrieval Agent): Deze gaat eerst op onderzoek uit. Hij leest alle boeken in beide bibliotheken, haalt de belangrijkste feiten eruit en legt ze netjes opgeslagen in een enorme, slimme archiefkast.
• Detective B (Matching Agent): Deze kijkt naar de archiefkast van Detective A en begint te vergelijken. Hij zoekt naar de beste matches.

Ze noemen ze "Siamese" (Siamese tweelingen) omdat ze hun eigen plannen maken en hulpmiddelen gebruiken, maar ze delen één geheugen. Dat is cruciaal: wat de ene detective vindt, weet de andere direct.

2. Het Geheugen en de Hulpmiddelen (Tools)

Een gewone AI moet alles in één keer onthouden, wat vaak leidt tot fouten. Agent-OM doet het anders:

• Korte-termijn geheugen: Ze praten met elkaar in een chatvenster om hun gedachten te ordenen (zoals een detective die zijn notities doorneemt).
• Lange-termijn geheugen: Ze gebruiken een hybride database. Dit is als een bibliotheek die zowel een traditionele index heeft (voor exacte namen) als een "gevoels-index" (voor betekenis). Als je zoekt op "hond", vindt hij niet alleen het woord "hond", maar ook "dier dat blaft" of "vierpotige vriend", zelfs als dat niet exact zo staat geschreven.
• De Hulpmiddelen: De AI roept geen magische krachten in, maar gebruikt specifieke tools. Hij vraagt: "Wat betekent dit woord?" of "Zoek in de database naar vergelijkbare termen." Dit voorkomt dat de AI gaat verzinnen.

3. De "Check" (Validatie)

Dit is misschien wel het slimste deel. Voordat de detective een match definitief maakt, doet hij een self-check. Hij vraagt zichzelf: "Weet ik zeker dat deze twee hetzelfde zijn? Kijk eens naar de context."
Als hij twijfelt, gooit hij de match weg. Dit voorkomt dat hij "hallucineert" en twee dingen met elkaar verbindt die niets met elkaar te maken hebben.

Waarom is dit zo goed?

De onderzoekers hebben hun systeem getest op echte, moeilijke taken (zoals het matchen van medische termen of materiaalwetenschap).

• Bij simpele taken: Het doet het net zo goed als de beste systemen die er al jaren zijn.
• Bij moeilijke taken: Waar andere systemen vastliepen (bijvoorbeeld bij termen die maar één keer voorkomen, of bij complexe medische codes), schitterde Agent-OM. Het kon de betekenis van woorden begrijpen, zelfs als ze er heel anders uitzagen.

De Gouden Tips (Wat hebben ze geleerd?)

De onderzoekers ontdekten twee belangrijke instellingen om de detective optimaal te laten werken:

1. De "Zekerheidsdrempel": Ze moeten erg zeker zijn (90-95% zekerheid) voordat ze zeggen "Ja, dit is hetzelfde". Als je te laag instelt, krijg je veel fouten.
2. Het "Aantal Kansen": Laat de detective eerst 3 of 4 mogelijke matches bekijken voordat hij de beste kiest. Kijkt hij maar naar 1, mist hij misschien de juiste. Kijkt hij naar 10, wordt het te rommelig.

Conclusie

Agent-OM is als het geven van een bril, een notitieblok en een team van experts aan een slimme AI. In plaats van de AI te dwingen alles uit zijn hoofd te kennen, geven we haar de tools om te zoeken, te plannen en zichzelf te controleren.

Het resultaat? Een systeem dat complexe digitale vertalingen tussen verschillende werelden niet alleen sneller, maar ook veel accurater maakt. Het is een stap dichter bij een internet waar alle systemen perfect met elkaar kunnen praten, zonder dat er duizenden mensen handmatig hoeven te werken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Agent-OM: Leveraging LLM Agents for Ontology Matching" in het Nederlands.

Probleemstelling

Het koppelen van ontologieën (Ontology Matching - OM) is een cruciale taak voor semantische interoperabiliteit, waarbij overeenkomsten worden gevonden tussen entiteiten van verschillende ontologieën. Bestaande systemen volgen twee paradigma's:

1. Kennisgebaseerde systemen: Vereisen uitgebreide expertkennis en zijn arbeidsintensief.
2. Machine Learning (ML) systemen: Vereisen grote hoeveelheden hoogwaardige trainingsdata, wat vaak niet beschikbaar is voor specifieke domeinen.

Hoewel Large Language Models (LLMs) veelbelovend zijn, zijn ze voor OM-taken niet direct toepasbaar zonder aanpassingen vanwege drie hoofdproblemen:

• Gebrek aan actuele informatie: LLMs zijn vooraf getraind en missen late-breaking informatie.
• Hallucinaties: Ze genereren vaak syntactisch correcte maar feitelijk onjuiste antwoorden, wat de betrouwbaarheid in domeinspecifieke taken ondermijnt.
• Beperkte niet-taalgebonden vaardigheden: LLMs hebben moeite met complexe planning, redenering en het navigeren door grote zoekruimtes zonder expliciete instructies.

Directe fine-tuning van LLMs is vaak onmogelijk vanwege de enorme grootte van de modellen en het gebrek aan voldoende trainingsdata voor specifieke ontologieën.

Methodologie: Agent-OM Framework

De auteurs stellen een nieuw, agent-gebaseerd ontwerpparadigma voor, genaamd Agent-OM. In plaats van de LLM te gebruiken als een statisch voorspellend model, fungeert de LLM als een autonome agent met planning, geheugen en hulpmiddelen.

Het framework bestaat uit twee "Siamese" agents (Retrieval Agent en Matching Agent) die een gedeeld geheugen gebruiken:

1. Architectuur:

   • Retrieval Agent ($Agent_R$): Verantwoordelijk voor het extraheren van entiteiten, het verzamelen van metadata en het genereren van contextuele informatie (syntactisch, lexicaal, semantisch). Deze informatie wordt opgeslagen in een hybride database.
   • Matching Agent ($Agent_M$): Voert het daadwerkelijke matchingproces uit door de opgeslagen informatie te doorzoeken, kandidaten te selecteren, resultaten te samenvatten en te valideren.

2. Kerncomponenten:

   • Planning (Chain-of-Thought - CoT): De LLM deelt complexe taken op in beheersbare subtaken en bepaalt de volgorde van tool-aanroepen.
   • Tools (Function Calling): Een reeks gespecialiseerde tools wordt gebruikt om hallucinaties te minimaliseren en de kwaliteit te verhogen:
     • Metadata, Syntactische, Lexicale en Semantische Retrievers: Verzamelen informatie uit de ontologie en externe bronnen (via prompts).
     • Hybride Database: Combineert een relationele database (voor metadata) en een vectordatabase (voor semantische zoekopdrachten via embeddings). Dit maakt zoekgebaseerde matching mogelijk in plaats van brute-force vergelijking.
     • Matching Summariser: Gebruikt Reciprocal Rank Fusion (RRF) om resultaten van verschillende matchers te combineren.
     • Matching Validator: Stelt de LLM een binaire vraag ("Is X equivalent aan Y?") om de geselecteerde matches te valideren en hallucinaties te filteren.
     • Matching Merger: Combineert resultaten van bidirectionele zoekopdrachten ($O_s \to O_t$ en $O_t \to O_s$) om alleen wederzijdse matches te accepteren.
   • Geheugen:
     • Kortetermijngeheugen: Dialooggeschiedenis voor context binnen een sessie (In-Context Learning).
     • Lange termijngeheugen: De hybride database voor het opslaan en terugvinden van entiteitsinformatie (Retrieval-Augmented Generation - RAG).

3. Implementatie Details:

   • Het systeem ondersteunt diverse LLMs (zowel API-gebaseerde zoals GPT-4o en Claude als open-source modellen zoals Llama en Qwen).
   • Het gebruikt een uniforme naamgeving voor entiteiten (bijv. het vervangen van codes door hun labels) om de interpretatie door de LLM te verbeteren.

Belangrijkste Bijdragen

• Nieuw Paradigma: Introductie van het eerste framework dat LLM-agents specifiek toepast op Ontology Matching, in plaats van alleen conversatie of directe classificatie.
• Hybride Aanpak: Combinatie van planning (CoT), tools (function calling) en geheugen (RAG/ICL) om de beperkingen van pure LLM-gebruik te overwinnen.
• Schaalbaarheid en Kosteneffectiviteit: Door zoekopdrachten te gebruiken in plaats van brute-force paar-voor-paar vergelijkingen, wordt de token-kost drastisch verlaagd en de efficiëntie voor grote ontologieën verhoogd.
• Proof-of-Concept: Een werkend systeem dat is geïmplementeerd en getest op diverse datasets.

Resultaten en Evaluatie

Het systeem is geëvalueerd op drie tracks van het Ontology Alignment Evaluation Initiative (OAEI): Conference, Anatomy en MSE (Materials Science and Engineering).

• Prestaties:
  • Op simpele taken (veel triviale overeenkomsten) behaalt Agent-OM resultaten die zeer dicht bij de langdurig beste prestaties liggen.
  • Op ** complexe en few-shot taken** (weinig trainingsdata, moeilijke semantische koppelingen) toont Agent-OM aanzienlijke verbeteringen ten opzichte van state-of-the-art systemen, inclusief andere ML-gebaseerde systemen.
  • In de Anatomy Track (Test Case 2, niet-triviale matches) scoorde het hoger dan 11 van de 12 vergeleken systemen.
• Hyperparameters:
  • De optimale gelijkheidstreshold bleek te liggen tussen 0.90 en 0.95.
  • De optimale top@k (aantal kandidaten) bleek te liggen tussen 3 en 5.
• Ablatie Studies:
  • De combinatie van een hybride database en zoekgebaseerde matching is cruciaal voor kosteneffectiviteit.
  • De Matching Validator en Merger verbeteren de precisie aanzienlijk door valse positieven te filteren, ten koste van een lichte daling in recall.
  • API-toegankelijke modellen (zoals GPT-4o) presteren over het algemeen beter dan open-source modellen, hoewel sommige open-source modellen (zoals Gemma-2-9b) competitief zijn.

Betekenis en Conclusie

Agent-OM bewijst dat LLM-agents een krachtige oplossing zijn voor Ontology Matching, vooral in scenario's waar weinig trainingsdata beschikbaar is. Het systeem overbrugt de kloof tussen de generatieve kracht van LLMs en de noodzaak voor nauwkeurige, logische redenering door het gebruik van planning en externe tools.

Belangrijke inzichten:

• Efficiëntie: Het is kosteneffectiever dan het gebruik van LLMs voor brute-force vergelijkingen.
• Zelfcorrectie: Agents kunnen fouten detecteren en corrigeren via validatiestappen.
• Moravec's Paradox: Het systeem presteert verrassend goed op complexe taken, maar is minder uitmuntend op simpele taken waar traditionele systemen al perfect presteren ("harde problemen zijn makkelijk, makkelijke problemen zijn hard").
• Toekomst: Hoewel hallucinaties kunnen worden gemitigeerd, kunnen ze niet volledig worden geëlimineerd. Toekomstig werk richt zich op multimodale input, meertalige ondersteuning en het integreren van traditionele kennisgebaseerde methoden.

Samenvattend biedt Agent-OM een schaalbaar, flexibel en effectief raamwerk dat de weg vrijmaakt voor volledig geautomatiseerde, domeinonafhankelijke ontologie-koppeling.