Automated Standardization of Legacy Biomedical Metadata Using an Ontology-Constrained LLM Agent

Dit artikel presenteert een LLM-agent die real-time toegang heeft tot autoritatieve biomedische terminologiediensten om legacy-metadata te standaardiseren, wat in een evaluatie met HuBMAP-gegevens leidt tot een hogere nauwkeurigheid dan alleen gebruik van het taalmodel.

De kern

De Digitale Vertaler die nooit Moet Gissen: Hoe AI Oude Wetenschappelijke Gegevens Redt

Stel je voor dat je een enorme bibliotheek binnenloopt, maar de boeken zijn geschreven in een vreemde taal, de titels zijn met potlood geschreven en de inhoud is willekeurig over de planken gegooid. Als je een specifiek boek zoekt, is het bijna onmogelijk. Dit is precies wat er gebeurt met wetenschappelijke data. Wetenschappers genereren enorme hoeveelheden informatie, maar de "beschrijvingen" (metadata) die bij die data horen, zijn vaak rommelig, onvolledig en niet gestandaardiseerd.

Deze paper van onderzoekers van Stanford en de Universiteit van Pennsylvania vertelt het verhaal van hoe ze een slimme oplossing hebben gevonden om deze chaos op te ruimen, zonder duizenden mensen in te huren om het handmatig te doen.

Het Probleem: De "Vage" Woordenlijst

In de wetenschap willen we dat data FAIR is: Findable (vindbaar), Accessible (toegankelijk), Interoperable (uitwisselbaar) en Reusable (opnieuw te gebruiken). Maar vaak schrijft de ene wetenschapper "longweefsel", de ander "long" en de derde "pulmonair". Voor een computer zijn dit drie totaal verschillende dingen.

Om dit op te lossen, hebben wetenschappers standaarden bedacht. Denk hierbij aan een strenge receptuur: "Gebruik alleen termen uit deze specifieke woordenlijst (een 'ontologie')." Maar hier zit het probleem:

1. De oude data is al jarenlang verzameld zonder deze regels.
2. De regels zelf zijn vaak alleen maar tekst in een document, niet iets waar een computer direct mee kan werken.

De Eerste Poging: De AI die uit het hoofd leert

Eerder probeerden ze een AI (een Large Language Model of LLM) om deze oude data te corrigeren. Ze gaven de AI de oude tekst en zeiden: "Hé AI, gebruik deze woordenlijst om de termen te verbeteren."

Het probleem hiermee is dat de AI moet gissen. Ze heeft de woordenlijst niet echt "voor zich", ze moet het uit haar trainingsdata halen. Het is alsof je iemand vraagt om een adres te vinden in een stad die ze alleen uit een oud boek kent, terwijl de stad de afgelopen jaren volledig is veranderd. De AI kan termen verzonnen die er goed uitzien, maar die niet bestaan, of ze kiest de verkeerde variant.

De Nieuwe Oplossing: De AI met een Telefoon (ARMS)

De onderzoekers hebben een nieuwe methode bedacht, genaamd ARMS (Agentic Real-Time Metadata Standardization). In plaats van de AI alleen te laten gissen, geven ze haar tools (gereedschappen) om live te zoeken.

Hier is een analogie om het te begrijpen:

• De Oude AI (Prompt-only): Stel je voor dat je een vertaler bent die in een kamer zit zonder internet. Iemand geeft je een zin in het Chinees en zegt: "Vertaal dit naar het Nederlands, maar gebruik alleen woorden die in dit boek staan." Je moet het uit je hoofd proberen te vertalen. Je kunt de woordenlijst niet checken. Je maakt fouten.
• De Nieuwe AI (ARMS): Nu krijg je een telefoon en een live databank. Als iemand je een zin in het Chinees geeft, bel je direct de woordenlijst-databank op. Je zegt: "Ik zoek het woord voor 'long', maar alleen in de categorie 'anatomie van de mens'." De databank geeft je direct het exacte, officiële woord terug. Jij hoeft niet meer te gissen; je kijkt het op.

In de paper noemen ze dit een "Agent". Deze AI-agent doet drie dingen:

1. Hij haalt de receptuur (de CEDAR-sjabloon) op van een server, zodat hij precies weet wat er mag.
2. Hij belt de woordenlijst-databank (BioPortal) om te zien welke termen er echt bestaan en welke precies passen.
3. Hij kiest de beste optie en corrigeert de data.

Wat Hadden Ze Getest?

Ze testten dit systeem op data van het HuBMAP-project (een enorm project om een kaart van het menselijk lichaam te maken). Ze hadden 839 oude, rommelige datasets.
Ze hadden een gouden standaard: een set van dezelfde datasets die door echte menselijke experts al perfect was opgeschoond. Dit was hun "antwoordenboekje" om te zien hoe goed de AI was.

De Resultaten: Een Duidelijke Winnaar

De resultaten waren overtuigend:

• Bij termen die een specifieke woordenlijst nodig hadden: De oude AI (die giste) had slechts 46% van de termen goed. De nieuwe AI (die live zocht) had 78% goed!
• Bij andere termen (zoals data of nummers): Ook hier verbeterde de nieuwe AI van 59% naar 79%.
• Alles bij elkaar: De nieuwe methode was 46% beter dan de oude methode.

Bij sommige soorten data (zoals 'Lightsheet' en 'MIBI' beeldvorming) haalde de nieuwe AI zelfs 100% perfectie.

Waarom is dit belangrijk?

Dit is niet alleen een technisch trucje. Het betekent dat we in de toekomst:

1. Miljoenen oude datasets kunnen redden en bruikbaar maken zonder dat we duizenden mensen nodig hebben om ze handmatig in te voeren.
2. Wetenschappers over de hele wereld data kunnen koppelen en vergelijken, omdat iedereen nu dezelfde, schone termen gebruikt.
3. De AI niet meer hoeft te hallucineren (verzonnen feiten te bedenken), omdat ze direct naar de bron kijkt.

Conclusie

De kernboodschap van dit paper is simpel: Geef de AI niet alleen instructies, geef haar ook de gereedschappen om die instructies uit te voeren.

Het is het verschil tussen iemand vragen om een adres uit zijn hoofd te herinneren, en iemand een GPS geven die live de verkeersinformatie checkt. Voor de toekomst van wetenschappelijke data is deze "live GPS" (de tool-gebruikende AI) de sleutel om de enorme berg aan oude, rommelige data om te toveren tot een bruikbare, vindbare schatkist.

Technische samenvatting

Probleemstelling

Wetenschappelijke metadata zijn vaak onvolledig, inconsistent en niet compliant met gemeenschapsstandaarden, wat de vindbaarheid, interoperabiliteit en herbruikbaarheid van datasets beperkt. Hoewel rapportagerichtlijnen (zoals MIAME) bestaan, zijn deze meestal tekstuele documenten zonder machine-actieve representaties.

• Huidige uitdaging: Om FAIR-data (Findable, Accessible, Interoperable, Reusable) te creëren, moeten metadata-standaarden worden omgezet in machine-actieve sjablonen met strikte waardenbeperkingen.
• Beperkingen van bestaande LLM-aanpakken: Eerdere onderzoeken toonden aan dat Large Language Models (LLMs) metadata kunnen verbeteren door gebruik te maken van sjablonen in de prompt. Echter, deze modellen behandelen beperkingen als statische tekst en vertrouwen op hun trainingskennis. Dit leidt tot "hallucinaties" en fouten, vooral wanneer:
  1. De LLM geen toegang heeft tot de actuele staat van een ontologie (die voortdurend evolueert).
  2. Beperkingen specifiek zijn voor een tak (sub-tree) binnen een ontologie (bijv. alleen celtypen in perifeer bloed), wat niet uit algemene trainingsdata kan worden afgeleid.
  3. De modelkennis verouderd is ten opzichte van de huidige terminologie.

Methodologie: Agentic Real-Time Metadata Standardization (ARMS)

De auteurs introduceren ARMS, een systeem dat een LLM-agent uitrust met tool-use-mogelijkheden via het Model Context Protocol (MCP). In plaats van de LLM te laten raden, geeft het systeem de agent de mogelijkheid om in real-time externe autoritaire bronnen te raadplegen.

Architectuur en Tools:
De agent, gebouwd met Python, LangChain en LangGraph, gebruikt drie specifieke MCP-tools:

1. get_cedar_template: Haalt de volledige CEDAR-sjabloon op via de REST API. Dit bevat definitie van velden, datatypes, patroonbeperkingen en ontologie-gebonden waardenbeperkingen.
2. term_search_from_ontology: Queryt de BioPortal API voor termen die overeenkomen met een zoekstring binnen een specifieke ontologie.
3. term_search_from_branch: Queryt de BioPortal API voor termen binnen een specifieke tak (branch) van een ontologie, wat cruciaal is voor nauwkeurige restricties.

Werkingsproces:

1. De agent ontvangt een legacy-metadatarecord en een CEDAR-template-ID.
2. De agent haalt de volledige sjabloon op om de beperkingen te begrijpen.
3. Voor elk veld met een ontologie-beperking voert de agent een live zoekopdracht uit bij BioPortal (binnen de juiste tak) om canonieke termen op te halen.
4. De agent redeneert over de gevonden kandidaten en selecteert de beste match op basis van de context van het legacy-record.
5. De agent lost ook verplaatste waarden op, voegt ontbrekende waarden toe op basis van context en corrigeert formaten (bijv. DOI-URLs) op basis van de sjabloon-specificaties.

Experimenteel Opzet:

• Dataset: 839 legacy-metadatarecords van het Human BioMolecular Atlas Program (HuBMAP), gedekt over 12 assay-types (Sequencing, Imaging, Mass Spectrometry).
• Gold Standard: Expert-gecurateerde versies van deze records, handmatig gecorrigeerd door domeinexperten.
• Vergelijking: De ARMS-agent (tool-use) werd vergeleken met een Prompt-Only LLM (baseline), waarbij de LLM alleen de legacy-records, veldnamen en de namen van de beperkende ontologieën als statische prompt kreeg, zonder toegang tot live tools.
• Modellen: GPT-5-mini (hoofdexperiment) en GPT-4.1-mini (validatie).
• Optimalisatie: Asynchrone tool-aanroepen, response-caching en parallelle uitvoering werden gebruikt om de doorlooptijd te verkorten.

Belangrijkste Resultaten

De evaluatie toonde een significante verbetering in voorspellingsnauwkeurigheid (exacte string-match) voor de ARMS-agent ten opzichte van de baseline.

Kerncijfers (Over 839 records):

• Algemene nauwkeurigheid: Steeg van 0,54 (baseline) naar 0,79 (ARMS). Dit is een relatieve verbetering van 46%.
• Ontologie-beperkte velden: De grootste winst werd hier geboekt. De nauwkeurigheid steeg van 0,46 naar 0,78 (relatieve verbetering van 70%).
  • Bij twee assay-types (Lightsheet en MIBI) bereikte ARMS een perfecte nauwkeurigheid (1,00) op ontologie-velden, terwijl de baseline zeer laag scoorde.
• Niet-ontologie-beperkte velden: Ook hier was er verbetering, van 0,59 naar 0,79 (relatieve verbetering van 35%). Dit toont aan dat het hebben van de volledige sjablooncontext (beschrijvingen, datatypes) de LLM helpt bij het corrigeren van formaten en het plaatsen van waarden, zelfs zonder live zoekopdrachten.

Observaties:

• De verbetering was consistent over alle 12 assay-types.
• De tool-use-methode presteerde beter dan de prompt-only methode bij zowel GPT-4.1-mini als GPT-5-mini.
• Hoewel ARMS beter presteerde, bleven er fouten bestaan bij gevallen waar de BioPortal-search geen resultaten opleverde (bijv. bij specifieke varianten van termen) of waar informatie ontbrak in het legacy-record (die alleen in protocoldocumenten stond).

Belangrijkste Bijdragen

1. Van Statiek naar Actief: Het bewijs dat het behandelen van metadata-beperkingen als uitvoerbare specificaties (via tool-use) superieur is aan het behandelen ervan als statische prompttekst.
2. Agente Architectuur: Een werkend framework (ARMS) dat LLMs koppelt aan autoritaire terminologiediensten (BioPortal) en metadata-sjablonen (CEDAR) via MCP, waardoor hallucinaties over ontologie-takken worden geminimaliseerd.
3. Empirisch Bewijs: Een robuuste evaluatie op een grote, expert-gecurateerde dataset (HuBMAP) die aantoont dat real-time toegang tot gestructureerde kennis essentieel is voor de standaardisatie van wetenschappelijke metadata.
4. Schalbaarheid: Een aanpak die schaalbaar is voor miljoenen bestaande records, wat handmatige curatie onhaalbaar maakt.

Betekenis en Conclusie

Dit onderzoek onderstreept dat de waarde van machine-actieve metadata-standaarden (zoals CEDAR) niet alleen ligt in het begeleiden van menselijke curatie, maar ook in het mogelijk maken van betrouwbare en schaalbare automatisering.

De conclusie is dat LLMs, wanneer ze worden uitgerust met tools om live autoritaire bronnen te raadplegen, aanzienlijk beter in staat zijn om legacy-metadata te standaardiseren dan wanneer ze alleen vertrouwen op hun trainingskennis. Dit is een cruciale stap om de "FAIRness" van wetenschappelijke data te realiseren, omdat het de barrière van inconsistente en onvolledige metadata oplost die nu nog steeds de integratie en hergebruik van data belemmert. De methode biedt een praktische route om de enorme hoeveelheid bestaande, niet-standaard datasets in publieke repositories bruikbaar te maken voor toekomstig onderzoek.