Automated Standardization of Legacy Biomedical Metadata Using an Ontology-Constrained LLM Agent

Die vorgestellte Studie demonstriert, dass ein LLM-basiertes System, das in Echtzeit auf autoritative biomedizinische Terminologiedienste zugreift, die Genauigkeit bei der Standardisierung veralteter biomedizinischer Metadaten im Vergleich zu reinen LLM-Ansätzen signifikant verbessert.

Das Wesentliche

Das große Problem: Der chaotische Bibliothekskeller

Stellen Sie sich vor, Sie haben eine riesige Bibliothek mit Millionen von alten Büchern (wissenschaftlichen Daten). Jeder Autor hat seine eigenen Regeln für das Inhaltsverzeichnis benutzt.

• Der eine schreibt „Lunge", der andere „Pulmonal" oder „Lungen-Gewebe".
• Ein Datum steht als „12.05.2023", ein anderes als „Mai 23".
• Manche Seiten sind leer, andere haben Informationen an der falschen Stelle.

Das ist das Problem mit wissenschaftlichen Metadaten (den Beschreibungen der Daten). Sie sind oft unvollständig, inkonsistent und für Computer schwer zu lesen. Wenn man diese Daten nicht standardisiert, kann man sie nicht finden, nicht vergleichen und nicht wiederverwenden. Es ist wie ein riesiger Keller, in dem man eine Nadel im Heuhaufen sucht – nur dass der Heuhaufen aus Millionen von verschiedenen Heu-Typen besteht.

Die alte Lösung: Der kluge, aber vergessliche Bibliothekar

Früher haben Forscher versucht, dieses Chaos mit Hilfe von Künstlicher Intelligenz (KI), genauer gesagt großen Sprachmodellen (LLMs), zu ordnen.
Man hat der KI gesagt: „Hey, hier ist ein altes Buch. Bitte schreib das Inhaltsverzeichnis neu, aber benutze die Wörter aus unserem offiziellen Wörterbuch."

Das Problem dabei war: Die KI musste sich das Wörterbuch aus dem Kopf vorstellen.

• Das Problem: KI-Modelle sind wie Bibliothekare, die ihr Wissen nur bis zu einem bestimmten Datum gelernt haben. Wenn das offizielle Wörterbuch sich geändert hat (was in der Wissenschaft ständig passiert), weiß die KI davon nichts.
• Die Folge: Die KI rät. Sie sagt vielleicht „Lunge", obwohl das offizielle Wort heute „Bronchialgewebe" ist. Oder sie verpasst eine wichtige Regel, weil sie sich nicht an die genaue Struktur des Wörterbuchs erinnert. Es ist, als würde man jemanden bitten, eine Adresse zu finden, ohne ihm eine Karte zu geben, sondern nur mit der Bitte: „Erinnerst du dich an die Straße?"

Die neue Lösung: Der KI-Agent mit dem „Super-Telefon"

Die Autoren dieses Papiers (vom Stanford University und der Uni Pennsylvania) haben eine bessere Idee entwickelt. Sie nennen ihr System ARMS (Agentic Real-Time Metadata Standardization).

Stellen Sie sich ARMS nicht als einen Bibliothekar vor, der alles auswendig weiß, sondern als einen detektivischen Assistenten mit einem Super-Telefon.

1. Der Anruf beim Chef (CEDAR): Bevor der Assistent überhaupt anfängt zu schreiben, ruft er beim „Chef" an (eine Datenbank namens CEDAR). Er fragt: „Was sind die exakten Regeln für dieses spezielle Buch? Welche Felder gibt es? Welche Formate sind erlaubt?" Der Chef schickt ihm sofort den perfekten Bauplan.
2. Der Anruf im Wörterbuch (BioPortal): Wenn der Assistent ein Wort wie „Lunge" sieht, ruft er nicht im Gedächtnis nach, sondern direkt im offiziellen, lebendigen Wörterbuch (BioPortal) an. Er fragt: „Gibt es im aktuellen Wörterbuch einen Eintrag für 'Lunge' im Bereich 'Atemwege'? Wenn ja, wie heißt er genau?"
3. Die Entscheidung: Der Assistent bekommt die Antwort vom Wörterbuch (z. B. „UBERON:0002100") und schreibt genau das in das neue Inhaltsverzeichnis.

Die Metapher:

• Die alte KI war wie ein Schüler, der eine Prüfung schreibt, ohne Nachschlagewerke zu haben. Er muss raten.
• Die neue KI (ARMS) ist wie ein Schüler, der während der Prüfung das Internet und das offizielle Wörterbuch nutzen darf. Er muss nicht raten; er schaut nach.

Was haben sie herausgefunden?

Die Forscher haben 839 alte Datensätze genommen und getestet, wie gut die neue Methode funktioniert, verglichen mit der alten „Raten-Methode".

• Das Ergebnis: Die neue Methode war deutlich besser.
  • Bei den Wörtern, die aus dem offiziellen Wörterbuch kommen (Ontologien), stieg die Trefferquote von etwa 46 % auf 78 %.
  • Bei den anderen Feldern (wie Datumsformate oder Zahlen) wurde es ebenfalls besser, weil der Assistent den perfekten Bauplan vom Chef hatte.
• Der Clou: Besonders bei den Wörtern, die sich ständig ändern oder sehr spezifisch sind, war der Unterschied riesig. Die alte KI hat hier oft komplett daneben gelegen, weil sie das aktuelle Wörterbuch nicht kannte. Die neue KI hat fast immer das richtige Wort gefunden, weil sie direkt in der Datenbank nachgeschaut hat.

Warum ist das wichtig?

Stellen Sie sich vor, Sie wollen eine riesige wissenschaftliche Studie machen, bei der Daten aus 50 verschiedenen Laboren kombiniert werden.

• Ohne ARMS: Sie müssten Tausende von Stunden damit verbringen, manuell zu prüfen, ob „Lunge" und „Pulmonal" dasselbe bedeuten. Oder Sie würden falsche Schlüsse ziehen, weil die Daten nicht zusammenpassen.
• Mit ARMS: Der Computer erledigt die Standardisierung automatisch, schnell und genau. Er macht aus dem chaotischen Keller eine perfekt sortierte Bibliothek, in der jedes Buch sofort gefunden werden kann.

Fazit

Die Botschaft der Studie ist einfach: KI ist super, aber sie ist noch besser, wenn sie Werkzeuge hat.
Anstatt zu versuchen, eine KI zu bauen, die alles auswendig weiß (was unmöglich ist, weil sich die Welt ständig ändert), geben wir ihr Werkzeuge, um in Echtzeit die richtigen Informationen nachzuschlagen. Das macht die Wissenschaft schneller, genauer und für alle nutzbar.

Es ist der Unterschied zwischen „Ich glaube, ich weiß, wie das geht" und „Ich habe gerade nachgeschaut, und so geht es."

Technische Zusammenfassung

1. Problemstellung

Wissenschaftliche Metadaten sind häufig unvollständig, inkonsistent und nicht konform mit Community-Standards. Dies beeinträchtigt die Auffindbarkeit, Interoperabilität und Wiederverwendbarkeit von Daten (FAIR-Prinzipien).

• Herausforderung: Bestehende Berichtsanforderungen liegen meist als unstrukturierte Textdokumente vor. Sie definieren zwar, welche Felder vorhanden sein müssen, geben aber keine maschinenlesbaren Anweisungen für die Werte (z. B. welche Begriffe aus einer Ontologie erlaubt sind).
• Limitierung bestehender KI-Ansätze: Frühere Ansätze nutzten Large Language Models (LLMs), die durch statische Text-Prompts (z. B. Namen von Ontologien) geleitet wurden. Diese Modelle verlassen sich jedoch nur auf ihr parametrisches Trainingswissen. Dies führt zu Problemen:
  • Halluzinationen: Das Modell erfindet Begriffe oder wählt falsche Ontologie-Termini.
  • Veraltete Daten: Ontologien entwickeln sich weiter; das Trainingswissen des LLMs ist statisch und veraltet.
  • Strukturelle Unkenntnis: Das Modell kennt die Hierarchie einer Ontologie nicht und weiß nicht, welche Begriffe in einem spezifischen Unterbaum (Branch) liegen, der in einer Vorlage (Template) gefordert wird.

2. Methodik: Agentic Real-Time Metadata Standardization (ARMS)

Die Autoren stellen ARMS vor, ein System, das LLMs mit Werkzeugen zur Echtzeit-Abfrage externer Wissensquellen ausstattet, anstatt sich nur auf Prompts zu verlassen.

• Architektur:

  • Ein LLM-Agent (basierend auf GPT-5-mini, getestet auch mit GPT-4.1-mini) wird über das Model Context Protocol (MCP) mit externen Diensten verbunden.
  • Der Agent nutzt drei spezifische MCP-Tools:
    1. get_cedar_template: Ruft die vollständige CEDAR-Vorlage (inkl. Felddefinitionen, Datentypen und Constraints) über die CEDAR REST-API ab.
    2. term_search_from_ontology: Sucht Begriffe in einer gesamten Ontologie über die BioPortal API.
    3. term_search_from_branch: Sucht Begriffe innerhalb eines spezifischen Ontologie-Unterbaums (Branch), wie in der Vorlage gefordert.

• Ablauf:

  1. Der Agent erhält ein veraltetes Metadatensatz und eine CEDAR-Vorlagen-ID.
  2. Er lädt die vollständige Vorlage herunter, um die Constraints zu verstehen.
  3. Für eingeschränkte Felder (z. B. Gewebetypen) führt er Live-Abfragen bei BioPortal durch, um kanonische Begriffe zu finden.
  4. Der Agent wägt die Suchergebnisse ab, korrigiert falsche Platzierungen (z. B. falsche Feldzuordnungen), inferiert fehlende Werte aus dem Kontext und passt Formate an.
  5. Ausgabe ist ein standardisierter Metadatensatz.

• Optimierung: Um die Laufzeit zu verkürzen, wurden asynchrone Tool-Aufrufe, ein lokales Caching von API-Antworten und parallele Ausführung der Datensätze implementiert.

3. Evaluation und Datensatz

• Datenquelle: Human BioMolecular Atlas Program (HuBMAP).
• Datensatz: 839 veraltete Metadatensätze aus 12 verschiedenen Assay-Typen (Sequenzierung, Bildgebung, Massenspektrometrie).
• Gold-Standard: Ein von Experten kurierter Datensatz, der die veralteten Einträge manuell korrigiert hat. Dies ermöglicht eine exakte Übereinstimmungsprüfung (Exact-Match).
• Vergleich: ARMS (Tool-Agent) vs. Prompt-Only LLM (Baseline, der nur statische Text-Prompts mit Feldnamen und Ontologie-Namen erhielt).
• Metriken: Genauigkeit (Accuracy) basierend auf exakter String-Übereinstimmung, unterteilt in:
  1. Ontologie-beschränkte Felder.
  2. Nicht-ontologie-beschränkte Felder (Text, Zahlen, Formate).
  3. Gesamte Genauigkeit.

4. Ergebnisse

Die Ergebnisse zeigen eine signifikante Überlegenheit des Tool-Agenten gegenüber dem reinen Prompt-Ansatz:

• Gesamtgenauigkeit: Steigerung von 54 % (Baseline) auf 79 % (ARMS) (+46 % relative Verbesserung).
• Ontologie-beschränkte Felder: Hier war der Gewinn am größten. Die Genauigkeit stieg von 46 % auf 78 % (+70 % relative Verbesserung).
  • Bei bestimmten Assay-Typen (z. B. Lightsheet, MIBI) erreichte ARMS eine perfekte Genauigkeit von 100 % auf ontologie-beschränkten Feldern, während die Baseline hier oft versagte (unter 40 %).
• Nicht-ontologie-beschränkte Felder: Auch hier eine Verbesserung von 59 % auf 79 %. Dies zeigt, dass der Zugriff auf die vollständige Vorlage (Datentypen, Muster) auch bei Textfeldern hilft.
• Robustheit: Die Verbesserungen waren über alle 12 Assay-Typen hinweg konsistent.
• Modellvergleich: Die Ergebnisse waren mit GPT-4.1-mini und GPT-5-mini ähnlich, wobei GPT-5-mini etwas höhere Genauigkeit bei höheren Kosten und längeren Laufzeiten bot.

5. Wichtige Erkenntnisse und Fehleranalyse

• Statische vs. Aktive Constraints: Der Hauptgrund für das Versagen der Baseline war die Unfähigkeit, Ontologie-Strukturen und aktuelle Begriffe zu „wissen". Der Agent löst dies durch Live-Abfragen.
• Fehlerquellen des Agents:
  • Wenn die BioPortal-Suche keine Ergebnisse lieferte (z. B. bei Tippfehlern im Suchbegriff), behielt der Agent den alten (falschen) Wert bei.
  • Fehlende Informationen im Legacy-Datensatz (die nur in Protokoll-Dokumenten standen), auf die der Agent keinen Zugriff hatte.
  • Verwechslung ähnlicher Feldnamen (z. B. unterschiedliche DOI-Felder).
• Kosten-Nutzen: Der Tool-Ansatz erhöht die Token-Nutzung und Laufzeit leicht, aber die Genauigkeitssteigerung rechtfertigt dies für die Standardisierung großer Legacy-Datenbestände.

6. Bedeutung und Fazit

Das Paper demonstriert, dass die reine Text-Prompting-Strategie für die Standardisierung komplexer biomedizinischer Metadaten unzureichend ist.

• Paradigmenwechsel: Metadaten-Standards (wie CEDAR-Templates) sollten nicht als statischer Text, sondern als ausführbare Spezifikationen behandelt werden.
• Skalierbarkeit: Der Ansatz ARMS bietet einen praktischen, skalierbaren Weg, um Millionen von Legacy-Datensätzen in FAIR-konforme Formate zu überführen, ohne manuelle Nachbearbeitung.
• Zukunft: Die Kombination aus strukturierten Constraints und agenticem Tool-Use ist entscheidend, um die Lücke zwischen menschlicher Expertise und maschineller Automatisierung in der Datenkuratierung zu schließen.

Der Code und die Evaluierungsdaten sind öffentlich auf GitHub verfügbar.