DOME Copilot: Making transparency and reproducibility for artificial intelligence methods simple

Die DOME Copilot-Lösung nutzt ein Large Language Model, um strukturierte Berichte über KI-Methoden aus wissenschaftlichen Manuskripten zu extrahieren und so Transparenz sowie Reproduzierbarkeit in der Lebenswissenschaftsforschung zu fördern.

Das Wesentliche

DOME Copilot: Der „Übersetzer" für die geheime Sprache der KI-Forschung

Stellen Sie sich vor, die Welt der Wissenschaft ist eine riesige Bibliothek. In den letzten Jahren haben Forscher dort unglaubliche neue Bücher über Künstliche Intelligenz (KI) geschrieben. Diese Bücher versprechen Wunder: Sie können Krankheiten heilen, neue Materialien erfinden oder das Wetter vorhersagen.

Aber es gibt ein riesiges Problem: Viele dieser Bücher sind wie verschlossene Kästen.

Das Problem: Der verschlossene Kasten

Wenn ein Forscher eine neue KI-Methode entwickelt, beschreibt er im Buch oft nur das Ergebnis („Es funktioniert!"). Aber die Anleitung, wie er es gebaut hat, ist oft unleserlich, versteckt oder gar nicht da.

• Ohne Anleitung: Andere Forscher können das Buch nicht nachbauen.
• Das Ergebnis: Niemand kann überprüfen, ob die KI wirklich funktioniert oder ob sie nur Glück hatte. Das nennt man die „Reproduzierbarkeitskrise". Es ist, als würde jemand ein Rezept für einen Kuchen geben, aber die Zutatenliste und die Backzeit weglassen. Niemand kann den Kuchen dann nachbacken.

Bisher gab es Regeln (die „DOME-Empfehlungen"), die verlangten, dass Forscher ihre Rezepte offenlegen. Aber das manuell zu tun, ist wie das Schreiben eines ganzen Romans in einer Fremdsprache – es dauert Stunden, ist mühsam und viele Forscher tun es einfach nicht, weil sie keine Zeit dafür haben.

Die Lösung: DOME Copilot

Hier kommt DOME Copilot ins Spiel. Man kann sich das wie einen super-intelligenten, geduldigen Bibliothekar vorstellen, der mit einer speziellen Brille ausgestattet ist.

1. Der Scan: Ein Forscher lädt sein wissenschaftliches Papier (das Buch) in das System hoch.
2. Die Übersetzung: Der „Copilot" (ein KI-Programm) liest das ganze Buch in wenigen Minuten. Er sucht nicht nach dem, was da steht, sondern nach dem, was fehlt. Er extrahiert die versteckten Informationen: Welche Daten wurden benutzt? Welches Computer-Modell? Welche Lizenz?
3. Das Ergebnis: Der Copilot schreibt automatisch ein klares, strukturiertes Rezept (einen Bericht) auf, das genau den Regeln entspricht.

Wie funktioniert das im Detail? (Die Analogie)

Stellen Sie sich vor, Sie haben ein chaotisches Notizbuch voller gekritzelter Gedanken, Skizzen und halbfertiger Sätze.

• Der alte Weg: Ein menschlicher Assistent müsste stundenlang sitzen, diese Notizen lesen, verstehen und dann ein sauberes, formelles Formular ausfüllen. Das kostet viel Geld und Zeit.
• Der DOME-Copilot-Weg: Sie werfen das Notizbuch in einen Hochleistungs-Kopierer. Dieser Kopierer liest alles, versteht den Kontext, sortiert die Informationen und druckt sofort ein perfekt formatiertes Formular aus.
• Der Feinschliff: Der menschliche Forscher muss das Formular nur noch einmal kurz durchsehen („Habe ich das richtig verstanden?"), um es zu bestätigen. Aber die schwere Arbeit des „Übersetzens" erledigt die Maschine.

Was bringt das der Welt?

Das System hat drei große Vorteile, die wie ein Dreiklang wirken:

1. Für den Forscher (Der Selbstcheck): Bevor er sein Buch veröffentlicht, kann er den Copilot nutzen. Der Copilot sagt: „Hey, du hast vergessen zu schreiben, welche Software-Version du benutzt hast." So wird das Buch sofort besser und transparenter.
2. Für die Zeitschriften (Der Türsteher): Wenn Forscher ihr Manuskript einreichen, kommt der Copilot automatisch mit einem fertigen Bericht. Die Gutachter müssen nicht mehr raten, wie die KI funktioniert. Das macht die Prüfung schneller und fairer.
3. Für die ganze Welt (Die Schatzkarte): Der Copilot kann Tausende von alten, vergessenen Büchern durchsuchen und für sie alle diese klaren Rezepte erstellen. Plötzlich wird aus einem unübersichtlichen Haufen alter Papiere eine durchsuchbare Datenbank. Forscher können sofort finden: „Welche KI hat schon einmal dieses Problem gelöst?"

Das Fazit

DOME Copilot ist wie ein Brückenbauer. Er baut eine Brücke zwischen dem chaotischen, oft unverständlichen Originaltext und einer klaren, standardisierten Welt der Transparenz.

Er löst das Problem nicht, indem er die Forscher zwingt, mehr zu arbeiten. Stattdessen nimmt er ihnen die Last ab, indem er die mühsame Arbeit des „Übersetzens" für sie erledigt. So wird die Wissenschaft wieder zu dem, was sie sein sollte: Ein offenes Buch, das jeder lesen, verstehen und nachbauen kann.

Kurz gesagt: DOME Copilot verwandelt das „Geheimnis" der KI in ein „Handbuch", das jeder benutzen kann.

Technische Zusammenfassung

Problemstellung

Die Anwendung künstlicher Intelligenz (KI) in den Lebenswissenschaften führt zu bahnbrechenden Fortschritten, steht jedoch vor einer erheblichen Reproduzierbarkeits- und Wiederverwendbarkeitskrise. Viele veröffentlichte KI-Methoden wirken wie eine „Black Box", da entscheidende Informationen zur Interpretierbarkeit oft fehlen, verschleiert oder in inkonsistenten Formaten vorliegen.
Obwohl Berichtserstattungsrichtlinien wie die DOME-Empfehlungen (DOME Recommendations) existieren, um strukturierte Metadaten zu erzwingen, ist deren Adoption durch Forscher und Verlage gering. Der Hauptgrund liegt im manuellen Aufwand: Die Erstellung einer vollständigen, strukturierten DOME-Anmerkung kann je nach Komplexität der Publikation mehrere Stunden dauern. Dies stellt eine unüberwindbare Hürde dar, da Forscher oft keine Anreize für diese zusätzliche Arbeit sehen und Verlage die Durchsetzung dieser Richtlinien scheitern lässt.

Methodik: DOME Copilot

Als Lösung wurde DOME Copilot entwickelt, ein Werkzeug auf Basis von Large Language Models (LLMs), das automatisch strukturierte Berichte zu KI-Methoden aus Manuskripten extrahiert.

Technische Architektur und Workflow:

1. Eingabe: Nutzer laden ein Manuskript (PDF) und optionales Supplementmaterial über eine benutzerfreundliche Gradio-Schnittstelle hoch.
2. Verarbeitung:
   • Der Text wird mittels LlamaIndex geparst und extrahiert.
   • Qwen3-Embeddings-4B generiert Text-Embeddings, die in einem Vektorindex gespeichert werden (Retrieval-Augmented Generation, RAG).
   • Das eigentliche Annotationsmodell ist ein mittelgroßes LLM: Mistral Small 3.1 24B Instruct 2503. Es wurde gewählt, um einen Kompromiss zwischen Geschwindigkeit und hoher Fähigkeit zur Textzusammenfassung und Strukturierung zu bieten.
3. Ausgabe: Das System generiert eine strukturierte JSON-Datei, die den DOME-Empfehlungen entspricht und direkt in das DOME Registry importiert werden kann.
4. Optimierung (v0 zu v2): Das System durchlief iterative Verbesserungen. Die Version 2 (v2) fokussierte sich stark auf die Optimierung der System-Prompts, um die Ausgabe prägnanter zu gestalten, Redundanzen zu entfernen und die Formatierung zu standardisieren. Dies führte zu einer signifikanten Verkürzung der Antwortlänge bei gleichzeitiger Beibehaltung der relevanten Informationen.

Bewertungsstrategie:

• Semantische Ähnlichkeit: Die Leistung wurde mit BERTScore gemessen, indem 192 automatisch generierte Anmerkungen mit manuell erstellten Referenzdaten (Dataset A) verglichen wurden.
• Skalierbarkeitstests: Das Modell wurde an zwei großen Datensätzen getestet:
  • Dataset B (Positiv): 1.012 Publikationen mit KI-Methoden.
  • Dataset C (Negativ): 1.012 Publikationen ohne relevante KI-Inhalte (z. B. Wirtschaftspapiere oder reine Literaturreviews), um Halluzinationen zu testen.

Wichtige Beiträge und Ergebnisse

1. Automatisierung und Skalierbarkeit:

   • DOME Copilot reduziert den manuellen Aufwand von mehreren Stunden auf durchschnittlich zwei Minuten pro Manuskript.
   • Es ermöglicht die Verarbeitung großer Bestände an Archivliteratur, was manuell unmöglich wäre.

2. Leistungsmetriken:

   • Semantische Ähnlichkeit: Der BERTScore lag hauptsächlich zwischen 0,35 und 0,50. Dies deutet auf eine stabile semantische Übereinstimmung hin, wobei die menschlichen Referenzdaten oft stilistisch variieren und manchmal direkte Textkopien enthalten, was den Vergleich erschwert.
   • Extraktionserfolg: Bei positiven Datensätzen (Dataset B) korrelierten Extraktionsfehler mit bekannten Lücken in der Berichterstattung (z. B. fehlende Angaben zur Laufzeit). Bei mehrteiligen Fragen (z. B. URL und Lizenzierung) zeigte das Modell eine „teilweise Generierung", wenn nur Teildaten verfügbar waren.
   • Halluzinationsvermeidung: Bei negativen Datensätzen (Dataset C) lehnte das Modell über die Hälfte der Fälle (n=546) korrekt ab, da keine relevanten KI-Methoden vorhanden waren. Bei „weichen" Negativen (z. B. Meta-Studien) wurden fehlende Informationen transparent als solche gekennzeichnet, anstatt falsche Daten zu generieren.

3. Verbesserung der Ausgabequalität:

   • Ein signifikanter Fortschritt von Version 0 zu Version 2 war die drastische Reduzierung der „Verbosity" (Ausführlichkeit). Die Ausgabe ist nun präziser und auf die wesentlichen Informationen fokussiert.

Anwendungsfälle

Das System unterstützt drei Kernanwendungen:

1. Selbst-Check: Forscher können vor der Einreichung Lücken in ihren Methodenbeschreibungen identifizieren.
2. Workflow-Hilfe für Verlage: Automatisches Erstellen strukturierter Berichte für Peer-Review-Prozesse, was den administrativen Aufwand senkt.
3. Skalierbare Annotation: Massenhafte Nachbearbeitung bestehender Literatur, um das DOME Registry mit strukturierten Daten zu füllen (mit transparenter Kennzeichnung, dass keine manuelle Validierung stattfand).

Bedeutung und Ausblick

DOME Copilot adressiert eine kritische Lücke in der wissenschaftlichen Infrastruktur: Die Diskrepanz zwischen der Notwendigkeit transparenter KI-Berichterstattung und der mangelnden Bereitschaft/Zeit der Forscher, diese manuell durchzuführen.

• Transparenz: Es macht KI-Methoden in den Lebenswissenschaften nachvollziehbarer und überprüfbarer.
• Infrastruktur-Integration: Das Tool ist als Open-Source-Lösung konzipiert und soll in Journal-Submissionssysteme sowie Plattformen wie Europe PMC und EBI Search integriert werden, um die Auffindbarkeit strukturierter Methodenberichte zu erhöhen.
• Zukunft: Geplant ist die Integration automatischer Text-Triage-Klassifikatoren, um den manuellen Schritt der Identifizierung relevanter Publikationen vor der Verarbeitung zu eliminieren.

Zusammenfassend stellt DOME Copilot einen Proof-of-Concept dar, der zeigt, wie LLMs genutzt werden können, um ein bisher unlösbares Skalierungsproblem bei der wissenschaftlichen Reproduzierbarkeit von KI-Methoden zu bewältigen.