LLM-PathwayCurator transforms enrichment terms into audit-gated decision-grade claims

LLM-PathwayCurator wandelt Pfadenreichungsanalysen von Omics-Daten in auditierbare, evidenzbasierte Schlussfolgerungen um, wobei ein Modul zur Hervorhebung von Redundanzen und eine abstinenzgesteuerte Qualitätssicherung trotz variabler Leistung bei Kontextänderungen oder Genverlust eine reproduzierbare Interpretationsebene für die Krebsforschung schaffen.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Detektiv, der riesige Datenberge durchwühlt, um Hinweise auf eine Krankheit zu finden. In der modernen Medizin gibt es so viele Daten (Genome, Proteine etc.), dass Computerprogramme diese automatisch in Listen von „verdächtigen Mustern" (wissenschaftlich: Pathway-Enrichment) sortieren.

Das Problem bisher: Diese Listen waren wie eine lange, unsortierte Akte voller Hinweise. Ein Wissenschaftler musste sich dann durchlesen und entscheiden: „Aha, dieser Hinweis ist wichtig!" oder „Nein, das ist nur Zufall." Das war subjektiv, schwer zu wiederholen und manchmal ungenau.

Hier kommt LLM-PathwayCurator ins Spiel. Man kann es sich wie einen super-strengen, aber fairen Qualitätskontrolleur vorstellen, der mit einem modernen KI-Assistenten arbeitet.

Hier ist die einfache Erklärung, wie das funktioniert:

1. Der KI-Assistent, der nicht lügt (Die Idee)

Früher haben Computerprogramme einfach lange Texte geschrieben, die sagten: „Es sieht so aus, als wäre das Immunsystem aktiv." Das war schön zu lesen, aber schwer zu überprüfen. War das wirklich so? Welche Gene haben das bewiesen?

LLM-PathwayCurator ändert das Spiel. Es nutzt eine KI (ein Large Language Model), aber nicht, um schöne Geschichten zu erfinden. Stattdessen nutzt die KI nur, um Vorschläge zu machen. Sie sagt: „Ich denke, dieser Hinweis ist wichtig." Aber bevor jemand diesem Vorschlag glaubt, muss er durch einen harten, automatischen Prüfprozess.

2. Die „Beweis-Tafel" (Die Daten)

Stellen Sie sich vor, jeder Verdächtige (jeder biologische Hinweis) hat eine Beweis-Tafel (EvidenceTable). Darauf stehen genau die Namen der Gene, die den Verdacht stützen.

• Früher: Der Wissenschaftler schaute sich die Liste an und hoffte, sie sei korrekt.
• Jetzt: Das System prüft: „Sind diese Gene wirklich da? Sind sie stark genug?"

3. Der „Stresstest" (Die Prüfung)

Das ist der coolste Teil. Bevor das System einen Hinweis als „wahr" akzeptiert, macht es einen Stresstest, ähnlich wie bei einem Sicherheitscheck am Flughafen:

• Der Kontext-Check: Was passiert, wenn wir die Situation ändern? Wenn der Hinweis für Brustkrebs gilt, aber wir ihn fälschlicherweise auf Lungenkrebs anwenden, sollte das System alarmieren. Das System prüft: „Passt dieser Hinweis wirklich zu diesem Patienten?" Wenn nicht, wird er verworfen.
• Der „Gene-Dropout"-Test: Was passiert, wenn wir ein paar der unterstützenden Gene aus der Liste entfernen (als wären sie verloren gegangen)? Bleibt der Hinweis noch stark genug? Wenn die Antwort „Nein" ist, ist der Hinweis zu schwach und wird abgelehnt.

4. Die Ampel-Entscheidung (PASS / ABSTAIN / FAIL)

Am Ende gibt das System keine vage Meinung ab, sondern eine klare Ampel-Entscheidung für jeden Hinweis:

• 🟢 PASS (Grün): Alles stimmt. Die Beweise sind stark, passen zum Kontext und überstehen den Stresstest. Das ist ein „entscheidungsreifer" Befund.
• 🟡 ABSTAIN (Gelb): Wir sind uns nicht sicher genug. Vielleicht fehlen Beweise oder der Kontext passt nicht ganz. Das System sagt lieber: „Ich sage nichts dazu", als etwas Falsches zu behaupten. Das ist wie ein Richter, der sagt: „Zu wenig Beweise für eine Verurteilung."
• 🔴 FAIL (Rot): Etwas ist falsch. Vielleicht widersprechen sich die Beweise oder die Daten passen gar nicht zusammen.

Warum ist das so wichtig?

Stellen Sie sich vor, Sie bauen ein Haus. Früher haben Architekten nur gesagt: „Ich glaube, das Fundament ist stabil." Heute sagt LLM-PathwayCurator: „Ich habe das Fundament 100-mal gegen Erdbeben getestet. Hier ist der Bericht. Es besteht die Prüfung. Wir können weiterbauen."

Es macht die medizinische Forschung wiederholbar (jeder kommt zum gleichen Ergebnis), überprüfbar (man sieht genau, welche Gene den Beweis liefern) und sicherer (es verhindert, dass schwache oder falsche Hinweise als Fakten verkauft werden).

Zusammengefasst:
Das Tool verwandelt verwirrende Datenlisten in klare, geprüfte Fakten. Es nutzt KI als Assistenten, aber lässt eine strenge, automatische Regel-Prüfung entscheiden, was wahr ist und was nicht. So wird aus „vielleicht" ein „sicher".

Technische Zusammenfassung

1. Problemstellung

Die Analyse von Omics-Daten mittels Pfaden-Anreicherungsanalyse (Pathway Enrichment Analysis) ist ein Standardverfahren zur Interpretation biologischer Daten. Allerdings bestehen erhebliche Herausforderungen bei der Reproduzierbarkeit und Auditierbarkeit der daraus resultierenden Schlussfolgerungen:

• Subjektivität: Analysten müssen manuell repräsentative Begriffe aus Clustern ähnlicher Ergebnisse auswählen und die Stärke der Interpretation subjektiv bewerten.
• Mangelnde Nachvollziehbarkeit: Herkömmliche Large Language Models (LLMs) können zwar narrative Interpretationen generieren, diese sind jedoch schwer reproduzierbar und lassen sich nicht regelbasiert prüfen, da ihnen verifizierbare Verknüpfungen zwischen Behauptung und Evidenz (z. B. spezifische Term-Identifikatoren und unterstützende Gene) fehlen.
• Fragilität: Kandidaten-Interpretationen können nicht systematisch auf Drift in der Evidenzverknüpfung, interne Widersprüche, Kontextspezifität oder Fragilität bei Änderungen der unterstützenden Gene geprüft werden.

2. Methodik: LLM-PathwayCurator

Um diese Lücke zu schließen, wurde LLM-PathwayCurator entwickelt. Es handelt sich um einen Workflow, der Anreicherungsoutputs in überprüfbare, evidenzverknüpfte und audit-gesteuerte Entscheidungen transformiert. Der Ansatz folgt einem „Blueprint-first"-Design, bei dem deterministische Prozesse im Vordergrund stehen und das LLM nur eingeschränkt eingesetzt wird.

Kernkomponenten des Workflows:

• Normalisierung zur EvidenceTable:
  Outputs von rank-basierten Methoden (z. B. fgsea) und Over-Representation Analysis (ORA, z. B. Metascape) werden in ein standardisiertes EvidenceTable-Format überführt. Dieses protokolliert jeden angereicherten Term und seine unterstützenden Gene.
• Deterministische Stabilitätsanalyse:
  Das System führt deterministische Störungen (Perturbationen) der unterstützenden Gene durch (z. B. Dropout oder Jitter), um Stabilitäts-Scores zu berechnen, ohne die eigentliche Anreicherungsanalyse neu zu starten.
• Modul-Faktorisierung:
  Ein bipartiter Graph (Terme vs. Gene) wird faktorisiert, um Module zu identifizieren, die gemeinsame Unterstützung teilen. Dies hilft, Redundanzen zu erkennen und Module zu bilden, die durch geteilte Gene verbunden sind.
• Eingeschränkte LLM-Nutzung (Proposal-Only):
  Das LLM ist strikt auf Vorschlagsphasen beschränkt:
  1. Es wählt kontextkonsistente Repräsentanten basierend auf einer strukturierten „Sample Card" (Bedingung, Gewebe, Perturbation, Vergleich) aus.
  2. Es generiert JSON-Claims, die an ein festes Schema gebunden sind und auflösbare Links zur EvidenceTable enthalten (Term/Modul-IDs und Hashes der Gen-Sets).
     Wichtig: Das LLM trifft keine finalen Entscheidungen und liefert keine freien Textnarrative als Beweis.
• Audit-Gates (Regelbasierte Prüfung):
  Vorgeschlagene Claims werden durch vordefinierte Audit-Gates bewertet, die eine Entscheidung in PASS, ABSTAIN (Enthaltung) oder FAIL treffen. Kriterien umfassen:
  • Integrität der Evidenzverknüpfung.
  • Stabilitäts-Schwellenwerte ($\tau$).
  • Kontextvalidität (z. B. durch „Context Swap"-Tests).
  • Erkennung interner Widersprüche.
• Risikobewertung und Utility Score:
  Ein deterministischer Utility-Score ($U$) kombiniert Anreicherungsstärke, Überlebens-Score (Stabilität) und Kontext-Fit, um Claims zu priorisieren. Das System priorisiert Claims, die den Audit-Gates bestehen, und wendet eine „Risk-Coverage"-Strategie an, bei der bei Unsicherheit (z. B. durch Gene-Dropout) eine Enthaltung (ABSTAIN) erfolgt.

3. Wichtige Beiträge

• Audit-Gated Decision-Making: Einführung eines Systems, das biologische Interpretationen in überprüfbare, maschinenlesbare Claims mit klaren Evidenzpfaden umwandelt.
• Reproduzierbarkeit durch Determinismus: Der Workflow ist standardmäßig deterministisch. Das LLM wird nur als Proposal-Engine genutzt, während die Validierung und Entscheidung strikt regelbasiert erfolgt.
• Stress-Testing: Das System integriert systematische Stresstests (Kontext-Tausch, Dropout von unterstützenden Genen), um die Robustheit von Interpretationen zu quantifizieren.
• Redundanz-Management: Durch die Modul-Kartierung (Module Map) werden redundante Terme gruppiert, was die Auswahl repräsentativer Begriffe ohne Wiederholung ähnlicher Konzepte erleichtert.

4. Ergebnisse

Die Methode wurde an sieben Kohorten aus dem The Cancer Genome Atlas (TCGA: BRCA, HNSC, LUAD, LUSC, OV, SKCM, UCEC) sowie der BeatAML2-Kohorte validiert.

• Leistung unter idealen Bedingungen (Proposed):
  Bei abgestimmtem Kontext erreichte das System eine „Qualified Coverage" (PASS-Rate) von 0,66 bis 0,80. Der Anteil der Enthaltungen (ABSTAIN) lag zwischen 0,20 und 0,34.
• Robustheit unter Stress:
  • Kontext-Tausch (Context Swap): Wenn der Kontext (z. B. von Brustkrebs zu Lungenkrebs) geändert wurde, sank die PASS-Rate auf 0,20–0,42. Dies zeigt, dass das System inkonsistente Interpretationen korrekt ablehnt.
  • Gene-Dropout: Nach dem Entfernen unterstützender Gene sank die PASS-Rate auf 0,20–0,30.
  • Schwellenwert-Effekt: Die Erhöhung des Stabilitäts-Schwellenwerts $\tau$ (von 0,2 auf 0,9) führte zu konservativeren Entscheidungen (höhere ABSTAIN-Rate, niedrigere PASS-Rate), wobei das Risiko falsch positiver Entscheidungen (human-labeled non-accept risk) stabil blieb oder sank.
• Vergleich LLM vs. Deterministisch:
  Ein Vergleich im HNSC-Kohort zeigte, dass die LLM-unterstützte Variante bei strengem Schwellenwert ($\tau=0.8$) zwar eine geringere Abdeckung (0,52 vs. 0,78) hatte, aber ein deutlich geringeres Risiko für nicht akzeptable menschliche Bewertungen aufwies (0,12 vs. 0,26).
• Generalisierbarkeit:
  Die Ergebnisse wurden erfolgreich auf die unabhängige BeatAML2-Kohorte übertragen, was die Robustheit des Ansatzes über verschiedene Datensätze hinweg bestätigt.

5. Bedeutung und Ausblick

LLM-PathwayCurator stellt einen Paradigmenwechsel in der Bioinformatik dar, indem es die Interpretation von Omics-Daten von einer subjektiven, narrativen Aufgabe in einen auditierbaren, qualitätsgesicherten Prozess verwandelt.

• Qualitätssicherung: Es bietet eine „Decision-Grade"-Schicht, die sicherstellt, dass nur kontextkonsistente und evidenzstabile Behauptungen weiterverwendet werden.
• Transparenz: Durch die Trennung von Vorschlag (LLM) und Verifizierung (deterministische Audit-Gates) wird die „Black Box"-Problematik von LLMs in der Wissenschaft adressiert.
• Anwendbarkeit: Das Tool ist universell einsetzbar, wo immer Anreicherungsanalysen über kuratierte Gen-Sets durchgeführt werden, und ermöglicht eine risikobewusste Abstimmung zwischen Abdeckung und Sicherheit (Risk-Coverage Trade-off).

Zusammenfassend bietet LLM-PathwayCurator ein Framework, das die Reproduzierbarkeit wissenschaftlicher Schlussfolgerungen aus Omics-Daten signifikant verbessert und eine Grundlage für vertrauenswürdige, datengestützte Entscheidungen in der biomedizinischen Forschung schafft.