Assessing the Reliability of LLM-Generated Phenotype-Genotype Associations Through External Validation

In der Welt der modernen Medizin wird die Gesundheitsgeschichte eines Patienten oft in zwei verschiedenen Sprachen geschrieben. Eine Sprache beschreibt das, was der Arzt sieht: ein hohes Fieber, einen spezifischen Herzrhythmus oder eine bestimmte Form eines Knochens. Wissenschaftler nennen diese beobachtbaren Merkmale Phänotypen. Die andere Sprache ist im Inneren der Zellen des Körpers verborgen, geschrieben im Code der DNA. Dieser Code enthält Gene und winzige Variationen im genetischen Skript, die erklären können, warum eine Person ein bestimmtes Merkmal besitzt oder warum sie eine spezifische Krankheit entwickeln könnte. Die Verbindung dieser beiden Sprachen – das Zusammenführen eines sichtbaren Symptoms mit seiner unsichtbaren genetischen Ursache – ist das Fundament der Präzisionsmedizin. Sie ermöglicht es Ärzten, seltene Erkrankungen zu diagnostizieren, Risiken vorherzusagen und Behandlungen auszuwählen, die zur einzigartigen Biologie eines Menschen passen. Die Bibliothek der bekannten Verbindungen zwischen Symptomen und Genen wächst jedoch so schnell, dass menschliche Experten nicht jede neue wissenschaftliche Arbeit lesen können, um ihre Aufzeichnungen zu aktualisieren. Die Lücke zwischen dem, was veröffentlicht wird, und dem, was offiziell dokumentiert ist, wird immer größer, wodurch Ärzte ohne die neuesten Antworten, die sie benötigen, zurückbleiben.

Um diese Lücke zu schließen, wenden sich Forscher an künstliche Intelligenz, speziell an eine Art von Computerprogramm, das als großes Sprachmodell bekannt ist. Diese Programme haben riesige Mengen an Text gelesen und können neue Sätze generieren, die wie menschliche Texte aussehen und klingen. Die Idee ist, dass diese Programme, wenn sie genug medizinische Literatur gelesen haben, in der Lage sein könnten, sofort vorzuschlagen, welche Gene oder genetischen Variationen mit den Symptomen eines Patienten verknüpft sind, und so als superschneller Forschungsassistent fungieren. Aber es gibt eine ernste Sorge: Diese Programme sind dafür bekannt, manchmal Fakten zu erfinden. Sie können einen Gennamen produzieren, der echt klingt, aber gar nicht existiert, oder ein echtes Gen mit einer Krankheit verknüpfen, mit der es nichts zu tun hat. Wenn ein Arzt sich auf einen solchen Fehler verlässt, könnte dies zu einer falschen Diagnose führen. Die entscheidende Frage ist, ob diese Werkzeuge der künstlichen Intelligenz tatsächlich echte, verifizierte Verbindungen zwischen Symptomen und Genen finden können oder ob sie hauptsächlich raten.

Ein Forscherteam der Vanderbilt University unternahm einen Versuch, um diese Frage mit einem strengen Experiment zu testen. Sie ließen die Computer nicht einfach nur raten; sie bauten ein System, das jede einzelne Antwort gegen die vertrauenswürdigsten Datenbanken der Welt prüft. Sie wählten vier der fortschrittlichsten verfügbaren Sprachmodelle aus und baten sie, sechs verschiedene Arten von Aufgaben auszuführen. In einigen Aufgaben wurde dem Computer eine Liste von Symptomen vorgelegt, und er sollte die Gene oder genetischen Variationen benennen, die diese verursachen. In anderen wurde dem Computer ein Gen oder eine genetische Variation gegeben, und er sollte die Symptome beschreiben, die diese verursachen. Sie testeten diese Modelle sowohl bei häufigen Erkrankungen, wie Bluthochdruck oder Diabetes, als auch bei sehr seltenen Krankheiten, die nur eine Handvoll Menschen betreffen. Die Forscher nahmen daraufhin jede einzelne von den Modellen generierte Assoziation und führten sie durch eine Verifizierungspipeline. Sie prüften, ob die Gennamen echt waren, ob die genetischen Variationen in Standardregistern existierten und, was am wichtigsten war, ob die Verbindung zwischen dem Symptom und dem Gen durch Belege in großen wissenschaftlichen Katalogen gestützt wurde.

Die Ergebnisse zeigten ein komplexes Bild dessen, was diese Werkzeuge können und was nicht. Insgesamt waren die Modelle der künstlichen Intelligenz überraschend gut darin, Namen zu generieren, die echt waren. Fast alle die von ihnen vorgeschlagenen Gene und genetischen Variationen existierten tatsächlich in der biologischen Welt; die Computer erfanden selten gefälschte Namen. Die wahre Prüfung war jedoch, ob die Verbindung zwischen dem Symptom und dem Gen wahr war. Als die Forscher die Beweise überprüften, stellten sie fest, dass etwa 74 Prozent der von den Modellen generierten Assoziationen mit mindestens einer etablierten wissenschaftlichen Datenbank abgeglichen werden konnten. Das bedeutet, dass für fast drei von vier Vorschlägen es einen Beweis in der Literatur gab, der dies untermauerte. Von diesen hatten etwa 9 Prozent eine sehr starke Unterstützung, während weitere 54 Prozent eine moderate Unterstützung aufwiesen. Dies deutet darauf hin, dass diese Werkzeuge in der Tat als leistungsstarke Generatoren von Kandidatenideen für Ärzte und Wissenschaftler dienen können, die untersucht werden sollen.

Dennoch war die Leistung nicht über alle Arten von Fragen hinweg einheitlich. Die Modelle schnitten viel besser ab, wenn sie nach Genen gefragt wurden, als wenn sie nach spezifischen genetischen Variationen, auch bekannt als Einzelnukleotid-Polymorphismen oder SNPs, gefragt wurden. Wenn die Aufgabe darin bestand, ein Symptom mit einem Gen zu verknüpfen, konnten die Modelle für etwa zwei Drittel ihrer Antworten starke oder moderate Belege finden. Doch als sich die Aufgabe dahingehend verschob, ein Symptom mit einer spezifischen genetischen Variation zu verknüpfen, sank die Erfolgsquote signifikant. Die Modelle hatten vor allem mit seltenen Krankheiten zu kämpfen. Während sie oft Verbindungen für häufige Zustände wie Herzkrankheiten oder Diabetes finden konnten, scheiterten sie häufig daran, verifizierte Verbindungen für ultra-seltene Störungen zu finden. Dies unterstreicht eine Einschränkung, die nicht nur in der künstlichen Intelligenz, sondern auch in den Datenbanken selbst liegt. Die wissenschaftlichen Aufzeichnungen für seltene Krankheiten sind oft unvollständig oder verstreut, was es für den Computer schwieriger macht, eine Übereinstimmung zu finden, selbst wenn eine existiert.

Die Studie verglich auch die vier verschiedenen Modelle, um zu sehen, ob eines eindeutig überlegen war. Ein Modell, Claude Sonnet, schnitt insgesamt am besten ab und generierte etwa 69 Prozent der Zeit Assoziationen, die durch Belege gestützt wurden. Ein weiteres Modell, GPT-5.5, belegte den zweiten Platz mit etwa 65 Prozent. Die anderen beiden lagen mit Erfolgsquoten um 61 und 57 Prozent dahinter zurück. Interessanterweise waren die Modelle, die am besten darin waren, Genverbindungen zu finden, nicht immer dieselben, die am besten bei genetischen Variationen abschnitten. Dies deutet darauf hin, dass jedes Modell unterschiedliche Muster aus den riesigen Textmengen gelernt hat, mit denen es trainiert wurde. Die Forscher untersuchten auch, wie oft die verschiedenen Modelle übereinstimmten. Sie fanden heraus, dass die Modelle selten exakt dieselbe Liste von Antworten produzierten, selbst wenn sie dieselbe Frage gestellt bekamen. Manchmal stimmten sie bei bekannten Fakten überein, aber für viele andere Fragen machten sie völlig unterschiedliche Vorschläge. Diese mangelnde Übereinstimmung bedeutet, dass es riskant ist, sich auf ein einzelnes Modell zu verlassen; wenn ein Modell eine Verbindung vorschlägt, ist das keine Garantie dafür, dass sie korrekt ist, und wenn zwei Modelle sich widersprechen, bedeutet das nicht, dass beide falsch liegen.

Vielleicht war die wichtigste Erkenntnis die Art der Fehler, die die Modelle machten. Als die Forscher die Vorschläge manuell überprüften, die in keiner Datenbank gefunden werden konnten, entdeckten sie, dass die Mehrheit nicht bloß aus zufälligen Vermutungen bestand. Etwa 60 Prozent der fehlgeschlagenen Übereinstimmungen waren Fälle, in denen das Modell ein echtes Gen oder eine echte Variation mit der falschen Krankheit verknüpfte. Die anderen Fehler waren oft darauf zurückzuführen, dass die wissenschaftlichen Datenbanken die Information schlichtweg noch nicht enthielten. Diese Unterscheidung ist entscheidend. Es bedeutet, dass die Modelle zwar nicht meistens gefälschte Namen erfinden, aber häufig mit großer Zuversicht falsche Verbindungen herstellen. Dies schafft eine spezifische Gefahr für den klinischen Einsatz: Ein Arzt kann allein durch das Betrachten der Ausgabe nicht zwischen einer korrekten, verifizierten Verbindung und einer selbstbewussten Halluzination unterscheiden.

Die Forscher kamen zu dem Schluss, dass diese Werkzeuge der künstlichen Intelligenz nützlich sind, aber mit Vorsicht behandelt werden müssen. Sie sind exzellent darin, eine lange Liste von Möglichkeiten zu generieren, und fungieren als Ausgangspunkt für menschliche Experten. Sie können jedoch nicht darauf vertraut werden, die endgültige Antwort zu liefern. Jeder Vorschlag, den sie machen, muss gegen etablierte Datensätze geprüft werden, bevor er in einem medizinischen Umfeld verwendet werden kann. Die Studie zeigte, dass die Zuverlässigkeit der Ausgabe stark von der Art der gestellten Frage abhängt. Für häufige Krankheiten und Fragen auf Genebene sind die Werkzeuge recht zuverlässig. Für seltene Krankheiten und spezifische genetische Variationen sind sie viel weniger sicher, was die aktuellen Lücken in unserem kollektiven wissenschaftlichen Wissen widerspiegelt. Der Weg nach vorn besteht darin, diese Modelle zu nutzen, um den Entdeckungsprozess zu beschleunigen, dabei aber stets eine strikte Verifizierungsschritte mit ihrem Output zu koppeln. Auf diese Weise kann die Geschwindigkeit der künstlichen Intelligenz mit der Genauigkeit der menschlich kuratierten Wissenschaft kombiniert werden, um sicherzustellen, dass die Verbindungen zwischen den Symptomen eines Patienten und seinen Genen sowohl schnell als auch wahrheitsgetreu sind.