Concordance of Automated ACMG Variant Classification withExpert-Curated Assertions: A Systematic Evaluation Using theClinGen Evidence Repository

Stellen Sie sich Ihre DNA als ein riesiges, uraltes Handbuch vor, das die Bauanleitung für einen Menschen enthält. Es ist in einem Vier-Buchstaben-Code (A, C, G, T) geschrieben und erstreckt sich über Milliarden von Zeichen. Meistens funktioniert dieses Handbuch perfekt. Aber manchmal wird ein einzelner Buchstabe ausgetauscht, gelöscht oder hinzugefügt – ein „Tippfehler“ im Code. In der Welt der klinischen Genetik werden diese Tippfehler als Varianten bezeichnet. Einige sind harmlos, wie ein Tippfehler in einer Fußnote, der die Geschichte nicht verändert. Andere sind gefährlich, wie ein Tippfehler, der aus „Stopp“ ein „Go“ macht, wodurch die Maschinerie des Körpers außer Kontrolle gerät und zu Krankheiten führt.

Die große Herausforderung für Ärzte und Wissenschaftler besteht nicht darin, diese Tippfehler zu finden; es geht darum, herauszufinden, welche davon gefährlich sind und welche nur harmloses Rauschen darstellen. Um dies zu tun, verwenden sie ein strenges Regelwerk, das von medizinischen Experten erstellt wurde. Dieses Regelwerk fungiert wie ein riesiges Punktesystem. Wenn ein Tippfehler bestimmte „schlechte“ Merkmale aufweist (wie etwa das vollständige Zerstören eines Gens), erhält er Punkte für „Pathogenität“ (Gefährlichkeit). Wenn er „gute“ Merkmale aufweist (wie etwa bei gesunden Menschen häufig vorkommt), erhält er Punkte für „Benignität“ (Harmlosigkeit). Das Ziel ist es, Millionen dieser Tippfehler in fünf Kategorien zu sortieren: Pathogen, Wahrscheinlich Pathogen, Unklar (VUS), Wahrscheinlich Benigne und Benigne. Dies richtig zu machen, ist eine Frage von Leben und Tod, aber dies manuell zu erledigen, ist langsam, teuer und anfällig für menschliche Meinungsverschiedenheiten. Deshalb bauen Wissenschaftler Computerprogramme, um das Sortieren automatisch durchzuführen. Aber wie gut sind diese Roboter wirklich?

---

Der Roboter-Richter vs. das Experten-Panel

Dieses Paper stellt ein neues Computerprogramm namens VarTriage dem ultimativen Test unterzogen. Die Autoren wollten sehen, ob dieser automatisierte Roboter mit den Entscheidungen des „Goldstandards“ mithalten kann: einem Team aus menschlichen Experten, die jahrelang die ClinGen Evidence Repository kuratiert haben. Betrachten Sie das ClinGen-Repository als die „Hall of Fame“ für genetische Tippfehler, in der die vertrauenswürdigsten menschlichen Experten bereits mit hoher Sicherheit entschieden haben, ob eine spezifische Variante gefährlich oder harmlos ist.

Die Forscher speisten 15.334 dieser von Experten geprüften Varianten in VarTriage ein. Sie verglichen dann die Antworten des Roboters mit den Antworten der menschlichen Experten, um zu sehen, wie oft sie übereinstimmten.

Die wichtigsten Ergebnisse:

• Der Roboter ist ein großartiger Detektiv für „schlechte“ Tippfehler: Wenn es darum ging, gefährliche Varianten aufzuspüren, war VarTriage recht beeindruckend. Es identifizierte korrekt 68,9 % der tatsächlich pathogenen Varianten. Wichtiger noch: Wenn es behauptete, eine Variante sei gefährlich, hatte es in 80,5 % der Fälle recht.
• Die „binäre“ Superkraft: Wenn man die „unklare“ Mitte ignoriert und nur fragt: „Ist das schlecht oder ist das gut?“, stimmten der Roboter und die Menschen fast perfekt überein. Ihr Übereinstimmungswert (genannt Cohen's Kappa) lag bei 0,98, was praktisch einem perfekten Handschlag entspricht. Das bedeutet, dass der Roboter exzellent darin ist, die „schlechten“ und die „guten“ Stapel voneinander zu trennen, selbst wenn er sich manchmal nicht genau sicher ist, wie schlecht oder gut etwas ist.
• Das Problem mit dem „unklaren“ Stapel: Die Hauptschwäche des Roboters bestand darin, dass er dazu neigte, zu viele Varianten in den „Unklar“-Stapel (VUS) zu werfen. Während Menschen vielleicht genug zusätzliche Hinweise haben, um sagen zu können: „Dies ist definitiv sicher“, spielte der Roboter, dem diese spezifischen Hinweise fehlten, auf Nummer sicher und sagte: „Ich weiß es nicht.“ Dies führte zu einer viel geringeren Erfolgsquote beim Aufspüren „sicherer“ Varianten (nur 16,9 % im Vergleich zu den 80,2 % der menschlichen Experten).

Was das Gehirn des Roboters antreibt?

Die Studie ging der Sache auf den Grund, um zu untersuchen, warum der Roboter seine Entscheidungen traf. Sie fanden zwei Hauptmotoren, die seine Entscheidungen antreiben:

1. Die „Zwei-Punkte-Regel“: Die Forscher entdeckten, dass der größte Schub für die Genauigkeit des Roboters aus einem speziellen mathematischen Trick namens „Bayesian relaxed combining rule“ resultierte. Stellen Sie sich vor, Sie haben zwei Beweisstücke, die jeweils „moderat verdächtig“ sind. Die alten Regeln besagten, dass man ein „sehr starkes“ Beweisstück benötigt, um zu verurteilen. Die neue Regel besagt: „Hey, zwei moderate Beweisstücke sind eigentlich schon genug, um sich ziemlich sicher zu sein.“ Die Verwendung dieser Regel allein steigerte die Fähigkeit des Roboters, schlechte Varianten zu finden, um 36,9 Prozentpunkte.
2. Der REVEL-Score: Der mächtigste einzelne Hinweis, den der Roboter nutzte, war ein Vorhersagescore namens REVEL. Dies ist ein hochentwickelter Rechner, der die Form und Chemie des Proteins analysiert, um zu erraten, ob eine Veränderung schlecht ist. Als die Forscher den REVEL-Score ausschalteten, stürzte die Fähigkeit des Roboters, schlechte Varianten zu finden, um 36,9 Prozentpunkte ab. Es stellte sich heraus, dass REVEL die wichtigste Superkraft des Roboters war.

Was der Roboter übersehen hat

Das Paper weist explizit darauf hin, was der Roboter nicht leisten konnte. Der Grund, warum er Schwierigkeiten hatte, „sichere“ Varianten zu identifizieren, liegt darin, dass ihm bestimmte Arten von Beweisen fehlen, die Menschen zur Verfügung stehen:

• Labortests: Menschen können Ergebnisse aus tatsächlichen Laborexperimenten (funktionelle Assays) betrachten, die beweisen, dass ein Gen einwandfrei funktioniert. Der Roboter kann diese nicht sehen.
• Stammbäume: Menschen können beobachten, wie eine Variante durch einen Stammbaum läuft, um zu sehen, ob sie eine Krankheit verursacht. Der Robot kann das nicht tun.
• Vertrauenswürdige Quellen: Menschen können eine vertrauenswürdige medizinische Datenbank lesen, die besagt: „Wir wissen, dass diese Variante sicher ist.“ Der Roboter wurde so programmiert, dass er solche Datenbanken ignoriert, um eine kreisförmige Logik zu vermeiden (bei der der Roboter lediglich das wiederholt, was die Datenbank sagt).

Da der Roboter diese „nicht-komputationalen“ Hinweise nicht nutzen konnte, war er bei der Einstufung als „Benigne“ (harmlos) viel weniger zuversichtlich.

Das Urteil

Das Paper kommt zu dem Schluss, dass wir zwar noch keinen Roboter bauen können, der das menschliche Expertenteam ersetzt, aber wir können einen sehr hilfreichen Assistenten erschaffen. VarTriage kann unter Verwendung von nur 10 der 28 möglichen Regeln als hochzuverlässiger Filter fungieren. Er kann die eindeutig gefährlichen und eindeutig sicheren Varianten schnell aus dem „Vielleicht“-Stapel aussortieren, sodass die menschlichen Experten sich nur noch auf die schwierigen Fälle konzentrieren müssen.

Die Autoren schlagen vor, dass der nächste große Sprung nicht darin bestehen wird, den Roboter besser in der Mathematik zu machen, sondern ihm Zugang zu mehr Arten von Daten zu verschaffen – insbesondere jenen Labortestergebnissen und Stammbaum-Hinweisen, die ihn derzeit im Dunkeln lassen. Bis dahin ist der Roboter ein fantastischer Partner für die Entscheidung „schlecht vs. gut“, aber er braucht immer noch einen Menschen, der ihm hilft, sich auch bei den „sicheren“ Fällen sicher zu fühlen.