Concordance of Automated ACMG Variant Classification withExpert-Curated Assertions: A Systematic Evaluation Using theClinGen Evidence Repository

Stel je je DNA voor als een enorme, eeuwenoude instructiehandleiding voor het bouwen van een mens. Het is geschreven in een vierletterige code (A, C, G, T) en strekt zich uit over miljarden tekens. Meestal werkt deze handleiding perfect. Maar soms wordt er een enkele letter verwisseld, verwijderd of toegevoegd—een "typefout" in de code. In de wereld van de klinische genetica worden deze typefouten varianten genoemd. Sommige zijn onschadelijk, zoals een typefout in een voetnoot die het verhaal niet verandert. Andere zijn gevaarlijk, zoals een typefout die "stop" verandert in "ga", waardoor de machinerie van het lichaam ongecontroleerd doorgaat en tot ziekte leidt.

De grote uitdaging voor artsen en wetenschappers is niet het vinden van deze typefouten; het is uitzoeken welke ervan gevaarlijk zijn en welke slechts onschadelijke ruis zijn. Hiervoor gebruiken ze een strikt regelboek dat is opgesteld door medische experts. Dit regelboek werkt als een gigantisch scoresysteem. Als een typefout bepaalde "slechte" kenmerken heeft (zoals het volledig breken van een gen), krijgt het punten richting "Pathogeen" (gevaarlijk). Als het "goede" kenmerken heeft (zoowel veel voorkomend bij gezonde mensen), krijgt het punten richting "Benigne" (veilig). Het doel is om miljoenen van deze typefouten in vijf categorieën te sorteren: Pathogeen, Waarschijnlijk Pathogeen, Onzeker, Waarschijnlijk Benigne en Benigne. Het goed doen hiervan is een kwestie van leven of dood, maar dit handmatig doen is traag, duur en gevoelig voor menselijke onenigheid. Daarom hebben wetenschappers computerprogramma's gebouwd om het sorteren automatisch te doen. Maar hoe goed zijn deze robots eigenlijk?

---

De Robotrechter versus het Menselijk Panel

Dit artikel stelt een nieuw computerprogramma, genaamd VarTriage, onder de ultieme test. De auteurs wilden zien of deze geautomatiseerde robot kan wedijveren met de beslissingen van de "Gouden Standaard": een team van menselijke experts die jarenlang de ClinGen Evidence Repository hebben gecureerd. Zie de Clingen-repository als de "Hall of Fame" voor genetische typefouten, waar de meest vertrouwde menselijke experts al met hoge mate van zekerheid hebben beslist of een specifieke variant gevaarlijk of veilig is.

De onderzoekers voerden 15.334 van deze door experts goedgekeurde varianten in bij VarTriage. Vervolgens vergeleken ze de antwoorden van de robot met de antwoorden van de menselijke experts om te zien hoe vaak ze het eens waren.

De Belangrijkste Bevindingen:

• De Robot is een Geweldige Detective voor "Slechte" Typefouten: Wanneer het kwam tot het opsporen van gevaarlijke varianten, was VarTriage behoorlijk indrukwekkend. Het identificeerde correct 68,9% van de werkelijk pathogene varianten. Belangrijker nog, wanneer het zei dat een variant gevaarlijk was, had het in 80,5% van de gevallen gelijk.
• De "Binaire" Superkracht: Als je het "onzekere" middengebied negeert en alleen vraagt: "Is dit slecht of is dit goed?", kwamen de robot en de mensen bijna perfect overeen. Hun overeenstemmingsscore (de Cohen's kappa) was 0,98, wat in feite een perfecte handdruk is. Dit betekent dat de robot uitstekend is in het gescheiden houden van de "slechte" en "goede" stapels, zelfs als hij niet altijd precies zeker weet hoe slecht of goed iets is.
• Het Probleem met de "Onzekere" Stapel: De grootste zwakte van de robot was dat hij de neiging had om te veel varianten in de "Onzekere" (VUS) stapel te dumpen. Terwijl mensen misschien genoeg extra aanwijzingen hebben om te zeggen: "Dit is absoluut veilig," speelde de robot, door een gebrek aan die specifieke aanwijzingen, het veilig en zei: "Ik weet het niet." Dit resulteerde in een veel lager succespercentage voor het opsporen van "veilige" varianten (slechts 16,9% vergeleken met de 80,2% van de menselijke experts).

Wat de Hersenen van de Robot Aanstuurt

De studie zocht diep naar de reden waarom de robot de keuzes maakte die hij maakte. Ze ontdekten twee belangrijke motoren die zijn beslissingen aandrijven:

1. De "Twee Punten"-regel: De onderzoekers ontdekten dat de grootste boost in nauwkeurigheid voor de robot kwam door een specifieke wiskundige truc genaamd de "Bayesiaanse verzwakte combinerende regel". Stel je voor dat je twee stukken bewijs hebt die elk "matig verdacht" zijn. De oude regels zeiden dat je een "zeer sterk" stuk bewijs nodig had om te veroordelen. De nieuwe regel zegt: "Hé, twee matige stukken bewijs zijn eigenlijk genoeg om vrij zeker te zijn." Het gebruik van deze regel alleen al verhoogde het vermogen van de robot om slechte varianten te vinden met 36,9 procentpunt.
2. De REVEL-score: De krachtigste enkele aanwijzing die de robot gebruikte, was een voorspellingsscore genaamd REVEL. Dit is een geavanceerde calculator die naar de vorm en chemie van het eiwit kijkt om te raden of een verandering slecht is. Toen de onderzoekers de REVEL-score uitschakelden, stortte het vermogen van de robot om slechte varianten te vinden met 36,9 procentpunt in. Het bleek dat REVEL de belangrijkste superkracht van de robot was.

Wat de Robot Mistte

Het artikel wijst expliciet op wat de robot niet kon doen. De reden dat hij moeite had met het identificeren van "veilige" varianten, is dat hij geen toegang heeft tot bepaalde soorten bewijs die mensen wel hebben.

• Labtesten: Mensen kunnen kijken naar de resultaten van daadwerkelijke laboratoriumexperimenten (functionele assays) die bewijzen dat een gen goed werkt. De robot kan deze niet zien.
• Stambomen: Mensen kunnen kijken naar hoe een variant door een stamboom loopt om te zien of het een ziekte veroorzaakt. De robot kan dat niet doen.
• Vertrouwde Bronnen: Mensen kunnen een vertrouwde medische database lezen die zegt: "We weten dat deze variant veilig is." De robot is geprogrammeerd om deze informatie te negeren om circulaire logica te voorkomen (waarbij de robot simpelweg herhaalt wat de database zegt).

Omdat de robot niet in staat was om deze "niet-computationele" aanwijzingen te gebruiken, was hij veel minder zelfverzekerd over het bestempelen van zaken als "Benigne".

Het Oordeel

Het artikel concludeert dat hoewel we het menselijke expertpanel nog niet kunnen vervangen door een robot, we wel een zeer behulpzame assistent kunnen bouwen. VarTriage, gebruikmakend van slechts 10 van de 28 mogelijke regels, kan fungeren als een zeer betrouwbaar filter. Het kan duidelijk gevaarlijke en duidelijk veilige varianten snel scheiden van de "misschien"-stapel, zodat de menselijke experts zich alleen op de lastige gevallen kunnen concentreren.

De auteurs suggereren dat de volgende grote sprong niet zal komen van het slimmer maken van de wiskunde van de robot, maar van het geven van toegang tot meer soorten data—specifiek die labtestresultaten en stamboom aanwijzingen die de robot momenteel in het duister laten. Tot die tijd is de robot een fantastische partner voor de "slecht versus goed"-beslissing, maar heeft hij nog steeds een mens nodig om hem zelfverzekerd te laten zijn over de "veilige" varianten.