Information, Not AI Model Sophistication, Limits Resolution of Disease Progression in COPDGene

Decennialang hebben artsen en wetenschappers een frustrerend patroon bij chronische longziekten geobserveerd. Twee mensen kunnen beginnen met bijna identieke longfunctietests, een vergelijkbare rookgeschiedenis en dezelfde diagnose, maar hun toekomsten lopen toch radicaal uiteen. De één kan in twintig jaar tijd langzaam achteruitgaan, terwijl de ander binnen enkele jaren een snelle, ernstige instorting van de longfunctie ondergaat. Deze onvoorspelbaarheid is het centrale raadsel van de ziekte die bekend staat als COPD. Onderzoekers hoopten al lang dat door meer gegevens te verzamelen—het scannen van longen, het testen van genen en het meten van eiwitten in het bloed—zij de verborgen aanwijzingen zouden vinden die verklaren waarom de één verslechtert terwijl de ander stabiel blijft. De heersende overtuiging was dat als we maar een groot genoeg computermodel met voldoende gegevens zouden bouwen, we eindelijk precies zouden kunnen voorspellen hoe de ziekte van een individu zal verlopen.

Een nieuwe studie daagt deze aanname uit en suggereert dat het probleem niet een gebrek aan rekenkracht is, maar een gebrek aan informatie in de eerste plaats. De onderzoekers keken naar een grote groep mensen met COPD die vele jaren lang gevolgd waren, waarbij hun longfunctie werd bijgehouden en gedetailleerde bloedmonsters werden verzameld. Ze stelden een eenvoudige maar diepzinnige vraag: Als twee patiënten er vandaag op alle standaard medische tests exact hetzelfde uitzien, kunnen we dan voorspellen wie er morgen slechter van wordt? Ze testten of het toevoegen van complexe moleculaire gegevens uit bloedmonsters het mysterie kon oplossen, en of de meest geavanceerde kunstmatige intelligentie-modellen patronen konden vinden die eenvoudigere methoden misten. Wat ze vonden, was dat zelfs met de beste instrumenten en de meest gedetailleerde gegevens die beschikbaar zijn, de informatie die we momenteel hebben vaak niet voldoende is om het verschil tussen twee vergelijkbare patiënten te verklaren.

De studie richtte zich op 785 deelnemers van een groot nationaal onderzoeksproject. Deze individuen hadden standaard medische onderzoeken ondergaan, waaronder tests van hoeveel lucht zij in één seconde naar buiten konden blazen, wat de primaire maatstaf is voor de gezondheid van de longen. De onderzoekers hadden ook toegang tot een gedetailleerde moleculaire momentopname van het bloed van elke persoon, die de activiteit van duizenden genen liet zien. Het doel was om te zien of het kennen van de genetische activiteit in het bloed zou helpen voorspellen hoeveel de longfunctie van een persoon de komende vijf jaar zou dalen. Om dit te doen, bekeken de onderzoekers de groep niet slechts als een enkele massa. In plaats daarvan keken ze naar kleine 'buurten' van patiënten. Voor elke persoon in de studie zochten ze de dertig andere mensen die het meest op hen leken op basis van hun huidige gezondheidsgegevens. Vervolgens controleerden ze of die dertig vergelijkbare mensen vijf jaar later ook een vergelijkbare verandering in de longfunctie hadden doorgemaakt.

De resultaten waren verrassend bescheiden. Wanneer de onderzoekers alleen naar de standaard klinische gegevens keken—leeftijd, geslacht, ras en longtestresultaten—vonden zij dat patiënten die aan het begin van de studie zeer vergelijkbaar waren, uiteindelijk zeer verschillende uitkomsten hadden. De gelijkenis in hun huidige gezondheid verklaarde slechts een minuscuul deel van wat er later met hen gebeurde. Sterker nog, de variatie in toekomstige longfunctie onder deze vergelijkbare patiënten bleef bijna even groot als wanneer de patiënten willekeurig waren gekozen. Dit betekent dat de standaard medische tests, hoewel nuttig voor de diagnose, niet genoeg detail bevatten om het specifieke pad van de ziekte voor een individu te voorspellen.

De onderzoekers voegden vervolgens de bloedgengegevens toe aan de mix, in de hoop dat deze diepere laag biologische informatie het beeld zou verhelderen. Ze kwamen tot de conclusie dat dit weliswaar hielp, maar slechts een klein beetje. De bloedgegevens stelden hen in staat om een klein extra verschil tussen de patiënten te onderscheiden. Hoewel dit een reëel en reproduceerbaar bevinding was, was het geen wondermiddel. Zelfs met de gengegevens bleef de overgrote meerderheid van de variatie in toekomstige longfunctie onverklaard. De patiënten die op elkaar leken, hadden nog steeds zeer verschillende toekomsten. De studie testte expliciet of deze mislukking te wijten was aan de modellen die te simpel waren. Ze haalden de gegevens door tien verschillende soorten wiskundige modellen, variërend van basis statistische instrumenten tot complexe systemen van kunstmatige intelligentie. Geen van hen kon het gebrek aan informatie overwinnen. De modellen waren niet de flessenhals; de data zelf was de beperkende factor.

Misschien wel de meest praktische bevinding van de studie betreft de manier waarop we dure medische tests moeten gebruiken. Omdat de bloedgengegevens gemiddeld slechts een beetje hielpen, vroegen de onderzoekers zich af of ze sommige mensen meer hielpen dan anderen. Ze simuleerden een scenario waarin ze konden kiezen om slechts een deel van de patiënten te testen, in plaats van iedereen te testen. Ze ontdekten dat door de standaard klinische gegevens te gebruiken om te identificeren welke patiënten het meeste baat zouden hebben bij de extra bloedtest, zij bijna de volledige waarde van die dure informatie konden terugwinnen door slechts een fractie van de groep te testen. Bijvoorbeeld, door slechts dertig procent van de patiënten te testen, konden zij bijna twee derde van de nuttige informatie vastleggen die zij hadden verkregen als zij iedereen hadden getest. Dit suggereert dat een "one-size-fits-all"-benadering van diepe moleculaire testen inefficiënt is. In plaats daarvan kunnen artsen de resultaten van routinematige controles gebruiken om te beslissen welke specifieke patiënten de meer gedetailleerde, dure testen nodig hebben om een duidelijker beeld van hun toekomstige gezondheid te krijgen.

De studie vergeleek ook verschillende manieren om de gegevens te organiseren. De onderzoekers keken naar een gepubliceerde methode die klinische en genetische gegevens combineerde in één enkel profiel, in de hoop dat dit beter zou presteren dan het kijken naar de genen alleen. Ze vonden dat dit gecombineerde profiel daadwerkelijk slechter presteerde bij het voorspellen van de specifieke toekomstige veranderingen in de longfunctie dan de ruwe gengegevens dat deden. Dit benadrukt een cruciaal punt: de manier waarop we informatie organiseren en comprimeren doet ertoe. Een methode die uitstekend is in het groeperen van patiënten in brede categorieën, kan per ongeluk de subtiele details wissen die nodig zijn om individuele uitkomsten te voorspellen. De informatie was aanwezig in het bloed, maar de manier waarop deze werd verpakt voor het gecombineerde profiel, maakte deze onduidelijk.

Uiteindelijk zegt dit onderzoek niet dat we de progressie van longziekten niet kunnen voorspellen. Het zegt dat we met de specifieke gegevens uit deze grote studie niet de toekomsten van patiënten kunnen onderscheiden die momenteel identiek lijken. De studie suggereert dat het antwoord op de vraag waarom vergelijkbare patiënten verschillende uitkomsten hebben, ligt in informatie die we nog niet hebben gemeten of vastgelegd. Het zou kunnen zijn dat de standaardtests subtiele verschillen in hoe de ziekte zich gedraagt missen, of dat de bloedmonsters niet de juiste moleculaire signalen op het juiste moment hebben vastgelegd. De auteur betoogt dat we, voordat we complexere modellen van kunstmatige intelligentie bouwen, eerst moeten waarborgen dat de gegevens die we ze voeden, de onderscheidende kenmerken bevatten die we proberen te vinden.

De implicaties voor medisch onderzoek zijn duidelijk. Grote studies die diepe biologische gegevens verzamelen zijn uiterst waardevol, niet alleen voor het ontdekken van nieuwe ziekten, maar ook voor het leren wat voor informatie daadwerkelijk nuttig is. Door te analyseren bij wie extra testen wel en niet helpen, kunnen deze studies de vormgeving van toekomstig onderzoek sturen. In plaats van alles bij iedereen te meten, kunnen wetenschappers leren om hun meest kostbare en gedetailleerde metingen te richten op de specifieke patiënten die ze het meest nodig hebben. Deze benadering beweegt de geneeskunde weg van een strategie van het verzamelen van zoveel mogelijk gegevens naar een strategie van het verzamelen van de juiste gegevens voor de juiste persoon. De studie concludeert dat de sleutel tot het oplossen van het mysterie van ziekteprogressie niet alleen betere computers zijn, maar een beter begrip van welke informatie ontbreekt in ons huidige beeld van de patiënt.