Deep Learning versus Linear Mixed Models for Estimating Treatment Effects in Longitudinal Repeated-Measures Studies

In de wereld van klinisch onderzoek moeten wetenschappers vaak bijhouden hoe patiënten in de loop van de tijd veranderen. Stel je een persoon voor die een medicijn tegen depressie gebruikt; hun symptomen springen niet simpelweg van "slecht" naar "goed" in één enkel moment. In plaats daarvan fluctueren ze dag na dag, beïnvloed door het medicijn, hun biologie en het verstrijken van de tijd. Om te begrijpen of een behandeling echt werkt, verzamelen onderzoekers gegevens op meerdere momenten—weken, maanden of jaren—waardoor voor elke persoon een lange reeks metingen ontstaat. De uitdaging is dat deze herhaalde metingen van hetzelfde individu aan elkaar gekoppeld zijn; wat er op dag één gebeurt, beïnvloedt wat er op dag twee gebeurt. Traditionele statistische instrumenten zijn lang de standaard geweest om deze gekoppelde gegevenspunten te ontrafelen, waardoor wetenschappers het ware effect van een medicijn kunnen scheiden van de natuurlijke schommelingen in de conditie van een patiënt. Echter, deze traditionele instrumenten vereisen dat onderzoekers specifieke aannames doen over de vorm van de herstelcurve nog voordat ze beginnen met het bekijken van de gegevens. Als het werkelijke herstel in de praktijk een ander pad volgt dan wat was voorspeld, kan het instrument de plank misslaan.

Een nieuwere, flexibelere benadering genaamd deep learning is in de afgelopen jaren opgekomen. In tegenstelling tot de traditionele instrumenten begint deep learning niet met een vooraf ingestelde vorm of een rigide formule. In plaats daarvan maakt het gebruik van een computersysteem dat ontworicht is om te imiteren hoe het menselijk brein leert, waardoor het complexe patronen en relaties rechtstreeks uit de gegevens kan ontdekken. Deze flexibiliteit is krachtig, maar het roept een cruciale vraag op: in de hooggevoelige omgeving van medische trials, waar de steekproefomvang vaak bescheiden is en de kosten van een fout hoog zijn, presteert deze flexibele, gegevenshongerige benadering dan daadwerkelijk beter dan de gevestigde, op regels gebaseerde methoden? Een team van onderzoekers in Frankrijk zette zich in om dit te beantwoorden door een gecontroleerd experiment uit te voeren om te zien welke methode nauwkeuriger het effect van een behandeling kon meten.

De onderzoekers testten dit niet op echte patiënten, maar op een zeer realistische computersimulatie van een klinische studie naar een majeure depressieve stoornis. Ze bouwden een virtuele wereld waarin 240 deelnemers werden verdeeld in drie groepen: één groep die een placebo kreeg, één groep die een lage dosis van een medicijn kreeg, en één groep die een hoge dosis kreeg. Ze simuleerden de depressiescores van de patiënten over een periode van acht weken, waarbij ze drie verschillende soorten herstelpatronen creëerden om de test robuust te maken. Ze varieerden ook het schema van de controles, waarbij scenario's werden getest waarin sommige deelnemers op verschillende tijden of met verschillende frequenties werden beoordeeld. In deze virtuele omgeving kenden de onderzoekers de exacte waarheid over hoe het medicijn werkte, omdat zij zelf de regels van de simulatie hadden geschreven. Dit stelde hen in staat om als scheidsrechter op te treden, waarbij ze vergeleken hoe goed twee verschillende methoden—het traditionele statistische model en het nieuwe deep learning-systeem—die bekende waarheid konden vinden.

Toen de analyse begon, waren beide methoden in staat om de algemene trend te zien: de hogere dosis werkte beter dan de lagere dosis, en beide werkten beter dan de placebo. In die brede zin waren beide benaderingen succesvol. Echter, toen de onderzoekers nauwkeuriger naar de precisie van de cijfers keken, kwam er een duidelijk verschil naar voren. De traditionele methode, hoewel gemiddeld betrouwbaar, vertoonde een merkbare afwijking van de bekende waarheid in haar schattingen. Gemiddeld zat de berekening van het effect van de behandeling door de traditionele methode er ongeveer 3,5 punten naast op de depressieschaal. In contrast hiermee was het deep learning-systeem opmerkelijk precies, waarbij de schattingen de werkelijke waarde slechts met ongeveer 0,15 punten misten. Het deep learning-systeem vertoonde ook een veel nauwere aansluiting bij de bekende realiteit en volgde de ware waarden bijna perfect, terwijl de traditionele methode de neiging had om de verschillen tussen groepen af te vlakken, waardoor de werkelijke kracht van de behandeling werd onderschat.

De studie onderzocht ook hoe elk systeem presteerde wanneer de timing en frequentie van de beoordelingen varieerden, wat realistische scenario's nabootst waarin de controle-schema's niet uniform zijn. Het deep learning-model bleek robuust; het behield zijn nauwkeurigheid, zelfs wanneer de gegevens op onregelmatige intervallen werden verzameld. Het slaagde erin de onderliggende patronen van het herstel van de patiënten te leren zonder dat het precies verteld moest worden hoe die patronen eruit moesten zien. De traditionele methode, die vertrouwt op specifieke aannames over hoe de gegevens verbonden zijn en de vorm van de herstelcurve, vertoonde een grotere afwijking van de waarheid wanneer de gegevens niet perfect pasten bij de vooraf ingestelde verwachtingen. De onderzoekers ontdekten dat de deep learning-benadering veel minder aannames vereiste over het onderliggende systeem om een resultaat te produceren dat dichter bij de waarheid lag.

Ondanks deze indrukwekkende resultaten in de simulatie, zijn de auteurs voorzichtig om geen definitieve overwinning uit te roepen. Ze benadrukken dat deze bevindingen specifiek zijn voor de condities die zij hebben gecreëerd. De studie gebruikte een specifiek type depressieschaal, een specifiek aantal deelnemers en een specifieke set regels voor hoe de gegevens werden gegenereerd. Hoewel de deep learning-methode een superieure prestatie liet zien in deze gecontroleerde setting, beweren de onderzoekers niet dat het universeel beter is voor elke medische trial. Ze merken op dat deep learning-modellen complex en moeilijk interpreteerbaar kunnen zijn, en dat hun succes in deze simulatie niet garandeert dat ze in elk reële scenario beter zullen presteren dan traditionele methoden. De studie dient als een proof of concept, die suggereert dat deep learning een krachtig en betrouwbaar hulpmiddel kan zijn voor het schatten van behandelingseffecten, vooral wanneer de patronen van herstel complex en moeilijk vooraf te voorspellen zijn. Het opent de deur voor verder onderzoek, waarbij wetenschappers worden uitgenodigd om deze methoden in grotere, diversere trials te testen om te zien of deze precisie standhoudt wanneer de variabelen van het echte leven volledig worden geïntroduceerd.