Deep Learning versus Linear Mixed Models for Estimating Treatment Effects in Longitudinal Repeated-Measures Studies

In der Welt der klinischen Forschung müssen Wissenschaftler oft verfolgen, wie sich Patienten im Laufe der Zeit verändern. Stellen Sie sich eine Person vor, die ein Medikament gegen Depressionen einnimmt; ihre Symptome springen nicht einfach in einem einzigen Augenblick von „schlecht“ zu „gut“ über. Stattdessen schwanken sie von Tag zu Tag, beeinflusst durch das Medikament, ihre Biologie und den Lauf der Zeit. Um zu verstehen, ob eine Behandlung wirklich wirkt, sammeln Forscher Daten an mehreren Punkten – Wochen, Monate oder Jahre – und erstellen so eine lange Messreihe für jede Person. Die Herausforderung besteht darin, dass diese wiederholten Messungen derselben Person miteinander verknüpft sind; was an Tag eins geschieht, beeinflusst das, was an Tag zwei geschieht. Traditionelle statistische Werkzeuge sind seit langem der Standard, um diese verknüpften Datenpunkte zu entwirren, wodurch es Wissenschaftlern ermöglicht wird, den wahren Effekt eines Medikaments von den natürlichen Auf und Abs des Zustands eines Patienten zu trennen. Diese traditionellen Werkzeuge erfordern jedoch, dass Forscher spezifische Vermutungen über die Form der Erholungskurve anstellen, noch bevor sie überhaupt mit der Untersuchung der Daten beginnen. Wenn der reale Genesungsverlauf einem anderen Pfad folgt als der vermutete, könnte das Werkzeug das Ziel verfehlen.

Ein neuerer, flexiblerer Ansatz namens Deep Learning ist in den letzten Jahren aufgekommen. Im Gegensatz zu den traditionellen Werkzeugen beginnt Deep Learning nicht mit einer vorgegebenen Form oder einer starren Formel. Stattdessen verwendet es ein Computersystem, das die Funktionsweise des menschlichen Gehirns beim Lernen nachahmt, was es dem System ermöglicht, komplexe Muster und Beziehungen direkt aus den Daten selbst zu entdecken. Diese Flexibilität ist kraftvoll, wirft aber eine kritische Frage auf: In der hochsensiblen Umgebung klinischer Studien, in denen die Stichprobengrößen oft moderat und die Kosten eines Fehlers hoch sind, performiert dieser flexible, datenhungrige Ansatz tatsächlich besser als die etablierten, regelbasierten Methoden? Ein Forscherteam in Frankreich setzte sich zum Ziel, dies zu beantworten, indem es ein kontrolliertes Experiment durchführte, um zu sehen, welche Methode den Effekt einer Behandlung genauer messen konnte.

Die Forscher testeten dies nicht an echten Patienten, sondern an einer hochrealistischen Computersimulation einer klinischen Studie zu einer schweren depressiven Störung. Sie bauten eine virtuelle Welt, in der 240 Teilnehmer in drei Gruppen aufgeteilt wurden: eine erhielt ein Placebo, eine eine niedrige Dosis eines Medikaments und eine eine hohe Dosis. Sie simulierten die Depressionswerte der Patienten über acht Wochen und erstellten dabei drei verschiedene Arten von Erholungsmustern, um sicherzustellen, dass der Test robust war. Sie variierten auch den Zeitplan der Kontrolluntersuchungen und testeten Szenarien, in denen einige Teilnehmer zu unterschiedlichen Zeiten oder mit unterschiedlicher Häufigkeit untersucht wurden. In dieser virtuellen Umgebung kannten die Forscher die exakte Wahrheit darüber, wie das Medikament wirkte, da sie die Regeln der Simulation selbst geschrieben hatten. Dies ermöglichte es ihnen, als Schiedsrichter zu fungieren und zu vergleichen, wie gut zwei verschiedene Methoden – das traditionelle statistische Modell und das neue Deep-Learning-System – diese bekannte Wahrheit finden konnten.

Als die Analyse begann, konnten beide Methoden den allgemeinen Trend erkennen: Die höhere Dosis wirkte besser als die niedrigere Dola, und beide wirkten besser als das Placebo. In diesem breiten Sinne waren beide Ansätze erfolgreich. Doch als die Forscher genauer auf die Präzision der Zahlen blickten, zeigte sich ein deutlicher Unterschied. Die traditionelle Methode war zwar im Durchschnitt zuverlässig, zeigte jedoch eine merkliche Abweichung von der bekannten Wahrheit in ihren Schätzungen. Im Durchschnitt wich ihre Berechnung des Behandlungseffekts um etwa 3,5 Punkte auf der Depressionsskala vom tatsächlichen Wert ab. Im Gegensatz dazu war das Deep-Learning-System bemerkenswert präzise; seine Schätzungen wichen nur um etwa 0,15 Punkte vom wahren Wert ab. Das Deep-Learning-System zeigte auch eine viel engere Übereinstimmung mit der bekannten Realität und folgte den wahren Werten fast perfekt, während die traditionelle Methode dazu neigte, die Unterschiede zwischen den Gruppen abzuflachen und die wahre Stärke der Behandlung zu unterschätzen.

Die Studie untersuchte auch, wie jedes System performte, wenn sich die Zeitpunkte und die Häufigkeit der Beurteilungen änderten, was reale Szenarien nachahmt, in denen die Zeitpläne für Kontrolluntersuchungen nicht einheitlich sind. Das Deep-Learning-Modell erwies sich als robust und behielt seine Genauigkeit auch dann bei, wenn die Daten in unregelmäßigen Intervallen erhoben wurden. Es gelang ihm, die zugrunde liegenden Muster der Genesung der Patienten zu erlernen, ohne dass ihm genau gesagt werden musste, wie diese Muster auszusehen hatten. Die traditionelle Methode, die auf spezifischen Annahmen darüber beruht, wie die Daten miteinander verbunden sind und welche Form die Erholungskurve hat, zeigte größere Abweichungen von der Wahrheit, wenn die Daten nicht perfekt zu ihren vordefinierten Erwartungen passten. Die Forscher fanden heraus, dass der Deep-Learning-Ansatz weit weniger Annahmen über das zugrunde liegende System benötigte, um ein Ergebnis zu liefern, das näher an der Wahrheit lag.

Trotz dieser beeindruckenden Ergebnisse in der Simulation sind die Autoren vorsichtig, keinen endgültigen Sieg zu erklären. Sie betonen, dass diese Ergebnisse spezifisch für die von ihnen geschaffenen Bedingungen gelten. Die Studie verwendete eine spezifische Art von Depressionsskala, eine spezifische Anzahl von Teilnehmern und einen spezifischen Satz von Regeln dafür, wie die Daten generiert wurden. Obwohl die Deep-Learning-Methode in dieser kontrollierten Umgebung eine überlegene Leistung zeigte, behaupten die Forscher nicht, dass sie universell besser für jede medizinische Studie ist. Sie merken an, dass Deep-Learning-Modelle komplex und schwer interpretierbar sein können, und ihr Erfolg in dieser Simulation garantiert nicht, dass sie in jedem realen Szenario die traditionellen Methoden übertreffen werden. Die Studie dient als Proof of Concept und legt nahe, dass Deep Learning ein kraftvolles, zuverlässiges Werkzeug zur Schätzung von Behandlungseffekten sein kann, insbesondere wenn die Erholungsmuster komplex und im Voraus schwer vorhersehbar sind. Sie öffnet die Tür für weitere Untersuchungen und lädt Wissenschaftler dazu ein, diese Methoden in größeren, vielfältigeren Studien zu testen, um zu sehen, ob diese Präzision auch dann Bestand hat, wenn die Variablen des realen Lebens voll zum Tragen kommen.