Extending the saemix package for R to fit non Gaussian outcomes

In de wereld van klinisch onderzoek volgen wetenschappers vaak hoe mensen veranderen in de loop van de tijd. Ze kunnen het niveau van een hormoon in het bloed meten, tellen hoe vaak een patiënt pijn voelt, of registreren of een specifieke gebeurtenis, zoals een ziekenhuisbezoek, heeft plaatsgevonden. Deze metingen zijn niet slechts enkele momentopnames; het is een verhaal dat zich ontvouwt over dagen, weken of jaren. Om dit verhaal begrijpelijk te maken, gebruiken onderzoekers een statistische benadering genaamd niet-lineaire mixed-effect modellen. Denk hierbij aan een manier om een enkele, vloeiende curve te trekken die het gemiddelde traject van een hele groep vertegenwoordigt, terwijl ook wordt erkend dat iedere individuele persoon een iets ander pad bewandelt. Sommige mensen herstellen sneller, anderen langzamer, en sommigen ervaren bijwerkingen die anderen niet hebben. De uitdaging ontstaat wanneer de gegevens die worden gevolgd geen eenvoudig, klokvormig patroon volgen. Aantallen gebeurtenissen, ja-of-nee-antwoorden, of de tijd tot een gebeurtenis plaatsvindt, creëren grillige, onregelmatige data waar traditionele instrumenten moeite mee hebben om te interpreteren.

Jarenlang hadden onderzoekers krachtige software om de vloeiende, klokvormige data te verwerken, maar de tools voor de onregelmatige, grillige data waren ofwel duur, gesloten voor het publiek, of moeilijk te gebruiken. Een team van onderzoekers onder leiding van Emmanuelle Comets, Maud Delattre en Belhal Karimi zette zich in om dit te veranderen door de mogelijkheden van een gratis, open-source softwarepakket genaamd saemix uit te breiden. Oorspronkelijk ontworpen voor continue metingen, is deze tool nu geüpgraded om de rommelige, echte wereld-data te verwerken die de vorm aannemen van tellingen, categorieën en overlevingstijden. De onderzoekers hebben de tool niet alleen gebouwd; ze hebben het ook rigoureus getest tegen complexe scenario's om te verzekeren dat het de ware antwoorden kan vinden die verborgen liggen in de ruis. Hun werk biedt een nieuwe, toegankelijke manier voor wetenschappers om alles te modelleren, van de verspreiding van infecties tot de frequentie van alcoholgerelateerde problemen, waarbij wordt gewaarborgd dat de unieke patronen van individuele patiënten niet verloren gaan in de zoektocht naar een algemeen gemiddelde.

De kern van dit werk ligt in het algoritme dat de software gebruikt, bekend als het SAEM-algoritme. Stel je voor dat je probeert het hoogste punt te vinden in een uitgestrekt, mistig berglandschap. Je kunt het landschap niet in zijn geheel tegelijk zien, en de grond is ongelijkmatig. Het SAEM-algoritme is een methode om dit terrein stap voor stap te verkennen. Het begint met een gok, simuleert mogelijke paden door de mist, en verfijnt vervolgens de gok op basis van wat het leert van die simulaties. Het herhaalt dit proces, waarbij het steeds dichter bij de ware top komt, die de meest nauwkeurige beschrijving van de data vertegenwoordigt. De onderzoekers hebben deze methode uitgebreid zodat deze de grillige pieken en dalen van niet-Gaussische data kan navigeren — data die geen standaard klokvorm volgt. Dit omvat binaire data, waarbij de uitkomst simpelweg ja of nee is, zoals of er een schimmelinfectie van de teennagel aanwezig is of niet. Het omvat ook telgegevens, zoals het aantal keren dat een patiënt een specifiek symptoom rapporteert, en time-to-event data, die bijhoudt hoe lang het duurt voordat iets gebeurt, zoals een terugkeer van een ziekte.

Om te bewijzen dat hun uitbreiding werkte, paste het team de bijgewerkte software toe op real-world datasets. Eén voorbeeld betrof een klinische studie waarbij twee behandelingen voor schimmelinfecties van de teennagel werden vergeleken. In deze studie werden 294 patiënten gedurende bijna een jaar gevolgd, waarbij hun infectiestatus bij zeven verschillende bezoeken werd gecontroleerd. De uitkomst was binair: of de nagel was schoon of dat was hij niet. De onderzoekers gebruikten saemix om te modelleren hoe de infectie in de loop van de tijd verdween en of één behandeling beter werkte dan de andere. Ze ontdekten dat de software accuraat kon schatten hoe snel de infectie oploste en het effect van de behandeling, wat overeenkwam met de resultaten van eerdere studies die andere, duurdere software gebruikten. Dit was een significante validatie, die aantoonde dat de open-source tool de complexiteit van medische trials kon aan kunnen waarbij patiënten verschillend reageren op dezelfde therapie.

Een andere testcase betrof een studie naar alcoholgerelateerde problemen onder studenten. Deze dataset bevatte duizenden herhaalde metingen van hoeveel problemen studenten elke zes maanden rapporteerden. De data waren lastig omdat een groot aantal studenten op veel momenten nul problemen rapporteerde, wat een enorme piek onderaan de grafiek creëerde, terwijl anderen een variërend aantal problemen rapporteerden. Standaardmodellen falen vaak bij dergelijke data omdat ze niet gemakkelijk het onderscheid kunnen maken tussen mensen die nooit problemen hebben en mensen die ze af en toe hebben. De onderzoekers gebruikten saemix om drie verschillende soorten modellen op deze telgegevens te fitten. Ze ontdekten dat modellen die specifiek zijn ontworpen om de overtollige nullen te verwerken, zoals het zero-inflated Poisson-model, een veel betere fit boden dan een standaardmodel. De software legde succesvol vast dat het aantal problemen in de loop van de tijd afnam en dat mannen de neiging hadden om iets meer problemen te rapporteren dan vrouwen, terwijl ook rekening werd gehouden met de unieke variabiliteit tussen individuele studenten.

Om er absoluut zeker van te zijn dat de software betrouwbaar was, stopte het team niet bij real-world voorbeelden. Ze creëerden een simulatiestudie, waarbij ze in feite duizenden nep-datasets genereerden waarvan ze de exacte antwoorden vooraf kenden. Ze voedden deze bekende scenario's aan saemix om te zien of de software de ware waarden kon terugvinden. In het geval van binaire data presteerde de software uitzonderlijk goed en vond de ware parameters met zeer weinig fouten terug. Zelfs toen ze meer complexiteit introduceerden door individuele variabiliteit in de snelheid van verandering toe te laten, bleef de software stabiel. De onderzoekers testten ook verschillende startpunten voor de berekeningen om te verzekeren dat de resultaten niet slechts een gelukkige gok waren gebaseerd op waar het algoritme begon. De consistentie van de resultaten over deze simulaties heen gaf hen het vertrouwen dat de tool robuust is en klaar voor gebruik door andere wetenschappers.

Het artikel behandelt ook een praktische beperking in de manier waarop onzekerheid wordt gemeten. In de statistiek is weten wat het antwoord is niet genoeg; onderzoekers moeten weten hoe zeker ze kunnen zijn van dat antwoord. Voor standaarddata wordt dit meestal berekend met een formule die goed werkt. Echter, voor de onregelmatige datatypen waar dit artikel zich op richt, geeft die standaardformule vaak misleidende resultaten. De onderzoekers ontdekten dat een andere benadering, genaamd bootstrapping, veel beter werkte. Deze methode houdt in dat de data vele malen opnieuw wordt gesampled om te zien hoeveel de resultaten variëren. Ze toonden aan dat het gebruik van deze resamplingstechniek in saemix een nauwkeuriger beeld gaf van de onzekerheid, wat ervoor zorgt dat wanneer een onderzoeker zegt dat een effect van een behandeling significant is, die claim wordt ondersteund door solide bewijs.

Door hun hele werk heen benadrukten de auteurs flexibiliteit. De bijgewerkte saemix-package stelt gebruikers in staat om hun eigen likelihood-functies te definiëren, wat de wiskundige regel is die beschrijft hoe waarschijnlijk een specifieke set gegevens is om voor te komen. Dit betekent dat als een onderzoeker een nieuw type data of een uniek biologisch proces tegenkomt, hij niet vastzit aan een vooraf ingesteld model. Ze kunnen de regels voor hun specifieke situatie schrijven, en de software zal het zware rekenwerk uitvoeren. Deze flexibiliteit is een groot voordeel ten opzichte van commerciële software, die gebruikers vaak beperkt tot een vaste set modellen. Het team heeft ook de visuele tools binnen het pakket verbeterd, waardoor onderzoekers duidelijke grafieken kunnen maken die laten zien hoe goed het model bij de data past, wat hen helpt zwakheden of gebieden voor verbetering te ontdekken.

De implicaties van dit werk reiken verder dan alleen de code. Door deze geavanceerde modellerings-technieken gratis beschikbaar en gemakkelijk te maken, verlagen de onderzoekers de drempel voor wetenschappers die complexe longitudinale data willen analyseren. Of het nu gaat om het volgen van de progressie van een chronische ziekte, het evalueren van de effectiviteit van een interventie in de volksgezondheid, of het begrijpen van de dynamiek van een biologisch systeem, het vermogen om niet-standaard data accuraat te modelleren is cruciaal. Het artikel concludeert dat saemix nu een krachtige, volledig open-source tool is die in staat is om een breed scala aan datatypen te verwerken. Hoewel er nog steeds enkele beperkingen zijn, zoals de moeilijkheid om complexe differentiaalvergelijkingen binnen de software te verwerken, markeert de uitbreiding een belangrijke stap voorwaarts. Het biedt een betrouwbaar, transparant en flexibel alternatief voor de wetenschappelijke gemeenschap, wat ervoor zorgt dat de verhalen die verborgen liggen in onregelmatige data eindelijk met helderheid en precisie verteld kunnen worden.