Bridging SCED and Group Designs: Demonstrating the Ratio-Metric BC-IRR Effect Size in a Meta-Analysis

In de wereld van onderwijs en therapie staan onderzoekers voor een hardnekkig raadsel: hoe te meten of een nieuwe methode iemand daadwerkelijk helpt om beter te leren of beter te gedragen. Decennialang heeft de wetenschappelijke gemeenschap vertrouwd op twee zeer verschillende manieren om bewijs te verzamelen. Eén benadering, bekend als groepsontwerp, verzamelt grote aantallen mensen, verdeelt hen in teams en vergelijkt de gemiddelde resultaten van het team dat een nieuwe behandeling ontvangt met een team dat standaardzorg krijgt. Deze methode is krachtig voor het zien van brede trends binnen populaties. De andere benadering, de single-case experimentele design (onderzoek met één casus), richt zich intensief op één individu tegelijk. Onderzoekers observeren nauwgezet één persoon, introduceren een specifieke interventie en volgen hoe het gedrag van die persoon in de loop van de tijd verandert, waarbij vaak wordt gezocht naar onmiddellijke verschuivingen in specifieke acties zoals het doen van een verzoek of het bij de les blijven. Hoewel beide methoden rigoureus zijn, hebben ze historisch gezien verschillende talen gesproken. De groepsstudies produceren getallen die beschrijven hoe een hele groep veranderde, terwijl de single-case studies getallen produceren die beschrijven hoe een individu veranderde. Omdat deze getallen verschillend worden berekend, is het moeilijk geweest om ze samen te voegen tot één helder beeld van wat het beste werkt voor leerlingen met een autismespectrumstoornis.

Deze moeilijkheid creëert een blinde vlek voor onderwijzers en beleidsmakers. Als een nieuwe technologie een groep kinderen helpt hun sociale vaardigheden met een bepaalde hoeveelheid te verbeteren, maar een andere groep kinderen helpt hun communicatie met een andere hoeveelheid, hoe kunnen we dan weten of de technologie werkelijk effectief is in algemene zin? Het probleem is niet alleen dat de studies er anders uitzien, maar dat de instrumenten die worden gebruikt om succes te meten, incompatibel zijn. Traditionele instrumenten verwarren de omvang van de verbetering vaak met de mate waarin de resultaten van persoon tot persoon variëren, of ze veranderen van betekenis afhankelijk van hoe lang de observatie duurde. Om dit op te lossossen, zette een team van onderzoekers onder leiding van Wen Luo van Texas A&M University zich op het doel om een nieuwe meetlat te bouwen. Ze wilden een manier vinden om de resultaten van individuen en groepen naar dezelfde taal te vertalen, zodat ze zij aan zij vergeleken kunnen worden. Ze concentreerden zich op een specifiek type meting genaamd de incidentieratio (incidence rate ratio). In eenvoudige termen is dit een eenvoudige vergelijking van ratio's: het vraagt hoe vaak een gedrag voorkwam tijdens de behandeling vergeleken met hoe vaak het voorkwam vóór de behandeling begon. Door deze ratio te gebruiken, konden de onderzoekers het effect van een interventie uitdrukken als een rechttoe rechtaan procentuele toename of afname, in plaats van een complexe statistische score die gespecialiseerde training vereist om te begrijpen.

De onderzoekers testten deze nieuwe aanpak door een grote collectie van eerdere studies over technologie-ondersteunde instructie voor leerlingen met autisme te herzien. Deze oorspronkelijke collectie, samengesteld door andere wetenschappers in 2017, bevatte tientallen studies die zowel groepsontwerpen als single-case designs gebruikten. Het team heronderzocht de gegevens van zesendertig specifieke uitkomsten, variërend van hoe goed kinderen gezichtsuitdrukkingen herkenden tot hoe vaak ze om hulp vroegen of een gesprek aangingen. Ze pasten hun nieuwe ratio-gebaseerde methode toe op de single-case studies en een bijbehorende ratio-methode op de groepsstudies. Het doel was om te zien of de twee soorten onderzoek een consistent verhaal zouden vertellen wanneer ze door deze nieuwe lens werden bekeken. De resultaten onthulden een duidelijk, kwantificeerbaar verschil in hoe de twee ontwerpen succes maten. De groepsstudies lieten zien dat de technologie-interventies leidden tot een gemiddelde verbetering van ongeveer 23 procent ten opzichte van de controlegroepen. Met andere woorden, leerlingen in de behandelgroepen presteerden ongeveer een kwart beter dan zij die de specifieke technologische hulp niet ontvingen.

Echter, de single-case studies vertelden een veel dramatischer verhaal. Toen de onderzoekers dezelfde ratio-gebaseerde logica toepasten op de individuele gevallen, vonden zij dat de interventies zorgden voor een meer dan verviervoudige toename van positieve uitkomsten vergeleken met de baseline. Dit betekent dat voor de individuele leerlingen in deze studies het gedrag dat ze probeerden te verbeteren, meer dan vier keer zo vaak voorkwam nadat de interventie begon. Het verschil tussen een toename van 23 procent en een verviervoudige toename is opvallend, en het leek aanvankelijk te suggereren dat er een tegenstrijdigheid was. Toch verwierpen de onderzoekers deze kloof niet als een fout of een gebrek in de data. In plaats daarvan gebruikten ze de nieuwe metriek om uit te leggen waarom de cijfers er zo verschillend uitzagen. Ze ontdekten dat de twee soorten studies in essentie vanuit verschillende posities vertrokken. De groepsstudies vergeleken de nieuwe technologie vaak met een standaard klasomgeving of een ander type instructie, waarbij leerlingen al over een redelijk niveau van vaardigheid beschikten. De single-case studies daarentegen gingen vaak uit van leerlingen die vóór de interventie een zeer laag niveau van het doelgedrag hadden. Omdat het startpunt zo laag was, resulteerde zelfs een bescheiden absolute verbetering in een enorme procentuele toename.

Dit onderscheid is cruciaal omdat het verandert hoe we de successen van deze interventies interpreteren. De nieuwe methode maakte duidelijk dat de grote cijfers in de single-case studies niet noodzakelijkerwijs een teken waren dat de behandeling beter werkte voor individuen dan voor groepen, maar eerder dat de individuen met een veel lager basisniveau begonnen. De ratio-gebaseerde maatstaf maakte dit duidelijk door zich te richten op de relatieve verandering in plaats van op het absolute verschil. Het benadrukte ook een belangrijke zwakte in de oudere methoden die werden gebruikt om deze studies te vergelijken. De traditionele instrumenten mengden vaak de omvang van de verbetering met de variabiliteit van de gegevens, waardoor het moeilijk was te zeggen of een groot effect echt was of slechts een resultaat van hoe breed de scores verspreid waren. De nieuwe ratio-aanpak vermeed deze valkuil volledig en bood een resultaat dat stabiel bleef, ongeacht hoeveel de scores varieerden of hoe lang de observatiesessies duurden. Het bood ook een getal dat voor iedereen begrijpelijk was: een verviervoudige toename is een tastbaar concept, terwijl een complexe statistische score dat niet is.

De studie adresseerde ook de vraag of deze verschillende resultaten werden veroorzaakt door een bias in de wijze waarop studies worden gepubliceerd. Het is een veelvoorkomende zorg dat onderzoekers eerder geneigd zijn single-case studies te publiceren die enorme verbeteringen laten zien, terwijl ze die met kleine of geen effecten negeren. Hoewel de onderzoekers erkenden dat deze bias zou kunnen bestaan, suggereerde hun analyse dat dit niet het hele verhaal was. De gegevens gaven aan dat het verschil in resultaten grotendeels te wijten was aan de fundamentele verschillen in hoe de studies waren opgezet en wat ze maten. De groepsstudies testten of de technologie beter was dan wat er al beschikbaar was, terwijl de single-case studies testten of de technologie een grote verandering kon creëren vanuit een staat van weinig tot geen vermogen. Beide bevindingen zijn geldig, maar ze beantwoorden verschillende vragen. De groepsstudies suggereren dat de technologie een bescheiden maar betekenisvol voordeel biedt ten opzichte van de standaardpraktijken, terwijl de single-case studies aantonen dat de technologie transformatief kan zijn voor leerlingen die beginnen vanaf een zeer laag functioneringsniveau.

Door deze twee werelden te overbruggen, boden de onderzoekers een helderder pad voor het synthetiseren van bewijslast. Ze lieten zien dat het mogelijk is om bevindingen van verschillende soorten onderzoek te combineren zonder ze in één enkel, misleidend getal te dwingen. De nieuwe methode stelt wetenschappers in staat om het volledige plaatje te zien: dat technologie-ondersteunde instructie effectief is, maar dat de impact er anders uitziet afhankelijk van de context en het startpunt van de leerlingen. De studie concludeert dat geen enkel getal de volledige waarheid van de effectiviteit van een interventie kan vatten. In plaats daarvan zouden onderzoekers en praktijkbeoefenaars naar zowel de relatieve verandering als de absolute verandering moeten kijken om de volledige reikwijdte van een interventie te begrijpen. Deze aanpak zorgt ervoor dat beslissingen over onderwijs en therapie gebaseerd zijn op een volledige en nauwkeurige interpretatie van het bewijs, in plaats op een gedeeltelijk beeld dat de nuances van hoe verschillende leerlingen op hulp reageren, zou kunnen missen. Het werk demonstreert dat wanneer we de juiste instrumenten gebruiken om verandering te meten, we niet alleen zien dát iets werkt, maar ook precies hoe en voor wie het het beste werkt.