Implausible Effects of Psychological Interventions: Meta-Epidemiological Study and Development of a Simple Flagging Tool

Deze studie introduceert een eenvoudig flagging-tool om onwaarschijnlijk grote effectgroottes in psychologische interventies te identificeren, waarbij bleek dat het uitsluiten van deze studies de gepoolde effecten aanzienlijk verlaagde en de heterogeniteit verminderde, wat leidt tot een robuustere meta-analytische bewijsvoering.

De kern

Stel je voor dat je een enorme soep kookt, een 'evidence-soep' genaamd, die de beste recepten voor mentale gezondheid moet bevatten. Om deze soep te maken, verzamelen onderzoekers duizenden kleine proefjes (studies) van over de hele wereld. Ze gooien ze allemaal in de pot, roeren goed om en zeggen dan: "Kijk, dit is hoe goed het recept werkt!"

Maar er is een probleem: soms zitten er in die pot een paar proefjes die te mooi om waar te zijn. Het zijn alsof iemand een lepel pure suiker in je soep heeft gedaan en zegt: "Dit is de smaak van de soep!" Terwijl het eigenlijk een fout is in het meten of een trucje van de maker.

Het probleem: De 'Suiker-Lekker' Studies
In de wereld van psychologische behandelingen (zoals therapie voor angst of depressie) komen onderzoekers soms resultaten tegen die ongelofelijk groot zijn. Alsof een therapie niet alleen de hoofdpijn wegneemt, maar ook je geheugen verbetert en je vliegtuigvliegen laat. De onderzoekers van dit artikel zeggen: "Dit kan niet kloppen." Maar hoe weet je zeker dat het een fout is en niet een wonder? Tot nu toe was er geen goede manier om die 'suiker-lekkers' eruit te vissen zonder de hele soep weg te gooien.

De Oplossing: De 'Kwaliteits-Filter'
De onderzoekers hebben een slimme, simpele tool bedacht. Stel je dit voor als een magische zeef of een detective-bril. Deze bril kijkt naar drie dingen om te zien of een proefje verdacht is:

1. Past het verhaal? Is het resultaat zo groot dat het niet past bij andere, zeer betrouwbare onderzoeken? (Alsof iemand zegt dat hij in 5 minuten naar de maan is gelopen).
2. Was het een eerlijke wedstrijd? Was het onderzoek groot genoeg om een betrouwbaar antwoord te geven? (Alsof je probeert het weer te voorspellen door naar één wolk te kijken).
3. Was het netjes gedaan? Was de methode streng en eerlijk, of zaten er gaten in het plan?

Als een proefje op deze drie punten niet door de test komt, krijgt het een rood vlaggetje.

Wat vonden ze?
Ze hebben deze bril gebruikt op een enorme berg data: bijna 3.000 verschillende resultaten uit 1.200 verschillende studies.

• Ze vonden dat ongeveer 5% van alle proefjes een rood vlaggetje kreeg. Dat zijn er 153 stuks.
• Toen ze deze 'verdachte' proefjes uit de soep haalden, veranderde het hele plaatje. De gemiddelde werking van de behandelingen bleek veel kleiner te zijn dan eerst gedacht (soms wel 31% minder!).
• Ook werd de soep veel rustiger: de resultaten van de verschillende studies kwamen veel meer overeen met elkaar, in plaats van dat er enorme verschillen waren.

Waarom is dit belangrijk?
Stel je voor dat je een medicijn koopt omdat je leest dat het 100% werkt. Maar als blijkt dat die 100% gebaseerd was op een paar 'suiker-lekkers' die er niet echt bijhoren, ben je misschien teleurgesteld of zelfs in de war.

De boodschap van dit artikel is simpel:

1. Niet alles wat in een onderzoek staat, is waar. Soms zijn resultaten te mooi om waar te zijn.
2. Met deze nieuwe, simpele tool (die nu gratis beschikbaar is voor iedereen in een computerprogramma) kunnen onderzoekers die 'suiker-lekkers' eruit filteren.
3. Daardoor krijgen we een zuivere, eerlijke soep die ons beter vertelt wat er echt werkt voor mensen met mentale problemen.

Kortom: Het is alsof je eindelijk een goede schep hebt om de schuimlaag van je soep te halen, zodat je de echte smaak proeft.

Technische samenvatting

Probleemstelling

Binnen meta-analyses van psychologische interventies komen trials voor die effectgroottes rapporteren die ogenschijnlijk onwaarschijnlijk groot zijn. Hoewel dergelijke resultaten zelden een ware behandelingswerking weerspiegelen, is het vaak moeilijk om dit te verifiëren. Als gevolg hiervan worden deze studies vaak behouden in de bewijslast, wat leidt tot een gebrek aan richtlijnen voor het identificeren en uitsluiten van twijfelachtige data in de praktijk. Het is onduidelijk in hoeverre dit "verdachte" bewijs de effectschattingen in het onderzoek naar psychologische interventies heeft beïnvloed (bias).

Methodologie

De auteurs hebben een meta-epidemiologische studie uitgevoerd met de volgende aanpak:

• Data: Er werden in totaal 2.881 effectgroottes geanalyseerd, afkomstig uit 1.246 gerandomiseerde trials. Deze data zijn gehaald uit twaalf "levende" databases (living databases) die psychologische interventies voor mentale gezondheidsproblemen bestrijken.
• Ontwikkeling van een Flagging-tool: Er is een eenvoudig instrument ontwikkeld om trials met onwaarschijnlijke effecten te markeren ("flaggen"). Dit instrument baseert zich op drie criteria:
  1. Compatibiliteit van effectgrootte: De mate waarin de gerapporteerde effectgrootte overeenkomt met de effectgroottes van studies met een laag risico op bias.
  2. Gerealiseerde power: Of de studie voldoende statistische power had om het gerapporteerde effect te kunnen detecteren.
  3. Methodologische rigour: De kwaliteit van het methodologische ontwerp van de studie.
• Validatie: De tool werd toegepast op 135 meta-analyses uit een grootschalige evaluatie van psychologische interventies om de impact van het uitsluiten van gemarkeerde studies te testen.

Belangrijkste Bijdragen

• Instrumentontwikkeling: De creatie van een gestructureerd, eenvoudig te gebruiken flagging-systeem dat specifiek is ontworpen voor de context van psychologische interventies.
• Open Source Implementatie: Het instrument is geïntegreerd in het open-source R-pakket metapsyTools, waardoor het direct beschikbaar is voor routineus gebruik in meta-analytisch onderzoek.
• Empirisch Bewijs: Het leveren van kwantitatief bewijs voor de omvang van de bias veroorzaakt door onwaarschijnlijke effectgroottes in de bestaande literatuur.

Resultaten

• Aantal gemarkeerde studies: Van de 2.881 effectgroottes werden 5,3% (n=153 effecten uit 102 studies) gemarkeerd als verdacht.
• Impact op gepoolde schattingen: Bij het heranalyseren van de 135 meta-analyses bleek dat het uitsluiten van de gemarkeerde studies leidde tot aanzienlijk lagere effectschattingen. De reducties liepen op tot 31,2%.
• Impact op heterogeniteit: Het verwijderen van deze studies resulteerde in een sterke afname van de tussen-studie heterogeniteit (de variabiliteit in effecten tussen studies), met reducties tot 51,1% in indicatie-brede analyses.

Betekenis en Conclusie

De studie concludeert dat onwaarschijnlijke effectgroottes de meta-analytische bewijslast aanzienlijk kunnen vertekenen. De ontwikkeling en toepassing van de nieuwe flagging-tool biedt een praktische oplossing om deze bias te detecteren en te verminderen. Door het gebruik van dit instrument kunnen onderzoekers de kwaliteit van bewijssynthesen verbeteren en zorgen voor realistischere schattingen van de effectiviteit van psychologische behandelingen. De integratie in een open-source pakket bevordert de reproduceerbaarheid en standaardisatie van kwaliteitscontrole in dit onderzoeksveld.