📄 scientific communication and education

Estimating the replicability of Brazilian biomedical science

Het Braziliaanse Reproduceerbaarheidsinitiatief stelde vast dat slechts 20–44% van de 45 geselecteerde biomedische experimenten succesvol werd gereproduceerd, wat lagere effectgroottes en een hogere variabiliteit in de replicatiepogingen onthulde, terwijl het protocolafwijkingen, infrastructurele uitdagingen en publicatiesnelheden van auteurs identificeerde als belangrijke factoren die de reproduceerbaarheid in Brazilië beperken.

Oorspronkelijke auteurs: Amaral, O. B., Carneiro, C. F. D., Neves, K., Sampaio, A. P. W., Gomes, B. V., Abreu, M. B. d., Tan, P. B., Mota, G. P. S., Goulart, R. N., Fernandes, N. R. d. S., Linhares, J. H., Ibelli, A. M. G., S

Gepubliceerd 2026-02-04

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Amaral, O. B., Carneiro, C. F. D., Neves, K., Sampaio, A. P. W., Gomes, B. V., Abreu, M. B. d., Tan, P. B., Mota, G. P. S., Goulart, R. N., Fernandes, N. R. d. S., Linhares, J. H., Ibelli, A. M. G., Sebollela, A., Andricopulo, A. D., Carvalho, A. A. V. d., Silva, A. P. e., Souza, A. S. O., Lima, A. C. C. d., Sousa, A. M. d., Birbrair, A., Borbely, A. U., Machado, A. M., Costa, A. d. C., Vasconcelos, A. P. d., Silva, A. H. B. d. L., Souza, A. d., Herrmann, A. P., Bastos, A. P. A., Nunes, A. C. C., Castrucci, A. M. d. L., Paula, A. B. R., Waltrick, A. P. F., Macedo, A. G. F. d., Mecawi, A. S., R

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je de wereld van wetenschappelijk onderzoek voor als een enorme, bruisende keuken waar chefs (wetenschappers) constant nieuwe recepten (experimenten) publiceren waarin ze beweren het geheim van het perfecte gerecht te hebben ontdekt. Jarenlang hebben mensen zich afgevraagd: "Als ik dit recept in mijn eigen keuken probeer te maken, krijg ik dan hetzelfde heerlijke resultaat, of wordt het een totale ramp?"

Dit artikel is als een gigantische, georganiseerde "Smaaktest" georganiseerd door het Brazilian Reproducibility Initiative. In plaats van simpelweg de oorspronkelijke chefs te vertrouwen, hebben ze 56 verschillende keukens (laboratoria) over heel Brazilië uitgenodigd om 56 specifieke recepten te proberen die eerder waren gepubliceerd.

Zo verliep het experiment:

Het Menu: Ze richtten zich op drie zeer veelvoorkomende soorten kooktechnieken: het controleren van de celgezondheid (MTT), het kopiëren van genetische instructies (RT-PCR) en het testen van angst bij muizen (Elevated Plus Maze).
De Uitdaging: 143 verschillende groepen probeerden deze gerechten na te maken. Maar net als in het echte leven waren sommige pogingen slordig of werden de regels niet gevolgd, dus een onafhankelijke panel van juryleden wierp sommige resultaten weg. Ze kwamen uit op 90 geldige pogingen die 45 oorspronkelijke recepten besloegen.
Het Eindoordeel: De resultaten waren gemengd. Afhankelijk van hoe streng de jury was, kwam slechts 20% tot 44% van de replicaties daadwerkelijk overeen met het oorspronkelijke "perfecte gerecht".
Het Verschil in Smaak: Wanneer de replicatiekeukens wel slaagden, waren de resultaten vaak veel zwakker dan het origineel. Gemiddeld was de "smaakintensiteit" (het verschil tussen groepen) 58% lager dan wat oorspronkelijk werd beweerd. Bovendien waren de resultaten veel meer "zout of zoet" afhankelijk van wie er aan het koken was (de resultaten waren 82% variabeler).

Waarom faalden de recepten om te repliceren?

Het artikel vond een paar interessante patronen:

De "Makkelijke" Gerechten: De recepten die oorspronkelijk als het moeilijkst om te bereiden werden beschouwd, waren juist de recepten die het best repliceerden.
De Beroemde Chefs: Als het oorspronkelijke recept geschreven was door een chef die de laatste tijd veel recepten had gepubliceerd, was de kans op een succesvolle replicatie kleiner. Het is alsover de beroemde chef zo druk was dat hij de instructies niet duidelijk genoeg had opgeschreven.
Het "Onderbuikgevoel": Interessant genoeg waren de wetenschappers die het werk probeerden te repliceren vaak vrij goed in het raden of hun poging zou slagen of falen.
De Keukenchaos: Een belangrijke reden voor het falen was niet noodzakelijkerwijs slechte kookvaardigheden, maar het feit dat de oorspronkelijke instructies (protocollen) onmogelijk exact te volgen waren. De replicatiekeukens moesten de stappen vaak aanpassen omdat hun apparatuur anders was, hun muizen anders waren, of de logistiek van hun gebouw niet overeenkwam met de oorspronkelijke opstelling.

De Kern van het Verhaal

Deze studie zegt niet dat de Braziliaanse wetenschap "slecht" is. In plaats daarvan benadrukt het dat de "recepten" die in het verleden zijn gepubliceerd, vaak vertrouwden op specifieke omstandigheden die elders moeilijk te kopiëren zijn. Het artikel suggereert dat om in de toekomst betere, betrouwbaardere resultaten te krijgen, wetenschappers duidelijkere instructies moeten schrijven en moeten erkennen dat hun "keuken" misschien niet precies zo werkt als die van al anderen. Het is een oproep om wetenschap transparanter en robuuster te maken, zodat wanneer er een nieuw recept wordt gepubliceerd, iedereen het kan koken en dezelfde geweldige smaak krijgt.

Technische Samenvatting: Het schatten van de repliceerbaarheid van het Braziliaans biomedisch onderzoek

Probleemstelling
Ondanks de groeiende wereldwijde zorgen over de repliceerbaarheid en reproduceerbaarheid van gepubliceerde onderzoeken, blijft de empirische data die nodig is om beleid te informeren schaars. Deze kloof is bijzonder acuut in de context van het Braziliaans biomedisch onderzoek, dat de afgelopen drie decennia een snelle expansie heeft doorgemaakt, maar een systematische beoordeling van de betrouwbaarheid van de bevindingen mist.

Methodologie
Om dit aan te pakken, hebben de auteurs het Brazilian Reproducibility Initiative opgericht, een multicenter replicatieproject dat is ontworpen om gepubliceerde experimenten uit de Braziliaanse wetenschap te testen. De initiatief richtte zich op drie veelvoorkomende experimentele methoden:

De MTT-assay (celviabiliteit).
Reverse transcription polymerase chain reaction (RT-PCR).
De elevated plus maze (EPM) (angstgerelateerd gedrag bij knaagdieren).

De studie omvatte 56 laboratoria die in totaal 143 replicaties uitvoerden over 56 originele experimenten. Een onafhankelijke commissie evalueerde de kwaliteit van deze replicaties en identificeerde 90 geldige replicaties van 45 experimenten voor de uiteindelijke analyse. De studie maakte gebruik van vijf vooraf gedefinieerde criteria om het succes van de replicatie te bepalen en analyseerde diverse statistische en contextuele factoren, waaronder effectgroottes, variatiecoëfficiënten, voorspellingen van onderzoekers en publicatiesnelheden van de oorspronkelijke auteurs.

Belangrijkste Resultaten
De analyse leverde verschillende cruciale bevindingen op met betrekking tot de staat van de repliceerbaarheid in de regio:

Replicatiesnelheden: De succespercentages voor de experimenten varieerden tussen de 20% en 44%, afhankelijk van de specifieke criteria die werden toegepast.
Effectgrootte en Variabiliteit: In mediane termen waren de ratio's tussen groepsgemiddelden in de replicaties 58% lager dan gerapporteerd in de originele experimenten. Omgekeerd waren de variatiecoëfficiënten in de replicaties 82% hoger.
Voorspellende Factoren:
- Afnames in effectgrootte waren minder uitgesproken in MTT-experimenten, in originele resultaten met een lagere variabiliteit, en in studies die oorspronkelijk als moeilijker te repliceren werden beschouwd.
- $t$ -waarden in de replicaties vertoonden een positieve correlatie met de voorspellingen van onderzoekers met betrekking tot de repliceerbaarheid.
- $t$ -waarden vertoonden een negatieve correlatie met de publicatiesnelheid van de laatste auteur van de originele artikelen.
Protocolafwijkingen: Afwijkingen van vooraf geregistreerde protocollen kwamen frequent voor tijdens het replicatieproces. Deze werden primair toegeschreven aan factoren die inherent zijn aan de experimentele modellen of aan problemen gerelateerd aan infrastructuur en logistiek, in plaats aan opzettelijke protocolwijzigingen.

Betekenis en Claims
Het artikel concludeert dat de resultaten specifieke factoren belichten die de repliceerbaarheid van door onderzoekers in Brazilië gepubliceerde bevindingen beperken. Door de discrepantie tussen originele en gerepliceerde resultaten te kwantificeren en de logistieke en methodologische hindernissen te identificeren, suggereert de studie paden waarlangs dit scenario kan worden verbeterd. Het werk dient als een empirisch fundament voor het aanpakken van zorgen over reproduceerbaarheid binnen de Braziliaanse wetenschappelijke gemeenschap, met als doel een robuustere onderzoeksomgeving te bevorderen zonder de universaliteit van de bevindingen te overschatten buiten de specifieke context van de studie.

Meer zoals dit