Comparing Existing Algorithms for Retrieving Pregnancy-related Adverse Event Reports

Deze studie vergelijkt drie verschillende algoritmes voor het identificeren van zwangerschapsgerelateerde bijwerkingen in farmacovigilancedatabases en benadrukt dat verschillen in hun toepassing voornamelijk het gevolg zijn van variaties in hun specifieke reikwijdte en regels.

De kern

Stel je voor dat medicijnen net als nieuwe auto's zijn. Voordat ze op de markt komen, worden ze getest op proefpersonen. Maar er is één groep die vaak niet in die tests zit: zwangere vrouwen. Dat is logisch, want niemand wil het risico nemen.

Dus, zodra die medicijnen in de apotheek liggen, moeten artsen en toezichthouders goed kijken of er iets misgaat bij zwangere vrouwen die ze toch gebruiken. Ze doen dit door naar een gigantische digitale kluis te kijken, vol met meldingen van bijwerkingen. Dit is de post-market surveillance.

Het probleem: De zoektocht zonder kompas
Het probleem is dat deze digitale kluis geen duidelijk label heeft met de tekst: "Dit gaat over een zwangere vrouw." Soms staat er "zwangerschap", soms "vrouwen", soms staat het ergens in de kleine lettertjes. Het is alsof je in een enorme bibliotheek moet zoeken naar boeken over zwangerschap, maar de boeken hebben geen titel op de rug. Je moet ze één voor één uit de kast halen en lezen om te zien of ze relevant zijn. Dat is veel te veel werk en veel te traag.

De oplossing: Drie slimme robots
Om dit op te lossen, hebben drie verschillende teams elk hun eigen slimme "robot" (een computerprogramma) bedacht. Deze robots moeten automatisch door de duizenden meldingen snuffelen en eruit filteren welke over zwangerschap gaan.

• Robot A kijkt naar de Amerikaanse database (FAERS).
• Robot B kijkt naar de Europese database (EudraVigilance).
• Robot C kijkt naar de wereldwijde database (VigiBase).

Elke robot heeft zijn eigen regels. Het is alsof drie verschillende detectives een dossier onderzoeken, maar ze hebben allemaal een ander idee van wat "relevant" is.

De vergelijking: Wie vindt wat?
De onderzoekers van deze drie robots hebben samengewerkt om ze tegen elkaar te laten werken. Ze hebben de regels van de robots op één lijn gezet en ze op twee verschillende databases losgelaten.

Wat bleek eruit?

1. Robot C was de meest ijverige: hij vond het allermeest aantal meldingen.
2. Robot A en Robot B vonden iets minder, maar nog steeds heel veel.

Waarom vonden ze niet precies hetzelfde? Het kwam door hun "persoonlijke voorkeuren" (hun regels):

• Robot A was heel vrijgevig: hij keek naar iedereen, ongeacht de leeftijd. Hij miste dus niets, maar vond soms ook mensen die eigenlijk niet relevant waren.
• Robot B was strenger: hij keek alleen naar "echte" zwangerschappen en negeerde meldingen over "normale" zwangerschappen of mislukte anticonceptie. Hij was dus selectiever.
• Robot C was heel specifiek: hij keek alleen naar de vrouw zelf en negeerde meldingen over vaders (paternale blootstelling).

De les voor de toekomst
Het belangrijkste wat deze studie laat zien, is dat er geen "perfecte" robot is die voor iedereen werkt.

• Als je alles wilt zien, zelfs de randgevallen, is Robot A misschien het beste.
• Als je alleen zuivere zwangerschapsgevallen wilt, is Robot B beter.
• Als je alleen de moeder wilt focussen, is Robot C de keuze.

Conclusie
Het is net als bij het kiezen van een bril. Als je een bril met een te sterke lens opzet, zie je misschien te veel ruis. Met een te zwakke lens mis je details. De onderzoekers zeggen: "Wees bewust van welke bril je opzet." Door te weten hoe deze robots werken en wat hun regels zijn, kunnen artsen en onderzoekers de juiste robot kiezen voor hun specifieke vraag. Zo kunnen we medicijnen veiliger maken voor de meest kwetsbare groepen, zonder dat we de hele bibliotheek handmatig hoeven te doorzoeken.

Technische samenvatting

Technische Samenvatting: Vergelijking van Bestaande Algoritmen voor het Opvragen van Zwangerschapsgerelateerde Bijwerkingen

Probleemstelling
Post-markettoezicht is cruciaal voor het aanvullen van de veiligheidsprofielen van geneesmiddelen, met name voor populaties die vaak uit klinische trials worden uitgesloten, zoals zwangere personen. Een significant obstakel in de farmacovigilantie is echter het ontbreken van gestandaardiseerde zwangerschapsindicatoren in de elektronische transmissies van bijwerkingenrapporten. Dit gebrek aan standaardisatie bemoeilijkt de correcte identificatie van rapporten in grote databases en compliceert het onderzoek naar veiligheidskwesties gerelateerd aan blootstelling tijdens de zwangerschap. Om dit probleem aan te pakken, zijn er recent drie verschillende, op regels gebaseerde algoritmen ontwikkeld, elk specifiek ontworpen voor een bepaalde database: A (FAERS), B (EudraVigilance) en C (VigiBase).

Methodologie
De studie vertegenwoordigt een samenwerking tussen de oorspronkelijke auteurs van de drie algoritmen. De onderzoekers hebben de volgende stappen ondernomen:

1. Harmonisatie: De regels van de drie verschillende algoritmen zijn geharmoniseerd om een vergelijkbare basis te creëren.
2. Implementatie: De algoritmen zijn geïmplementeerd in een R-pakket. Dit maakte het mogelijk om alle drie de algoritmen toe te passen op zowel de VigiBase-database als de FAERS-database, waardoor een directe cross-database vergelijking mogelijk werd.
3. Analyse: Er is een analyse uitgevoerd van de kenmerken van de rapporten die door elk algoritme werden "geflagged" (gemarkeerd als relevant), met name gericht op de overlap en de unieke rapporten per algoritme.

Belangrijkste Bijdragen

• Unificatie van Tools: Het creëren van een gemeenschappelijk R-pakket dat de uitvoering van drie verschillende, database-specifieke algoritmen op meerdere platforms mogelijk maakt.
• Systematische Vergelijking: Het eerste onderzoek dat de ontwerpverschillen en outputresultaten van deze drie specifieke algoritmen direct tegenover elkaar zet in plaats van ze apart te evalueren.
• Kwantificering van Scope-verschillen: Het in kaart brengen van hoe specifieke uitsluitingscriteria (zoals leeftijd, normale zwangerschap en vaderschap) de totale dataset beïnvloeden.

Resultaten
De analyse leverde de volgende aantallen gerapporteerde rapporten op:

• In VigiBase: Algoritme A flagde 235.653 rapporten, B 279.515 en C 446.957.
• In FAERS: Algoritme A flagde 265.015 rapporten, B 260.734 en C 350.479.

De analyse van rapporten die uitsluitend door één algoritme werden gevonden, onthulde de oorzaken van de discrepanties:

• Algoritme A vatte aanzienlijk meer unieke rapporten op (vooral in VigiBase: 142.324 unieke rapporten) omdat het geen leeftijdsbeperking hanteerde.
• Algoritme B sloot rapporten uit die betrekking hadden op een "normale zwangerschap" en "ineffectieve anticonceptie", wat leidde tot een ander profiel van unieke rapporten.
• Algoritme C sloot vaderlijke blootstelling uit, wat een groot verschil veroorzaakte in de geselecteerde datasets.

Betekenis en Conclusie
De verschillen in de geselecteerde rapporten worden grotendeels bepaald door de variërende scopes en implementatiecriteria van de algoritmen. Er is geen "beste" algoritme voor alle situaties; de keuze hangt af van de specifieke onderzoeksvraag.

• Voor onderzoekers is het cruciaal om de onderliggende logica (bijv. of vaderschap wordt meegenomen of dat er een leeftijdsfilter is) te begrijpen voordat ze een algoritme selecteren.
• De studie benadrukt dat bewustwording van deze verschillen essentieel is voor professionals in de farmacovigilantie om de meest geschikte tool te kiezen voor hun specifieke behoeften, waardoor de kwaliteit en nauwkeurigheid van veiligheidsonderzoek naar zwangerschapsblootstelling wordt verbeterd.