Comparing Existing Algorithms for Retrieving Pregnancy-related Adverse Event Reports

Diese Studie vergleicht drei regelbasierte Algorithmen zur Identifizierung von Schwangerschafts-bezogenen unerwünschten Arzneimittelwirkungen in den Datenbanken VigiBase und FAERS, wobei die Unterschiede in den erfassten Berichten hauptsächlich auf die unterschiedlichen Anwendungsbereiche und Kriterien der Algorithmen zurückzuführen sind.

Das Wesentliche

Stellen Sie sich vor, die Welt der Arzneimittelsicherheit ist ein riesiger, chaotischer Ozean voller Daten. In diesem Ozean schwimmen Millionen von Berichten über Nebenwirkungen von Medikamenten. Die meisten dieser Berichte stammen von Erwachsenen, die nicht schwanger sind. Aber was ist mit den schwangeren Frauen? Sie wurden in den ursprünglichen klinischen Studien oft nicht getestet, weil man sie schützen wollte. Deshalb ist es lebenswichtig, genau zu wissen, wie sich Medikamente auf sie und ihre Babys auswirken, nachdem die Medikamente bereits auf dem Markt sind.

Das Problem ist jedoch: In diesem riesigen Daten-Ozean gibt es keine einheitliche „Schwangerschafts-Flagge". Es gibt keinen roten Ballon, der automatisch sagt: „Achtung, hier ist eine schwangere Person!" Stattdessen müssen Forscher wie Detektive durch Tausende von Papieren wühlen, um die relevanten Berichte zu finden.

Drei verschiedene Detektiv-Teams haben in den letzten Jahren jeweils ihre eigenen Such-Algorithmen (also Computer-Regelwerke) entwickelt, um diese Berichte zu finden. Jeder Detektiv hat eine andere Methode:

1. Detektiv A (für die Datenbank FAERS) ist sehr großzügig und schaut sich fast alles an, was auch nur entfernt nach Schwangerschaft klingt.
2. Detektiv B (für EudraVigilance) ist etwas wählerischer und ignoriert bestimmte Fälle, wie zum Beispiel normale Schwangerschaften ohne Probleme oder Fälle, in denen die Empfängnisverhütung einfach nicht funktioniert hat.
3. Detektiv C (für VigiBase) ist sehr streng und schließt sogar Berichte aus, bei denen nur der Vater das Medikament genommen hat, aber nicht die Mutter.

Das große Experiment
In dieser Studie haben sich die drei Detektive zusammengetan. Sie haben ihre Regeln verglichen und sie in eine gemeinsame „Suchmaschine" (ein R-Paket) eingebaut, um zu sehen, was passiert, wenn sie beide großen Daten-Ozeane (FAERS und VigiBase) absuchen.

Was haben sie herausgefunden?
Stellen Sie sich vor, jeder Detektiv hat einen Eimer voll mit gefundenen Berichten:

• Detektiv A hat etwa 235.000 (in VigiBase) bzw. 265.000 (in FAERS) Berichte gefunden.
• Detektiv B hat etwa 279.000 bzw. 260.000 gefunden.
• Detektiv C hat mit Abstand die meisten gefunden: 446.000 bzw. 350.000.

Warum die riesigen Unterschiede?

• Detektiv C fängt so viele auf, weil er sehr breit sucht und viele Fälle einschließt, die die anderen ausschließen (wie väterliche Exposition).
• Detektiv A fängt eine spezielle Gruppe auf: Er ignoriert das Alter der Frau. Wenn eine sehr junge oder sehr alte Frau betroffen ist, findet er sie, während andere Detektive sie vielleicht übersehen, weil sie denken, das sei zu jung oder zu alt für eine Schwangerschaft.
• Detektiv B ist der „Kritiker": Er filtert Fälle heraus, die er für nicht relevant hält (wie eine Schwangerschaft, die einfach nur stattgefunden hat, ohne dass ein Medikament schuld war).

Die große Erkenntnis
Es gibt nicht „den einen" perfekten Detektiv. Es kommt ganz darauf an, wofür Sie suchen.

• Wenn Sie eine breite Übersicht wollen, ist ein Algorithmus besser.
• Wenn Sie nur spezifische, problematische Fälle suchen, ist ein anderer besser.

Fazit für den Alltag
Stellen Sie sich vor, Sie suchen nach einem bestimmten Werkzeug in einer riesigen Kiste. Wenn Sie einen großen Korb nehmen, fangen Sie alles auf (auch Dinge, die Sie nicht brauchen). Wenn Sie eine kleine Pinzette nehmen, finden Sie nur das, was Sie genau suchen, aber Sie könnten Dinge übersehen.

Diese Studie sagt uns: Es ist wichtig zu wissen, welches „Werkzeug" (Algorithmus) Sie gerade benutzen. Nur so können Ärzte und Sicherheitsbeauftragten die richtigen Entscheidungen treffen, um schwangere Frauen und ihre Babys sicher zu schützen. Es geht nicht darum, wer der „bessere" Detektiv ist, sondern darum, den richtigen Detektiv für den richtigen Fall zu wählen.

Technische Zusammenfassung

Technische Zusammenfassung: Vergleich bestehender Algorithmen zur Extraktion von Schwangerschaftsbezogenen Nebenwirkungsberichten

1. Problemstellung (Problem)

Die post-marketing-Überwachung (Pharmakovigilanz) ist entscheidend, um das Sicherheitsprofil von Arzneimitteln für Populationen zu vervollständigen, die in klinischen Studien oft ausgeschlossen sind, insbesondere schwangere Personen. Ein zentrales technisches Hindernis bei der Analyse von Datenbanken für unerwünschte Ereignisse (wie VigiBase, FAERS und EudraVigilance) ist jedoch das Fehlen eines standardisierten Indikators für Schwangerschaften in den elektronischen Übertragungen der Berichte.
Dies erschwert die korrekte Identifizierung von Berichten, die Schwangerschaftsexpositionen betreffen, und kompliziert die Untersuchung von Sicherheitsbedenken. Bisher wurden drei verschiedene regelbasierte Algorithmen entwickelt, um diese Lücke zu schließen, wobei jeder Algorithmus spezifisch auf eine bestimmte Datenbank zugeschnitten ist (Algorithmus A für FAERS, B für EudraVigilance, C für VigiBase). Es fehlte jedoch an einem systematischen Vergleich ihrer Designs und Ergebnisse.

2. Methodik (Methodology)

Die Studie basierte auf einer direkten Zusammenarbeit der Entwickler der drei Algorithmen. Der methodische Ansatz umfasste folgende Schritte:

• Harmonisierung: Die Regeln der drei Algorithmen wurden harmonisiert, um eine vergleichbare Basis zu schaffen.
• Implementierung: Die Algorithmen wurden in ein gemeinsames R-Package integriert. Dies ermöglichte die Ausführung aller drei Algorithmen auf beiden großen Datenbanken: VigiBase (WHO-Datenbank) und FAERS (FDA-Datenbank).
• Analyse: Es wurden die Kennzahlen der von jedem Algorithmus markierten Berichte analysiert. Der Fokus lag auf der Quantifizierung der Trefferzahlen sowie der Identifizierung und Klassifizierung von Berichten, die ausschließlich von einem bestimmten Algorithmus erfasst wurden (Exklusiv-Treffer), um die Ursachen für Diskrepanzen zu verstehen.

3. Schlüsselbeiträge (Key Contributions)

• Vergleichende Evaluierung: Erstmals wurden drei unabhängig entwickelte Algorithmen direkt gegenübergestellt und auf zwei verschiedenen Datenbanken getestet.
• Technische Infrastruktur: Entwicklung einer einheitlichen R-Software-Lösung, die die Portabilität und Reproduzierbarkeit der Algorithmen über verschiedene Datenquellen hinweg sicherstellt.
• Differenzierungsanalyse: Systematische Aufschlüsselung der Unterschiede in den Ergebnismengen, um zu verstehen, wie spezifische logische Filter (z. B. Altersbeschränkungen, Definitionen von "normaler" Schwangerschaft, Ausschluss paternaler Exposition) die Datenqualität und -menge beeinflussen.

4. Ergebnisse (Results)

Die Anwendung der Algorithmen auf die Datenbanken ergab folgende Trefferzahlen:

• In VigiBase:
  • Algorithmus A: 235.653 Berichte
  • Algorithmus B: 279.515 Berichte
  • Algorithmus C: 446.957 Berichte
• In FAERS:
  • Algorithmus A: 265.015 Berichte
  • Algorithmus B: 260.734 Berichte
  • Algorithmus C: 350.479 Berichte

Analyse der Exklusiv-Treffer (Berichte, die nur von einem Algorithmus gefunden wurden):
Die signifikanten Unterschiede in den Mengen wurden durch die unterschiedlichen Definitionsbereiche (Scopes) der Algorithmen erklärt:

• Algorithmus A erfasste deutlich mehr Berichte, da er keine Altersbeschränkung für die Patientinnen hatte.
• Algorithmus B schloss Berichte über eine normale Schwangerschaft und ineffektive Kontrazeption aus, was die Menge reduzierte.
• Algorithmus C schloss paternale Expositionen (Väter, die das Medikament nahmen) aus.
• Die Anzahl der exklusiven Berichte war in VigiBase (bis zu 142.324 für Algorithmus C) und FAERS (bis zu 59.643 für Algorithmus C) hoch, was die Sensitivität der jeweiligen Logik unterstreicht.

5. Bedeutung und Fazit (Significance)

Die Studie zeigt, dass die Unterschiede bei der Kennzeichnung von Schwangerschaftsberichten primär auf die unterschiedlichen Anwendungsbereiche (Scopes) der Algorithmen zurückzuführen sind und nicht auf technische Fehler.

• Praxisrelevanz: Für Fachkräfte in der Pharmakovigilanz ist es essenziell, die Gemeinsamkeiten und Unterschiede der Algorithmen zu verstehen, um den für ihre spezifische Forschungsfrage am besten geeigneten Algorithmus auszuwählen.
• Empfehlung: Es gibt keine "universelle" Lösung; die Wahl des Algorithmus hängt davon ab, ob man z. B. auch paternalen Expositionen nachgehen möchte oder ob eine strikte Definition einer "problematischen" Schwangerschaft erforderlich ist.
• Zukünftige Arbeit: Das entwickelte R-Package und die harmonisierten Regeln bilden eine solide Grundlage für zukünftige Sicherheitsstudien und fördern die Standardisierung in der Erfassung schwangerschaftsbezogener Daten.