Sino-US-DrugQA: A Benchmark for Evaluating Large Language Models in Cross-Jurisdictional Pharmaceutical Regulation

Die Studie stellt Sino-US-DrugQA vor, ein bilingualer Benchmark-Datensatz mit über 11.000 Fragen, der zeigt, dass aktuelle Large Language Models zwar bei monolingualen regulatorischen Abfragen nutzbar sind, jedoch bei vergleichenden Analysen zwischen US-amerikanischen und chinesischen Arzneimittelvorschriften signifikante Leistungseinbußen aufweisen, was eine vorsichtige, von Experten überwachte Anwendung erfordert.

Das Wesentliche

Stellen Sie sich vor, die Welt der Arzneimittelzulassung ist wie ein riesiges, kompliziertes Labyrinth mit zwei verschiedenen Eingängen: einer in den USA und einer in China. Jeder Eingang hat seine eigenen, strengen Regeln, die in dicken Regelbüchern stehen. Ein Unternehmen, das Medikamente in beide Länder verkaufen möchte, muss diese beiden Regelwerke genau kennen und vergleichen, um keine Fehler zu machen.

Bisher war es schwierig zu wissen, ob die neuen, super-intelligenten Computerprogramme (die sogenannten „Künstlichen Intelligenzen" oder KI) wirklich gut darin sind, diese beiden Regelwerke zu verstehen und zu vergleichen. Können sie sagen, ob eine Regel in China anders ist als in den USA? Oder machen sie dabei Fehler?

Das ist genau das Problem, das diese neue Studie löst.

Die Forscher haben einen neuen „Prüfstein" namens Sino-US-DrugQA geschaffen. Man kann sich das wie einen riesigen, zweisprachigen Quiz-Wettbewerb vorstellen, den sie speziell für diese KI-Programme entwickelt haben.

Hier ist, was sie getan haben, einfach erklärt:

1. Der Quiz-Bogen: Sie haben über 11.000 Fragen aus den offiziellen Regelbüchern beider Länder gesammelt. Es sind Multiple-Choice-Fragen, bei denen die KI die richtige Antwort auswählen muss.
2. Die Aufgaben: Die Fragen sind in zwei Arten unterteilt:
   • Einfache Fragen: „Was sagt das Regelbuch in China dazu?" (Wie ein Schüler, der nur sein eigenes Lehrbuch kennt).
   • Schwierige Vergleichsfragen: „Wie unterscheidet sich die Regel in China von der in den USA?" (Wie ein Schüler, der zwei verschiedene Lehrbücher gleichzeitig lesen und die Unterschiede erklären muss).
3. Der Testlauf: Sie haben vier der aktuell stärksten KI-Modelle (wie GPT, Gemini und andere) gegen diesen Quiz-Wettbewerb antreten lassen. Die KIs durften keine Hilfe bekommen und mussten die Fragen sofort beantworten.

Was ist dabei herausgekommen?

Die Ergebnisse waren eine Mischung aus „Gut gemacht" und „Vorsicht geboten":

• Bei den einfachen Fragen waren die KIs ziemlich schlau. Sie haben in etwa 80 bis 85 % der Fälle die richtige Antwort gefunden. Das ist wie ein sehr guter Assistent, der Ihnen schnell hilft, eine einzelne Regel zu finden.
• Bei den Vergleichsfragen wurde es aber knifflig. Hier sank die Leistung der KIs um etwa 6 bis 9 Prozentpunkte. Das ist, als ob ein Schüler, der eine Matheaufgabe allein lösen kann, plötzlich ins Stolpern gerät, wenn er zwei verschiedene Lösungswege miteinander vergleichen soll.

Die große Erkenntnis:

Die Studie zeigt uns, dass diese KI-Programme heute schon hervorragende Assistenten sein können, wenn es darum geht, Informationen aus einem Land zu suchen oder Entwürfe zu schreiben. Sie sind wie ein schneller Bibliothekar.

Aber wenn es darum geht, die Regeln von zwei verschiedenen Ländern zu vergleichen und daraus logische Schlüsse zu ziehen, sind sie noch nicht ganz so sicher wie ein erfahrener menschlicher Experte. Sie machen hier noch zu viele Fehler.

Das Fazit für die Praxis:

Man sollte diese KI-Programme also nicht blind vertrauen, wenn es um den direkten Vergleich zwischen den USA und China geht. Sie sind ein tolles Werkzeug, um die Arbeit zu erleichtern, aber der menschliche Experte (der „Chef-Regelkenner") muss am Ende immer noch alles überprüfen. Die KI ist der Assistent, aber nicht der Entscheider.

Die Forscher haben den gesamten Quiz-Wettbewerb und die Fragen kostenlos ins Internet gestellt, damit andere Forscher und Entwickler ihre eigenen KIs damit testen und verbessern können.

Technische Zusammenfassung

Technische Zusammenfassung: Sino-US-DrugQA

1. Problemstellung
Die pharmazeutische Compliance über verschiedene Rechtsgebiete hinweg erfordert eine komplexe vergleichende Analyse regulatorischer Anforderungen, insbesondere zwischen den USA (FDA) und China (NMPA). Obwohl Large Language Models (LLMs) zunehmend im Gesundheitswesen eingesetzt werden, fehlt es bisher an systematischen Benchmarks, um deren Leistungsfähigkeit bei der vergleichenden Analyse von Vorschriften in unterschiedlichen Jurisdiktionen zu bewerten. Dies stellt ein kritisches Risiko dar, da Fehler in diesem hochregulierten Bereich schwerwiegende Folgen haben können.

2. Methodik
Die Studie stellt Sino-US-DrugQA vor, ein zweisprachiges Benchmark-Dataset, das speziell für die Evaluation von LLMs im Kontext der pharmazeutischen Regulierung entwickelt wurde.

• Datengrundlage: Das Korpus besteht aus 11.871 Multiple-Choice-Frage-Antwort-Paaren, die aus autoritativen Quellen abgeleitet wurden: den chinesischen NMPA-Vorschriften und dem US-amerikanischen Code of Federal Regulations (CFR) Titel 21.
• Aufgabenstellung: Der Datensatz umfasst zwei Hauptkategorien von Aufgaben:
  1. Monolinguale Abrufaufgaben: Fragen, die sich auf die Vorschriften einer einzelnen Jurisdiktion beziehen.
  2. Cross-Jurisdiktionale Vergleichsaufgaben: Aufgaben, die ein vergleichendes reasoning (Schlussfolgern) zwischen den beiden Rechtsystemen erfordern.
• Evaluation: Es wurden vier repräsentative LLMs evaluiert: GPT-5.2, Gemini-3-flash, Qwen-3-235B und DeepSeek-V3.2. Die Tests erfolgten unter einem standardisierten Zero-Shot-Protokoll mit einer Temperatur von 0, um Reproduzierbarkeit und deterministische Ergebnisse zu gewährleisten.

3. Wichtige Beiträge

• Erstellung eines spezialisierten Benchmarks: Sino-US-DrugQA ist der erste umfassende Datensatz, der die Lücke in der Evaluation von LLMs für regulatorische Vergleiche zwischen China und den USA schließt.
• Open-Source-Verfügbarkeit: Sowohl der Datensatz als auch die Evaluierungsskripte werden als offene Ressourcen veröffentlicht, um reproduzierbares Benchmarking in der wissenschaftlichen Gemeinschaft zu ermöglichen.
• Identifikation von Leistungslücken: Die Studie liefert empirische Belege für die spezifischen Schwächen aktueller KI-Modelle bei komplexen, vergleichenden regulatorischen Aufgaben.

4. Ergebnisse

• Gesamtleistung: In der Zero-Shot-Einstellung erreichten die evaluierten Modelle eine Gesamtgenauigkeit im Bereich von 78,97 % bis 84,51 % über alle 11.871 Fragen hinweg.
• Leistungsgefälle bei Vergleichsaufgaben: Ein konsistenter Leistungsabfall wurde bei den vergleichenden Fragen im Vergleich zu den monolingualen Aufgaben beobachtet. Die Genauigkeit sank um etwa 6 bis 9 Prozentpunkte.
• Systemgrenzen: Selbst das bestperformende System konnte diese Lücke nicht vollständig schließen. Dies unterstreicht, dass die Ausrichtung (Alignment) über verschiedene Rechtsgebiete hinweg und das deduktive Schließen bei Vergleichen nach wie vor zentrale Herausforderungen für aktuelle LLM-Architekturen darstellen.

5. Bedeutung und Implikationen
Die Studie liefert ein praktisches Werkzeug für das Benchmarking von „Regulatory AI" in einem hochriskanten Compliance-Umfeld. Die Ergebnisse deuten darauf hin, dass aktuelle LLMs als nützliche Assistenten für das Entwerfen und Screening von monolingualen regulatorischen Anfragen eingesetzt werden können. Allerdings zeigen die signifikanten Einschränkungen bei der vergleichenden Analyse, dass ein konservativer Einsatzansatz erforderlich ist. Für Aufgaben, die den Abgleich zwischen US- und chinesischen Vorschriften erfordern, ist eine zwingende Überprüfung durch menschliche Experten unerlässlich, um Compliance-Risiken zu minimieren.

Der Datensatz und die Skripte sind unter folgender Adresse verfügbar: https://github.com/DodgeLU/Sino-US-DrugQA.