Sino-US-DrugQA: A Benchmark for Evaluating Large Language Models in Cross-Jurisdictional Pharmaceutical Regulation

Deze studie introduceert Sino-US-DrugQA, een tweetalig benchmarkdataset met bijna 12.000 meerkeuzevragen voor het evalueren van grote taalmodellen op hun vermogen om farmaceutische regelgeving tussen de VS en China te vergelijken, waarbij wordt geconcludeerd dat hoewel deze modellen nuttig zijn voor monolinguale queries, ze aanzienlijke beperkingen vertonen bij complexe, grensoverschrijdende redenering.

De kern

Stel je voor dat je een enorme bibliotheek hebt met twee heel verschillende afdelingen: één voor de regels van de Verenigde Staten (de FDA) en één voor de regels van China (de NMPA). Als je een medicijn wilt maken dat in beide landen mag worden verkocht, moet je precies weten welke regels waar gelden. Dat is als het proberen te navigeren door twee verschillende landen met verschillende verkeersborden, waar je soms moet omdraaien en soms rechtdoor kunt gaan.

Deze paper introduceert een nieuwe test (een soort "rijexamen") voor slimme computers, genaamd Sino-US-DrugQA.

Hier is hoe het werkt, vertaald naar alledaags taalgebruik:

1. De "Examenboekjes"

De onderzoekers hebben een gigantisch boekje gemaakt met bijna 12.000 vragen. Deze vragen komen uit de officiële reglementen van zowel China als de VS.

• De simpele vragen: "Wat zegt de regel in China over dit medicijn?" (Alsof je vraagt: "Mag ik hier linksaf?")
• De moeilijke vragen: "Wat is het verschil tussen de regel in China en de regel in de VS?" (Alsof je vraagt: "Als ik hier linksaf mag, mag ik dat dan ook in het buurland, of moet ik daar anders rijden?")

2. De "Slimme Studenten"

Ze hebben vier van de slimste kunstmatige intelligenties (AI) die er momenteel zijn, zoals GPT-5.2 en DeepSeek-V3.2, op deze vragen laten antwoorden. Ze deden dit zonder dat ze eerst extra les hadden gehad (een "zero-shot" test, alsof je iemand de examenboeken geeft en zegt: "Ga maar aan de slag, zonder studietijd").

3. Het Resultaat: Goed, maar niet perfect

De computers deden het best goed op de simpele vragen. Ze haalden een cijfer tussen de 79% en 85%. Dat is alsof ze een heel goed rijbewijs hebben gehaald voor één land. Ze kunnen prima helpen om regels in één taal te controleren of een eerste opzet te maken.

Maar hier komt de hapering:
Zodra de vraag ging over het vergelijken van de twee landen, vielen de cijfers flink. De computers werden ongeveer 6 tot 9 punten lager.

• De analogie: Het is alsof je een tolk hebt die perfect Chinees en perfect Engels spreekt. Als je vraagt "Wat betekent dit woord in het Chinees?", is het antwoord perfect. Maar als je vraagt "Wat is het verschil tussen deze twee zinnen in beide talen?", begint de tolk te twijfelen en maakt hij fouten.

4. Wat betekent dit voor de echte wereld?

De boodschap van dit onderzoek is voorzichtigheid.

• Wat AI wel kan: Het is een uitstekende assistent. Het kan snel regels opzoeken en een eerste versie van een document schrijven. Het is als een zeer snelle secretaresse die alles opschrijft wat je dicteert.
• Wat AI nog niet kan: Het is nog geen beslissingsmaker. Als het gaat om het vergelijken van regels tussen landen, is de AI nog niet betrouwbaar genoeg om alleen te werken.

De conclusie:
Je mag deze slimme computers gebruiken om het zware werk te doen, maar je moet ze nooit volledig vertrouwen als het gaat om het vergelijken van regels tussen landen. Er moet altijd een menselijke expert (een ervaren regelaar) de antwoorden controleren, net zoals je een beginnende chauffeur nooit alleen door een stormachtige nacht laat rijden zonder een ervaren passagier die meekijkt.

De onderzoekers hebben hun examenboekje en de antwoorden openbaar gemaakt, zodat iedereen deze "rijlessen" voor AI kan blijven geven en verbeteren.

Technische samenvatting

Probleemstelling

De farmacologische naleving op internationaal niveau vereist een vergelijkende analyse van regelgeving tussen verschillende jurisdicties, met name tussen de Amerikaanse FDA en de Chinese NMPA. Hoewel Large Language Models (LLM's) steeds vaker worden toegepast in de gezondheidszorg, ontbreekt er tot nu toe een systematische karakterisering van hun prestaties bij het vergelijken van regelgeving over jurisdicties heen. Er is een gebrek aan specifieke benchmarks om te evalueren hoe goed deze modellen complexe, tweetalige regulatorische vraagstukken kunnen oplossen.

Methodologie

De auteurs introduceerden Sino-US-DrugQA, een tweetalige benchmark-dataset die specifiek is ontworpen om LLM-prestaties in de context van cross-jurisdiktionele farmaceutische regelgeving te evalueren.

• Dataset-opbouw: De dataset bestaat uit een tweetalig corpus van 11.871 meerkeuzevragen met bijbehorende antwoorden. Deze zijn afgeleid van gezaghebbende bronnen: de Chinese NMPA-regelgeving en Title 21 van de US Code of Federal Regulations (CFR).
• Taaktypes: De dataset omvat twee hoofdtaken:
  1. Monolinguale retrieval-taken: Vragen die specifiek gaan over de regelgeving van één land.
  2. Cross-jurisdiktionele vergelijkende redeneertaken: Vragen die een vergelijking vereisen tussen de regelgeving van de VS en China.
• Evaluatieprotocol: Er werd een gestandaardiseerde zero-shot evaluatie uitgevoerd met een temperatuur van 0 om consistentie te garanderen.
• Modellen: Vier representatieve LLM's werden getest: GPT-5.2, Gemini-3-flash, Qwen-3-235B en DeepSeek-V3.2.

Belangrijkste Bijdragen

1. Nieuwe Benchmark: De introductie van Sino-US-DrugQA als het eerste dedicated dataset voor het evalueren van LLM's in cross-jurisdiktionele farmaceutische compliance.
2. Open Resources: De dataset en de evaluatiescripts zijn openbaar beschikbaar gesteld (via GitHub) om reproduceerbaar onderzoek en verdere benchmarking mogelijk te maken.
3. Empirische Analyse: Een gedetailleerde analyse van de prestatiegaten tussen monolinguale en vergelijkende taken, wat inzicht geeft in de beperkingen van huidige AI-modellen in hoog-risico omgevingen.

Resultaten

• Algemene Prestaties: In de zero-shot setting bereikten de geëvalueerde modellen een algehele nauwkeurigheid variërend van 78,97% tot 84,51% over alle 11.871 vragen.
• Prestatieverschil per Taaksoort: Er werd een consistent prestatieverlies waargenomen bij vergelijkende vragen ten opzichte van monolinguale vragen. Dit gat bedroeg ongeveer 6 tot 9 procentpunten.
• Uitdagingen: Zelfs het best presterende systeem vertoonde deze daling, wat aangeeft dat "cross-jurisdiktionele uitlijning" en het redeneren bij specifieke vergelijkingen fundamentele uitdagingen blijven voor huidige LLM-architecturen.

Betekenis en Conclusie

Sino-US-DrugQA biedt een praktisch hulpmiddel voor het benchmarken van regelgevende AI in een omgeving met hoge risico's (high-stakes compliance). De studie concludeert dat huidige LLM's nuttig kunnen zijn als schrijf- en screeningassistenten voor monolinguale regulatorische vragen. Echter, vanwege de beperkingen in cross-jurisdiktionele vergelijkende redenering, wordt een conservatieve implementatie aanbevolen waarbij menselijke expertreview essentieel blijft. Dit paper benadrukt dat AI nog niet volledig autonoom kan opereren bij complexe internationale regelgevingsvergelijkingen.