Sino-US-DrugQA: A Benchmark for Evaluating Large Language Models in Cross-Jurisdictional Pharmaceutical Regulation

Cette étude présente Sino-US-DrugQA, une nouvelle ressource bilingue de benchmarking conçue pour évaluer les performances des grands modèles de langage dans l'analyse comparative des réglementations pharmaceutiques entre les États-Unis et la Chine, révélant que bien que ces modèles soient utiles pour des requêtes monolingues, ils éprouvent encore des difficultés significatives dans le raisonnement comparatif interjuridictionnel.

L'essentiel

Imaginez que les règles de la pharmacie sont comme les règles de la route. Aux États-Unis, vous conduisez à droite et les panneaux sont en anglais ; en Chine, vous conduisez aussi à droite, mais les panneaux sont en chinois et les lois sont parfois très différentes.

Si vous êtes un robot très intelligent (une « intelligence artificielle ») qui doit aider les médecins et les pharmaciens à naviguer entre ces deux mondes, vous devez être extrêmement précis. Une petite erreur de traduction ou une méprise sur une règle pourrait avoir de graves conséquences pour la santé des gens.

Voici ce que cette recherche nous raconte, en termes simples :

1. Le Problème : Le « Choc des Cultures » Réglementaire

Les chercheurs se sont demandé : « Est-ce que nos robots intelligents actuels sont assez forts pour comparer les règles des médicaments entre la Chine (NMPA) et les États-Unis (FDA) ? »
C'est comme demander à un traducteur automatique de gérer une négociation diplomatique complexe. Il faut non seulement connaître les deux langues, mais aussi comprendre les nuances profondes de chaque système.

2. La Solution : Le « Terrain d'Entraînement » Sino-US-DrugQA

Pour tester ces robots, les chercheurs ont créé un immense jeu de questions-réponses (un benchmark), qu'ils ont appelé Sino-US-DrugQA.

• La taille du jeu : Ils ont écrit plus de 11 000 questions, comme un examen final géant.
• La source : Toutes les questions viennent des livres de règles officiels et sacrés des deux pays (les « lois » des médicaments).
• Le but : Voir si l'IA peut répondre correctement à des questions simples (« Quelle est la règle aux USA ? ») et, surtout, à des questions complexes (« Quelle est la différence entre la règle chinoise et la règle américaine pour ce médicament ? »).

3. L'Expérience : La Course de Robots

Les chercheurs ont mis quatre des robots les plus intelligents du moment (comme GPT, Gemini, Qwen et DeepSeek) sur la ligne de départ. Ils leur ont donné le test sans aucun entraînement préalable, juste comme ça, pour voir leur niveau naturel.

Les résultats sont intéressants :

• Côté positif : Les robots sont plutôt bons ! Ils ont eu entre 79 % et 85 % de bonnes réponses sur les questions simples. C'est comme s'ils avaient obtenu un « B » ou un « A- » à l'école. Ils peuvent aider à rédiger des documents ou à vérifier des règles simples dans un seul pays.
• Côté négatif (Le vrai défi) : Dès qu'on leur pose des questions de comparaison (comparer les deux pays en même temps), leurs notes chutent de 6 à 9 points.
  • L'analogie : Imaginez un joueur de tennis qui est excellent pour frapper la balle tout seul, mais qui trébuche dès qu'il doit jouer en double avec un partenaire dont les règles sont légèrement différentes. Le robot a du mal à faire le lien entre les deux mondes.

4. La Conclusion : Utiliser avec Précaution

Le message principal est un avertissement bienveillant :
Ces intelligences artificielles sont de superbes assistants de bureau. Elles peuvent aider à rédiger des brouillons ou à chercher des infos simples. Mais, elles ne sont pas encore des juges experts.

Pour les questions complexes qui impliquent de comparer les règles de la Chine et des États-Unis, on ne peut pas encore leur faire confiance aveuglément. Il faut toujours qu'un expert humain (un avocat ou un régulateur) relise le travail du robot, un peu comme un chef qui vérifie le travail d'un apprenti avant de servir le plat.

En résumé, les chercheurs ont créé une « carte au trésor » (le jeu de données) pour aider les développeurs à entraîner leurs robots à devenir de meilleurs navigateurs entre les deux mondes, mais pour l'instant, il faut garder un œil vigilant sur eux.

Résumé technique

1. Problématique

La conformité pharmaceutique transjuridictionnelle exige une analyse comparative rigoureuse des exigences réglementaires entre différentes juridictions, notamment entre la FDA (États-Unis) et la NMPA (Chine). Bien que les grands modèles de langage (LLM) soient de plus en plus explorés pour des applications liées à la santé, leur capacité à effectuer des comparaisons réglementaires complexes entre juridictions n'a pas été systématiquement caractérisée. Il existe un manque critique de benchmarks dédiés pour évaluer la performance de ces modèles dans ce contexte à haute responsabilité, où les erreurs peuvent avoir des conséquences juridiques et sanitaires graves.

2. Méthodologie

Pour combler ce vide, les auteurs ont développé Sino-US-DrugQA, un benchmark bilingue (chinois-anglais) conçu spécifiquement pour évaluer les LLMs dans le domaine de la réglementation pharmaceutique.

• Construction du corpus : Le dataset est composé de 11 871 paires de questions-réponses à choix multiples. Ces données sont dérivées de sources autoritaires : les réglementations de la NMPA chinoise et le titre 21 du Code of Federal Regulations (CFR) des États-Unis.
• Types de tâches : Le benchmark inclut deux catégories de tâches :
  1. Des tâches de récupération monolingue (compréhension au sein d'une seule juridiction).
  2. Des tâches de raisonnement comparatif transjuridictionnel (analyse croisée entre la NMPA et la FDA).
• Protocole d'évaluation : Quatre LLMs représentatifs ont été évalués sous un protocole standardisé en zéro-shot (sans ajustement préalable ni few-shot prompting) :
  • GPT-5.2
  • Gemini-3-flash
  • Qwen-3-235B
  • DeepSeek-V3.2
  • Note technique : La température a été fixée à 0 pour garantir la reproductibilité et la stabilité des résultats.

3. Contributions Clés

• Création du premier benchmark bilingue dédié : Sino-US-DrugQA est la première ressource structurée permettant une évaluation comparative des LLMs sur des réglementations pharmaceutiques sino-américaines.
• Ressource open source : L'ensemble des données, ainsi que les scripts d'évaluation, sont publiés publiquement pour favoriser la reproductibilité et le développement futur de l'IA réglementaire.
• Analyse des lacunes spécifiques : Le benchmark met en lumière la différence de performance entre la compréhension monolingue et le raisonnement comparatif, identifiant ce dernier comme un point de défaillance critique.

4. Résultats

Les évaluations ont révélé les performances suivantes sur l'ensemble des 11 871 questions :

• Précision globale : Dans le cadre du zéro-shot, les modèles testés ont atteint des taux de précision globaux compris entre 78,97 % et 84,51 %.
• Écart de performance : Une baisse de performance systématique a été observée sur les questions comparatives par rapport aux questions monolingues. Cet écart se situe entre 6 et 9 points de pourcentage.
• Limites des modèles : Même le système le plus performant n'a pas réussi à combler cet écart, soulignant que l'alignement transjuridictionnel et le déduction spécifique à la comparaison restent des défis majeurs pour les architectures actuelles.

5. Signification et Implications

• Utilité pratique : Les LLMs actuels démontrent une utilité potentielle en tant qu'assistants pour la rédaction et le filtrage initial de requêtes réglementaires monolingues.
• Recommandation de déploiement : En raison des limitations persistantes dans le raisonnement comparatif transjuridictionnel, les auteurs préconisent une posture de déploiement conservatrice. L'utilisation de ces modèles dans un contexte de conformité réglementaire doit impérativement inclure une révision par des experts humains pour valider les conclusions.
• Impact futur : Sino-US-DrugQA fournit une base solide pour le développement de futurs modèles capables de gérer la complexité des environnements réglementaires multiples, essentiels pour l'industrie pharmaceutique mondiale.

Le dataset et les scripts sont accessibles via le dépôt GitHub : https://github.com/DodgeLU/Sino-US-DrugQA.