Sino-US-DrugQA: A Benchmark for Evaluating Large Language Models in Cross-Jurisdictional Pharmaceutical Regulation

Este estudo apresenta o Sino-US-DrugQA, um novo benchmark bilíngue com 11.871 pares de perguntas e respostas derivadas de regulamentações da NMPA chinesa e do CFR dos EUA, que avalia o desempenho de grandes modelos de linguagem em tarefas de conformidade farmacêutica transjurisdicional, revelando que, embora eficazes para consultas monolíngues, esses modelos ainda apresentam limitações significativas no raciocínio comparativo entre jurisdições.

O essencial

Imagine que você é um chef de cozinha muito famoso. Você tem duas cozinhas diferentes: uma na China e outra nos Estados Unidos. Cada cozinha tem seu próprio livro de regras gigante e super detalhado sobre como preparar alimentos, quais ingredientes são permitidos e como embalar tudo para vender.

O problema é que as regras da cozinha chinesa (chamada NMPA) são escritas em chinês e seguem um estilo diferente, enquanto as regras da cozinha americana (chamada FDA) estão em inglês e têm outra lógica. Se você quiser vender o mesmo prato nos dois países, precisa saber exatamente onde as regras são iguais e onde elas são diferentes. Se errar, o prato pode ser proibido ou causar problemas graves.

Recentemente, surgiram "cozinheiros robôs" super inteligentes (chamados de Inteligências Artificiais ou LLMs) que prometem ajudar a ler esses livros de regras. Mas ninguém sabia se eles realmente entendiam as diferenças sutis entre as duas cozinhas ou se apenas estavam chutando.

O que os pesquisadores fizeram?
Eles criaram um "exame de prova" chamado Sino-US-DrugQA. Pense nisso como uma lista de 11.871 perguntas de múltipla escolha, como se fosse um teste de direção, mas em vez de saber dirigir, o robô precisa saber as leis de remédios.

• O Material de Estudo: Eles pegaram os livros de regras reais da China e dos EUA e transformaram em perguntas.
• O Desafio: O teste tinha dois tipos de perguntas:
  1. Perguntas Simples: "O que a regra da China diz sobre este remédio?" (Como ler um livro só em chinês).
  2. Perguntas de Comparação: "Qual é a diferença entre a regra da China e a dos EUA para este remédio?" (Aqui é onde a coisa fica difícil, como comparar duas receitas complexas ao mesmo tempo).

O que aconteceu no teste?
Eles colocaram quatro dos "cozinheiros robôs" mais famosos do mundo (como GPT, Gemini, Qwen e DeepSeek) para fazer essa prova, sem dar nenhuma ajuda extra.

• O Resultado: Os robôs foram bons! Eles acertaram entre 79% e 85% das perguntas simples. É como se eles fossem estudantes que tiraram nota 8 na prova de leitura.
• O Problema: Quando as perguntas pediam para comparar as duas cozinhas ao mesmo tempo, a nota deles caiu um pouco (cerca de 6 a 9 pontos a menos). Foi como se eles soubessem as regras de cada um, mas tivessem dificuldade em explicar as diferenças entre elas sem confundir.

Qual é a lição para nós?
Este estudo nos diz duas coisas importantes:

1. São ótimos assistentes: Podemos usar esses robôs para ler as regras de um único país e ajudar a escrever documentos ou checar se algo parece certo. Eles são como estagiários muito rápidos e bem informados.
2. Precisamos de um chefe humano: Quando se trata de comparar as regras da China com as dos EUA para tomar decisões importantes, os robôs ainda não são 100% confiáveis sozinhos. Eles podem cometer erros sutis. Por isso, a recomendação é: use o robô para rascunhar e ajudar, mas sempre tenha um especialista humano (um "chefe de cozinha" de verdade) revisando o trabalho final antes de tomar qualquer decisão.

Os pesquisadores liberaram todo esse "exame" e os materiais de estudo na internet para que qualquer pessoa possa testar seus próprios robôs no futuro, garantindo que a segurança dos remédios seja mantida em todo o mundo.

Resumo técnico

Resumo Técnico: Sino-US-DrugQA

1. O Problema

A conformidade farmacêutica transjurisdicional exige uma análise comparativa complexa das regulamentações entre diferentes jurisdições, especificamente entre a Administração de Alimentos e Medicamentos dos EUA (FDA) e a Administração Nacional de Medicamentos da China (NMPA). Embora os Modelos de Linguagem de Grande Escala (LLMs) estejam sendo cada vez mais explorados para aplicações em saúde, seu desempenho na comparação regulatória entre jurisdições ainda não foi sistematicamente caracterizado. Existe uma lacuna crítica na avaliação de como esses modelos lidam com a dedução comparativa e o alinhamento entre sistemas regulatórios distintos, o que é essencial para garantir a segurança e a conformidade em um cenário de alto risco.

2. Metodologia

O estudo introduz o Sino-US-DrugQA, um conjunto de dados de referência (benchmark) bilíngue projetado especificamente para avaliar o desempenho de LLMs na regulação farmacêutica cruzada. A metodologia de construção e avaliação inclui:

• Corpus de Dados: Foi construído um corpus bilíngue contendo 11.871 pares de perguntas e respostas de múltipla escolha. Os dados foram derivados de regulamentações autoritativas da NMPA e do Título 21 do Código de Regulamentos Federais dos EUA (US CFR).
• Tipos de Tarefas: O conjunto de dados abrange duas categorias principais:
  1. Tarefas de recuperação monolíngue (focadas em uma única jurisdição).
  2. Tarefas de raciocínio comparativo transjurisdicional (exigindo a comparação direta entre as regras da China e dos EUA).
• Protocolo de Avaliação: Foram avaliados quatro LLMs representativos sob um protocolo padronizado de zero-shot (sem exemplos de treinamento), com a temperatura fixada em 0 para garantir consistência. Os modelos testados foram:
  • GPT-5.2
  • Gemini-3-flash
  • Qwen-3-235B
  • DeepSeek-V3.2
• Recursos Abertos: O conjunto de dados e os scripts de avaliação foram disponibilizados como recursos de código aberto para garantir a reprodutibilidade.

3. Principais Contribuições

• Primeiro Benchmark Especializado: Criação do primeiro conjunto de dados dedicado à avaliação de IA em conformidade regulatória farmacêutica comparativa entre China e EUA.
• Padronização de Avaliação: Estabelecimento de um protocolo rigoroso para testar a capacidade de raciocínio lógico e de comparação de modelos de IA em contextos legais e médicos complexos.
• Transparência e Reprodutibilidade: Disponibilização pública dos dados e ferramentas, permitindo que a comunidade científica e regulatória valide e expanda os resultados.

4. Resultados

Os resultados das avaliações revelaram insights importantes sobre as capacidades e limitações atuais dos LLMs:

• Desempenho Geral: No cenário zero-shot, os modelos alcançaram precisões globais variando entre 78,97% e 84,51% nas 11.871 perguntas.
• Queda no Desempenho Comparativo: Observou-se uma queda consistente no desempenho dos modelos ao responder a perguntas comparativas em relação às perguntas monolíngues. A diferença de desempenho foi de aproximadamente 6 a 9 pontos percentuais.
• Limitações Persistentes: Mesmo o sistema de melhor desempenho apresentou dificuldades significativas no raciocínio comparativo, indicando que o alinhamento entre jurisdições e a dedução específica para comparações são desafios não resolvidos pela tecnologia atual.

5. Significado e Implicações

O estudo conclui que, embora os LLMs atuais demonstrem utilidade como assistentes de redação e triagem para consultas regulatórias monolíngues, suas limitações no raciocínio comparativo transjurisdicional exigem cautela.

• Postura Conservadora: Devido às falhas no raciocínio comparativo, a implantação desses modelos em cenários de conformidade de alto risco deve ser conservadora, sempre exigindo revisão e validação por especialistas humanos.
• Ferramenta de Pesquisa: O Sino-US-DrugQA serve como um recurso prático para impulsionar o desenvolvimento de IA regulatória, destacando a necessidade de avanços na capacidade de modelos de entenderem e compararem nuances legais entre diferentes sistemas nacionais.

O conjunto de dados e os scripts estão disponíveis no repositório GitHub: https://github.com/DodgeLU/Sino-US-DrugQA.