Measuring Cross-Jurisdictional Transfer of Medical Device Risk Concepts with Explainable AI

Resumo Técnico: Transferência Transjurisdicional de Conceitos de Risco em Dispositivos Médicos com IA Explicável

1. Problema e Motivação

Reguladores de dispositivos médicos em grandes jurisdições (FDA nos EUA, NMPA na China e UE MDR na Europa) utilizam a linguagem de "risco" para classificar produtos. No entanto, os mecanismos estruturais de classificação diferem fundamentalmente:

• UE MDR: Sistema baseado em regras explícitas (22 regras no Anexo VIII) ligadas a características do dispositivo.
• FDA: Sistema baseado em "predicados" (equivalência substancial a dispositivos existentes no mercado).
• NMPA: Sistema baseado em catálogos, onde dispositivos são mapeados para entradas específicas.

A questão central é: Conceitos de risco compartilhados (como "invasividade" ou "implantabilidade") carregam um sinal classificatório transferível entre essas jurisdições estruturalmente diferentes? A literatura atual assume frequentemente que a harmonização de vocabulário implica harmonização lógica, mas não há evidência empírica sobre se esses conceitos funcionam como sinais portáteis em modelos de IA.

2. Metodologia

O estudo utiliza a Inteligência Artificial Explicável (XAI) como uma "sonda empírica" para medir a sobreposição regulatória. A abordagem envolve:

• Dados: Um conjunto de dados massivo de 141.942 registros de dispositivos médicos (FDA: 53.745; NMPA: 65.703; UE MDR: 22.494).
• Fatores Regulatórios: Foram extraídos sete fatores de risco estruturados a partir da lógica da UE MDR (implantabilidade, invasividade, duração de uso, dispositivo ativo, esterilidade, função de medição e reutilizável).
• Experimentos de Ablação Controlada:
  • Treinamento de classificadores (Random Forest) em três condições: apenas texto, apenas fatores regulatórios, e texto + fatores.
  • Medição do ganho de desempenho ($\Delta F1$) ao adicionar os fatores extraídos de uma jurisdição de origem para classificar dispositivos em jurisdições de destino.
• Análise de Transferência:
  • Matriz de Transferência: Teste de fatores da UE MDR em NMPA e FDA, e vice-versa.
  • Transferência Zero-Shot: Treinamento em FDA/NMPA e teste em UE MDR (e vice-versa) sem exemplos de treinamento da jurisdição alvo.
  • Busca de Reclassificação por Perturbação: Análise de como pequenas alterações nos fatores afetam as decisões do modelo para entender os limites de decisão.
• Controles de Robustez: Uso de pipelines de extração simétricos (apenas palavras-chave em texto) para eliminar vantagens de extração específicas de cada jurisdição, e testes com embeddings multilíngues (MiniLM) para superar barreiras linguísticas.

3. Contribuições Principais

1. Mensuração Empírica da Compatibilidade Regulatória: O estudo é pioneiro em quantificar, em vez de apenas assumir, a sobreposição estrutural entre sistemas regulatórios usando IA.
2. Desmistificação do Vocabulário Compartilhado: Demonstra que termos comuns (ex: "implantável") não garantem lógica classificatória portátil entre jurisdições.
3. Framework de Sonda XAI: Propõe o uso de modelos explicáveis não apenas para interpretar decisões, mas para diagnosticar a estrutura regulatória subjacente e as barreiras de transferência de modelos.
4. Identificação de Assimetrias e Falhas: Revela que a transferência é esparsa, assimétrica e altamente dependente da metodologia de extração e representação de texto.

4. Resultados Chave

• Sinal Transjurisdicional Marginal (Pipeline Simétrico):
  • Quando os fatores são extraídos de forma simétrica (usando apenas correspondência de palavras-chave em texto para todas as jurisdições), a contribuição dos fatores é negligível em todas as jurisdições ($\Delta F1 < 0,01$). Isso indica que, sem vantagens de extração específicas, o sinal cruzado é quase inexistente.
• Ganhos Modestos e Dependentes de Pipeline (NMPA):
  • Sob pipelines específicos de jurisdição, observa-se um ganho modesto apenas na direção UE MDR $\to$ NMPA ($\Delta F1 = +0,024$).
  • Análises de sensibilidade mostram que este ganho é fraco, dependente do contexto e parcialmente confundido por escolhas de extração e representação.
• Falha na Transferência Reversa e FDA:
  • Fatores derivados da FDA não transferem significado em nenhuma direção.
  • Fatores derivados da NMPA não carregam sinal de volta para a UE MDR.
  • A transferência é assimétrica: a lógica baseada em regras da UE MDR tem algum resíduo de utilidade na NMPA, mas não o inverso.
• Colapso da Classe I em Transferência Zero-Shot:
  • Modelos treinados em FDA/NMPA falham catastroficamente ao classificar dispositivos da Classe I da UE MDR (F1 = 0,001).
  • Causa: A Classe I na UE MDR é definida residualmente (ausência de gatilhos de risco), enquanto na FDA/NMPA é definida posicionalmente (códigos específicos). O modelo não consegue representar a categoria de "ausência de risco" quando treinado em dados onde a Classe I tem características positivas.
• Barreira Linguística:
  • O uso de TF-IDF com n-gramas de caracteres cria espaços de características disjuntos entre chinês, inglês e línguas europeias, tornando o canal de texto ineficaz para transferência cruzada. Embeddings multilíngues melhoram o desempenho geral, mas não resolvem o colapso da Classe I.

5. Significado e Implicações

• Para IA Regulatória: O estudo alerta que a suposição de que conceitos regulatórios são portáteis é perigosa. Modelos de IA para suporte à decisão regulatória transfronteiriça não podem depender de vocabulário compartilhado; eles exigem validação empírica específica para cada jurisdição.
• Para Harmonização Regulatória: Embora existam intuições de risco compartilhadas (ex: implantes são sempre de alto risco), a lógica operacional de classificação não é diretamente transferível. A harmonização requer mais do que alinhamento de terminologia; requer alinhamento estrutural das regras de decisão.
• Para Pesquisa em XAI: O trabalho demonstra que a XAI pode ser usada como ferramenta de diagnóstico de infraestrutura regulatória, revelando onde os modelos falham e por que (ex: incompatibilidade de definições residuais vs. posicionais).

Conclusão: A transferência de conceitos de risco entre jurisdições é esparsa, assimétrica e fraca. A lógica classificatória não é portátil apenas porque o vocabulário é compartilhado. O sucesso de modelos de IA regulatórios globais depende de superar essas barreiras estruturais e linguísticas, em vez de assumir compatibilidade baseada em superfícies textuais.