Stress-testing post-market medical-device reporting signals: an empirical study of temporal, entity-label and comparator robustness in FDA MAUDE

Resumo Técnico: Teste de Estresse de Sinais de Notificação de Dispositivos Médicos Pós-Mercado

Definição do Problema
A vigilância pós-mercado de dispositivos médicos frequentemente depende de bases de dados de notificações espontâneas, como o MAUDE (Manufacturer and User Facility Device Experience) da FDA. Uma abordagem analítica comum envolve o cálculo da Razão de Odds de Notificação (ROR) ao longo de um período amplo para identificar sinais de desproporcionalidade de notificação. No entanto, os autores argumentam que um sinal permanecer positivo ao longo de um período amplo não indica necessariamente robustez analítica. Tais sinais podem ser artefatos de escolhas analíticas específicas, incluindo:

• Instabilidade temporal: Flutuações mascaradas por janelas de tempo longas.
• Dependência de entidade-rótulo: Sinais impulsionados por um único fabricante ou modelo, em vez de um problema de toda uma classe.
• Sensibilidade do comparador: Resultados dependentes de uma definição estreita do grupo comparador.
• Bloqueio cumulativo (Cumulative lock-in): Evidências históricas que persistem mesmo após o suporte local enfraquecer.

O estudo aborda a falta de quantificação empírica sobre como a perturbação de escalas temporais, rótulos de entidades, especificações de comparadores e estratégias de acumulação afeta a classificação de sinais.

Metodologia
Este estudo metodológico empírico retrospectivo utilizou registros do MAUDE da FDA recebidos entre 1º de janeiro de 2020 e 31 de dezembro de 2025. A unidade primária de análise foi o MDR_REPORT_KEY exclusivo.

• Universo do Estudo: A análise focou em 61 pares de código de produto/mecanismo. Destes, 19 pares atenderam aos critérios estatísticos formais (ROR > 1, Limite Inferior de Confiança [LCL] > 1 e Benjamini–Hochberg FDR < 0,05) tanto em um período "anterior" (2020–2023) quanto em um período "posterior" (2024–2025).
• Estrutura de Teste de Estresse: O estudo aplicou vários testes de perturbação a esses 19 sinais:
  1. Sensibilidade Temporal: Calculou RORs trimestrais (2024Q1–2025Q4) e realizou análises de "deixar um ano fora" (leave-one-year-out - LOO) (2020–2025).
  2. Remoção de Entidade-Rótulo: Removeu sistematicamente o nome do fabricante normalizado principal e o nome do modelo normalizado principal das notificações do sinal alvo para testar a dependência de entidade única.
  3. Perturbação do Comparador: Realizou análises de "deixar um código de comparador fora" (leave-one-comparator-code-out - LOCO), removendo códigos individuais do conjunto de comparadores para testar a dependência de definições específicas de comparadores.
  4. Replay Histórico: Reavaliou os sinais em 24 cortes cumulativos (2020Q1–2025Q4) e avaliou a persistência local usando 21 janelas móveis de quatro trimestres.
• Níveis de Classificação: Os sinais foram categorizados em níveis (A, B, C, U) com base em seu desempenho através desses testes de estresse. O Nível A representou a maior robustez (passando em todos os critérios temporais, de entidade e de comparador).
• Vinculação Contextual: Eventos de recall foram vinculados aos sinais para fornecer contexto regulatório, embora não como um padrão ouro para validação.

Principais Contribuições
O artigo fornece uma demonstração empírica de como as especificações analíticas influenciam a estabilidade do sinal no banco de dados MAUDE. Suas principais contribuições incluem:

• Diferenciação de Robustez: Estabelece que a consistência em períodos amplos é insuficiente como evidência de estabilidade metodológica. O estudo quantifica quantos sinais que passam pelos limiares padrão falham sob perturbações específicas.
• Teste de Estresse Multidimensional: Introduz uma estrutura para separar fragilidade temporal, dependência de entidade-rótulo e sensibilidade do comparador, argumentando que estes devem ser inspecionados separadamente em vez de colapsados em uma única pontuação.
• Análise Cumulativa vs. Móvel: Destaca a distinção entre evidência cumulativa (que pode reter o "bloqueio" histórico) e análise local móvel (que revela instabilidade atual).
• Classificação por Níveis: Propõe uma hierarquia operacional transparente (Níveis A–U) para classificar a robustez do sinal com base em modos específicos de falha.

Resultados

• Estabilidade do Sinal: Dos 19 sinais que atenderam aos critérios de período amplo em ambos os intervalos de tempo, apenas 5 (Nível A) atenderam a todos os critérios de robustez temporal e de entidade-rótulo.
• Sensibilidade do Comparador: Sob perturbação do comparador, 10 sinais permaneceram robustos (Comparator-A), 4 mantiveram a direção mas perderam precisão (Comparator-B) e 5 inverteram a direção (Comparator-C).
• Persistência Temporal: Os cinco sinais mais robustos mantiveram um LCL > 1 em todas as 21 janelas móveis de quatro trimestres. Em contraste, o grupo pré-definido como "frágil" (13 sinais) teve uma mediana de persistência móvel de 0,857. Essa diferença foi estatisticamente significativa (rank-biserial = 0,846; dois-sided P = 0,006).
• Cumulativo vs. Local: Todos os 19 sinais eventualmente alcançaram confirmação cumulativa, ilustrando como a análise cumulativa pode obscurecer o enfraquecimento local. Por exemplo, o sinal MKJ manteve um ROR > 1 em todas as janelas móveis, mas teve um LCL > 1 em apenas 6/21 janelas, demonstrando uma perda de precisão mascarada pelo estimador pontual.
• Casos Ilustrativos: O estudo destacou quatro arquétipos (DTZ, DWF, LOX, MKJ). DTZ, DWF e LOX mostraram alta robustez em todos os testes, enquanto o MKJ demonstrou fragilidade em relação à dependência de fabricante e à precisão móvel, apesar de atender aos critérios de período amplo.

Significância e Alegações
Os autores posicionam este trabalho estritamente como uma demonstração metodológica empírica, não como uma ferramenta de validação, ferramenta de predição ou avaliação de segurança causal.

• Escopo Metodológico: Os achados descrevem a desproporcionalidade de notificação dentro do banco de dados MAUDE, não incidência, risco absoluto, segurança comparativa, causalidade ou predição.
• Implicação Prática: O estudo argumenta que a consistência de período amplo, por si só, não deve ser tratada como um achado estável. Em vez disso, os testes de estresse temporal, de entidade-rótulo e de comparador fornecem informações de sensibilidade complementares necessárias.
• Limitações: Os autores observam explicitamente que as definições do estudo foram congeladas após a revisão de todo o registro de 2020–2025 (não sendo verdadeiramente prospectivo), que o tamanho da amostra para comparações de robustez foi pequeno e que o MAUDE carece de um denominador de exposição. Eles enfatizam que bases de dados de vigilância externa com denominadores de exposição são necessárias para testar a generalização desses achados.

Em conclusão, o artigo afirma que tratar sinais de notificação pós-mercado como achados estáveis requer o teste destes através de diversas especificações analíticas antes da aceitação, pois a positividade de período amplo pode ocultar níveis materialmente diferentes de robustez analítica.