PROACTIVE-AI: An Intelligent Dashboard for Assessing and Predicting of FDA-approved AI Software Performance in Real-World Clinical Scenarios

Resumo Técnico: Dashboard PROACTIVE-AI

Problema
A rápida proliferação de dispositivos médicos habilitados por Inteligência Artificial/Aprendizado de Máquina (IA/ML) aprovados pelo FDA superou o desenvolvimento de mecanismos robustos de vigilância pós-mercado. Embora mais de 1.300 dispositivos de IA/ML tenham sido aprovados pelo FDA até julho de 2025, o arcabouço regulatório permanece amplamente passivo, dependendo do relato voluntário de eventos adversos pelos fabricantes em vez de um rastreamento de risco proativo. Isso cria um "ponto cego" em relação ao desempenho do dispositivo em ambientes clínicos do mundo real. Os principais desafios incluem práticas inconsistentes de avaliação pré-mercado, uma dependência excessiva de estudos retrospectivos de site único e a falta de dados sistemáticos de pós-mercado. Além disso, a natureza fundamental dos produtos de IA/ML difere dos dispositivos de hardware tradicionais; ao contrário de ferramentas estáticas (ex: stents), os modelos de IA podem se adaptar e mudar de comportamento com base em dados do mundo real, tornando seu desempenho na aprovação potencialmente distinto de seu desempenho anos depois. Os atuais marcos regulatórios carecem de mecanismos padronizados para detectar, relatar ou abordar essas mudanças pós-implantação, levando a lacunas na segurança do paciente, transparência e responsabilidade.

Metodologia
Para abordar essas lacunas, os autores desenvolveram o PROACTIVE-AI (Predictive Real-world Oversight, Assessment, Compliance, TrackIng, and surVEillance of AI), um dashboard interativo baseado na web. O sistema integra e analisa um conjunto de dados de aproximadamente 1.303 dispositivos de IA/ML aprovados pelo FDA entre 1995 e 2025. A metodologia compreende três componentes primários:

1. Curadoria e Pré-processamento de Dados:

   • O conjunto de dados combina dados de resumo de decisão do FDA com registros de recall obtidos de Lee et al. [14].
   • Para harmonizar os dados, os autores reconciliaram discrepâncias estruturais entre os conjuntos de dados de dispositivos com recall (82 atributos) e sem recall (21 atributos). Variáveis categóricas codificadas via one-hot encoding foram reconstruídas e atributos ausentes foram introduzidos com valores de preenchimento (placeholders).
   • Valores ausentes no conjunto de dados combinado foram imputados utilizando um modelo de linguagem de grande escala (GEMINI-3.1-PRO) via prompts estruturados para extrair atributos-chave.
   • O conjunto de dados unificado final incluiu 1.243 dispositivos sem recall (Classe 1) e 59 dispositivos com recall (Classe 0), particionados em conjuntos de treinamento, validação e teste independente usando amostragem estratificada.

2. Módulos do Dashboard Interativo:

   • Grafo de Conhecimento (Knowledge Graph): Uma visualização de rede usando D3.js que mapeia as relações de predicação entre dispositivos. Os nós representam dispositivos, codificados por cores conforme o painel clínico e escalonados pelo número de descendentes. Permite que os usuários explorem a linhagem do dispositivo, conexões de fabricantes e densidade da rede.
   • Painel de Análise Temporal: Um módulo longitudinal que visualiza tendências ao longo de trimestres e períodos de cinco anos. Rastreia volumes de aprovação, taxas de recall, prevalência de ensaios clínicos e mudanças na arquitetura de IA (ex: de não especificada para deep learning) e especialidades clínicas. Também anota marcos regulatórios para fornecer contexto aos desvios observados.

3. Ferramenta de Avaliação de Risco Baseada em IA:

   • Arquitetura do Modelo: Um classificador de gradient boosting CatBoost foi desenvolvido para distinguir entre dispositivos com e sem recall. O CatBoost foi selecionado por sua capacidade de lidar nativamente com variáveis categóricas e seu desempenho em dados tabulares estruturados.
   • Estratégia de Treinamento: O modelo abordou o desequilíbrio de classes usando pesos de classe (class weights). Foi treinado com 287 iterações de boosting, uma taxa de aprendizado de 0,03 e profundidade de árvore de 6.
   • Validação: A robustez foi avaliada via validação cruzada estratificada de 5 dobras e 5 repetições. Um conjunto de teste independente (n=261) foi retido para avaliação final.
   • Interpretabilidade: Explicações SHAP (SHapley Additive exPlanations) foram usadas para quantificar as contribuições das características, e a Aproximação e Projeção de Variedade Uniforme (Uniform Manifold Approximation and Projection - UMAP) foi aplicada para visualizar a separabilidade dos agrupamentos (clusters) de recall vs. não-recall em um espaço de dimensão reduzida.

Principais Resultados

• Visualização do Dashboard: O Grafo de Conhecimento mapeou com sucesso 1.780 nós e 2.224 arestas representando as relações de predicação dos 1.303 dispositivos. O painel de Análise Temporal identificou com sucesso tendências longitudinais, incluindo o aumento de dispositivos cardiovasculares e a transição para arquiteturas explícitas de deep learning.
• Desempenho do Modelo:
  • Validação Cruzada: O classificador CatBoost alcançou uma média de ROC-AUC de 0,993 ± 0,014 e uma média de PR-AUC de 0,967 ± 0,042 através de dobras repetidas, demonstrando desempenho preditivo estável.
  • Teste Independente: No conjunto de teste retido, o modelo alcançou um ROC-AUC de 0,961 e um PR-AUC de 0,886.
  • Métricas de Classificação: O modelo alcançou uma acurácia geral de 98,1%. Para a classe minoritária (dispositivos com recall), alcançou precisão de 0,769, revocação (recall) de 0,833 e um F1-score de 0,800, indicando identificação eficaz de dispositivos de alto risco apesar do desequilíbrio de classes.
• Importância das Características (Análise SHAP):
  • As três características mais influentes para prever o risco de recall foram: Número de Ensaios Clínicos (Pacientes não imagens), Empresa e Contagem de Predicados.
  • Números mais altos de pacientes em ensaios clínicos foram fortemente associados a resultados sem recall.
  • Contagens menores de predicados foram fortemente associadas a previsões de recall, sugerindo que dispositivos com menos predecessores estabelecidos (algoritmos novos) carregam maior risco.
  • A visualização UMAP confirmou uma forte separação entre os agrupamentos de recall e não-recall, sustentando a capacidade discriminatória do modelo.

Significância e Alegações
O artigo alega que o PROACTIVE-AI fornece um arcabouço quantitativo estruturado para avaliar o desempenho antecipado e o risco de recall de dispositivos de IA aprovados pelo FDA em cenários do mundo real. Ao converter dados regulatórios históricos em escores de risco prospectivos, a ferramenta visa reduzir o "hiato de confiança" em torno da IA na saúde.

Os autores enfatizam que seus achados validam e estendem o trabalho descritivo anterior (especificamente Lee et al. [14]), movendo-se da caracterização retrospectiva para a predição prospectiva. O estudo confirma que a falta de validação clínica e o uso de cadeias de predicação novas são sinais robustos de falha pós-mercado. O dashboard é apresentado como um recurso para clínicos, reguladores e pesquisadores tomarem decisões informadas sobre a implantação de dispositivos e para priorizar a vigilância pós-mercado de dispositivos de alto risco, aumentando assim a segurança do paciente e a responsabilidade sem inventar novos mandatos regulatórios.