RISED: A Pre-Deployment Safety Evaluation Framework for Clinical AI Decision-Support Systems

Resumo Técnico: RISED – Um Framework de Avaliação de Segurança Pré-Implantação para Sistemas de Apoio à Decisão Clínica com IA

Declaração do Problema
Os paradigmas atuais de avaliação para sistemas de apoio à decisão clínica com IA dependem fortemente de métricas agregadas de precisão (por exemplo, AUROC, pontuação de Brier) derivadas de conjuntos de teste estáticos e retidos. Os autores argumentam que essas métricas falham em detectar falhas críticas na fase de implantação, incluindo instabilidade de confiabilidade de entrada devido a deslocamentos de codificação, degradação da equidade em subgrupos, sensibilidade de limiar e inviabilidade operacional. Citando falhas documentadas, como o Modelo de Sepse da Epic, que passou em benchmarks internos mas falhou na validação externa devido à baixa discriminação e fadiga de alertas, o artigo postula que as ferramentas existentes (por exemplo, AI Fairness 360, Fairlearn, TRIPOD+AI) são projetadas para seleção de modelos estáticos ou relatórios post-hoc, em vez de determinar a prontidão operacional para ambientes clínicos reais.

Metodologia: O Framework RISED
O artigo propõe o Framework RISED, uma abordagem de avaliação pré-implantação em cinco dimensões. Cada dimensão é operacionalizada por meio de subcritérios formais, limites pré-especificados de aprovação/reprovação e intervalos de confiança de 95% bootstrap acelerado corrigido para viés (BCa). Uma correção de Holm-Bonferroni é aplicada para controlar a taxa de erro familiar em múltiplos testes de hipótese. O framework produz três veredictos possíveis por dimensão: APROVADO, REPROVADO ou INCONCLUSIVO (quando o intervalo de confiança abrange o limiar).

As cinco dimensões são:

1. Confiabilidade: Mede a estabilidade da saída sob entradas semanticamente equivalentes, mas codificadas de forma diferente (por exemplo, mudanças de unidade, deslocamentos de granularidade CID).
   • Métrica: Pontuação de Sensibilidade do Juiz (JSS), definida como a média da Taxa de Inversão por Perturbação (PFR) em uma bateria de perturbações.
   • Limiar: JSS < 0,05.
2. Inclusividade: Avalia a consistência do desempenho entre subpopulações demográficas.
   • Métricas: Diferença de Paridade de AUC ($\Delta$AUC) e Erro de Calibração Esperado (ECE) por subgrupo.
   • Limiar: $\Delta$AUC $\le$ 0,05; ECE $\le$ 0,10 para todos os subgrupos.
3. Sensibilidade: Avalia a estabilidade comportamental sob deslocamentos de limiar de decisão, crucial pois os limiares são frequentemente reajustados após a implantação.
   • Métrica: Taxa de Inversão de Limiar (TFR), medindo a fração de pacientes reclassificados quando o limiar se move de um $\tau_0$ de referência.
   • Limiar: TFR Máx $\le$ 0,10 em uma varredura de limiares.
4. Equidade: Testa o alinhamento das previsões com uma medida independente de necessidade clínica, em vez de proxies de utilização que podem codificar disparidades históricas.
   • Métrica: Correlação Necessidade-Predição ($\rho_{need}$) e lacunas de necessidade em nível de grupo.
   • Status: Enquadrado como DIAGNÓSTICO em vez de um veredito de bloqueio. Se o veredito mudar com base na escolha do proxy de necessidade (por exemplo, rótulo de desfecho vs. Índice de Comorbidade de Charlson), isso aciona um requisito para uma medida de necessidade independente de desfecho antes da implantação.
5. Implantabilidade: Avalia a viabilidade operacional, incluindo latência de inferência e fidelidade da explicação.
   • Métricas: Latência média de inferência ($\Lambda$) e Fidelidade da Explicação ($F_{expl}$), medindo se as características localmente importantes se alinham com as globalmente importantes.
   • Limiar: $\Lambda \le$ 500 ms por coorte; $F_{expl} \ge$ 0,50.

Resultados Experimentais
O framework foi aplicado a uma coorte sintética de 10.000 pacientes e a três coortes do mundo real abrangendo 35 anos de antiguidade dos dados: a coorte de Doença Cardíaca do UCI (1989), a coorte de Diabetes 130-US Hospitals do UCI (1999–2008) e a Pesquisa Nacional de Entrevistas de Saúde (NHIS) de 2024 do NCHS.

• Coorte Sintética (XGBoost, AUROC 0,961): Apesar da alta discriminação agregada, o modelo REPROVOU nas dimensões Confiabilidade (JSS = 0,064) e Sensibilidade (TFR Máx = 19,9%). A dimensão Inclusividade foi INCONCLUSIVA ($\Delta$AUC = 0,059, IC [0,042, 0,066]). A Equidade foi DIAGNÓSTICA, mostrando uma inversão de veredito entre o proxy de rótulo de desfecho (APROVADO) e o proxy de Índice de Comorbidade de Charlson (REPROVADO). A Implantabilidade foi APROVADA.
• Coortes do Mundo Real:
  • Doença Cardíaca do UCI (n=303): Confiabilidade e Inclusividade foram INCONCLUSIVAS devido a tamanhos de amostra pequenos; Sensibilidade REPROVOU.
  • Diabetes 130 do UCI (n=99.492): Confiabilidade foi APROVADA (JSS = 0,0004), mas Inclusividade ($\Delta$AUC = 0,262) e Sensibilidade (TFR Máx = 49,1%) REPROVARAM decisivamente. A Equidade permaneceu DIAGNÓSTICA com discordância de proxy.
  • NHIS 2024 (n=9.747): Confiabilidade foi APROVADA (JSS = 0,011), enquanto Inclusividade ($\Delta$AUC = 0,328) e Sensibilidade (TFR Máx = 22,5%) REPROVARAM.
• Robustez Multi-Modelo: Quando testado com Regressão Logística e Floresta Aleatória na coorte sintética, as falhas de Inclusividade e Sensibilidade persistiram (baseadas em dados), enquanto as falhas de Confiabilidade foram dependentes do modelo (XGBoost reprovou; os demais aprovaram).
• Comparação com Fairlearn: O Fairlearn identificou disparidades entre subgrupos, mas falhou em detectar instabilidade de perturbação de entrada, sensibilidade de limiar ou desalinhamento de equidade baseado em necessidade, destacando o escopo mais amplo do RISED.

Contribuições Principais

1. Definição do Framework: Organiza a literatura existente em um framework pré-implantação de cinco dimensões específico para apoio à decisão clínica, indo além da seleção estática de modelos.
2. Portões Quantitativos: Substitui listas de verificação qualitativas por subcritérios formais, intervalos de confiança bootstrap de 95% e regras de decisão explícitas de APROVADO/REPROVADO/INCONCLUSIVO.
3. Validação Empírica: Demonstra que um modelo com alto AUROC pode falhar simultaneamente nos testes de estabilidade de codificação de entrada e sensibilidade a deslocamento de limiar, um padrão validado em coortes sintéticas e em três coortes distintas do mundo real.
4. Reenquadramento da Equidade: Reenquadra a dimensão Equidade como um "diagnóstico de dependência de proxy", expondo explicitamente questões de validade de constructo quando proxies de necessidade são derivados de dados de utilização, exigindo assim a obtenção de medidas de necessidade independentes de desfecho.
5. Implementação de Código Aberto: Lança o pacote Python rised, fornecendo os veredictos quantitativos exigidos pelos padrões de relatórios existentes (TRIPOD+AI, MI-CLAIM, FUTURE-AI).

Significado e Alegações
O artigo alega que o RISED fornece uma "porta de entrada principista" entre a validação de modelos in-silico e a avaliação clínica em ensaios silenciosos. Argumenta que métricas agregadas sozinhas são insuficientes para detectar riscos de implantação, como instabilidade de codificação e sensibilidade de limiar. O framework é posicionado não como um mandato regulatório, mas como um gerador estruturado de evidências numéricas que pode preencher submissões de Plano de Controle de Mudanças Predeterminado (PCCP) da FDA, divulgações de gerenciamento de riscos ONC HTI-1 e arquivos técnicos do Ato de IA da UE. Os autores afirmam que o framework destina-se a "provocar trabalho empírico" sobre calibração de limiares e que, embora um APROVADO no RISED seja necessário para a implantação, não é suficiente, pois não aborda governança de implementação ou confiança do clínico. Os resultados fornecem evidências preliminares de validade de constructo, mostrando que diferentes dimensões falham de forma diferencial entre coortes e classes de modelos, sugerindo que a prontidão para implantação é uma propriedade multifacetada não capturada por benchmarks de métrica única.