A Statistical Framework for Data-Driven Discovery of Differential Performance in Clinical Risk Prediction Models

Resumo Técnico: Uma Estrutura Estatística para a Descoberta de Desempenho Diferencial em Modelos de Predição de Risco Clínico Baseada em Dados

Definição do Problema
O artigo aborda o desafio de detectar e caracterizar o desempenho diferencial em instrumentos de avaliação de risco (RAIs) clínicos entre subpopulações. Embora modelos preditivos baseados em IA e aprendizado de máquina sejam cada vez mais utilizados para suporte à decisão clínica, eles podem exibir disparidades de desempenho entre grupos definidos por raça, idade, sexo ou outras características interseccionais. Os métodos existentes de avaliação de equidade (fairness) tipicamente exigem que o usuário final pré-especifique os grupos demográficos para avaliação. Essa abordagem corre o risco de negligenciar disparidades em subgrupos menos óbvios ou complexos, definidos por interações de ordem superior de covariáveis (por exemplo, combinações específicas de idade, sexo e histórico clínico). Os autores definem "equidade" neste contexto como a ausência de evidência estatística de desempenho diferencial do modelo, focando especificamente na descalibração (discrepâncias entre o risco previsto e os desfechos observados).

Metodologia: A Árvore de Inequidade (utree)
Os autores propõem a árvore de inequidade (utree), uma estrutura de partição recursiva baseada em dados projetada para identificar subgrupos com discrepâncias preditivas heterogêneas sem a necessidade de pré-especificar definições de grupo.

• Algoritmo Central: A utree adapta a estrutura da árvore de inferência condicional (ctree). Ao contrário dos algoritmos CART padrão, as ctrees separam a seleção de variáveis da seleção do ponto de divisão para evitar o viés em direção a variáveis contínuas.
• Estatística de Discrepância: Em cada nó, o algoritmo testa o desempenho diferencial usando uma estatística derivada do teste de Kolmogorov–Smirnov (KS). Esta estatística compara duas funções de distribuição cumulativa (CDF) empíricas ponderadas de uma covariável candidata $Z_j$: uma ponderada pelos desfechos observados (ou desfechos potenciais) e outra pelos riscos previstos.
  • A estatística de teste é $T_j = \sup_z | \hat{F}_j(z; w_Y) - \hat{F}_j(z; w_{\hat{s}}) |$, onde $w_Y$ e $w_{\hat{s}}$ são pesos definidos pelos desfechos e previsões, respectivamente.
  • Sob a hipótese nula de calibração condicional, as distribuições ponderadas são idênticas. A rejeição indica que a distribuição dos desfechos difere das previsões ao longo dos valores de $Z_j$.
• Estrutura Contrafactual: Para abordar o viés induzido pelo tratamento (onde as previsões do modelo influenciam as decisões de tratamento, alterando assim os desfechos observados), o método emprega uma estrutura de avaliação contrafactual. Ele estima desfechos potenciais sob uma condição de referência ($Y^0$) usando estimadores duplamente robustos (combinando regressão de desfecho e modelagem de escore de propensão). A discrepância é então calculada entre os riscos previstos e esses desfechos contrafactuais.
• Partição Recursiva: O algoritmo procede em duas etapas por nó:
  1. Seleção de Variável: Computa estatísticas de teste para todas as covariáveis candidatas e seleciona aquela com o menor p-valor empírico (ajustado para multiplicidade).
  2. Seleção do Ponto de Divisão: Identifica o ponto de divisão para a variável selecionada que maximiza a magnitude da estatística de teste.
• Flexibilidade: A estrutura pode ser estendida para outras métricas de desempenho (ex: taxa de verdadeiros positivos, precisão) modificando as funções de ponderação $w(a)$ e $w(b)$ na formulação da estatística KS.

Principais Contribuições

1. Descoberta de Subgrupos Baseada em Dados: A utree elimina a necessidade de subgrupos pré-especificados, permitindo a descoberta de disparidades em populações complexas e interseccionais definidas por múltiplas covariáveis.
2. Calibração Contrafactual: Integra métodos de inferência causal para distinguir entre descalibração real do modelo e viés induzido pelo tratamento, uma distinção crítica em contextos clínicos onde os modelos informam o tratamento.
3. Validade Estatística: O método utiliza árvores de inferência condicional e p-valores baseados em permutação para controlar as taxas de erro do Tipo I, apesar da natureza adaptativa da partição recursiva.
4. Interpretabilidade: A estrutura de árvore resultante fornece um mapa interpretável de como combinações de características clínicas se relacionam com o desempenho diferencial.

Resultados

• Estudos de Simulação:

  • Controle de Erro do Tipo I: Sob o cenário nulo (sem desempenho diferencial), a probabilidade de selecionar uma divisão permaneceu próxima ao nível nominal (ex: 0,048 com $N=10^3$), demonstrando controle eficaz de erro.
  • Poder e Recuperação: O método mostrou poder crescente para detectar discrepâncias conforme o tamanho da amostra e a severidade aumentavam. Ele recuperou com sucesso as variáveis verdadeiras e as interações que impulsionam a inequidade, com taxas de recuperação subindo de 0,06 para 0,92 em cenários de grande descalibração com $N=10^3$.
  • Precisão de Estimativa: As estimativas de discrepância por folha exibiram pequeno viés que diminuiu com o tamanho da amostra, indicando aproximadamente a ausência de viés.
  • Eficiência Computacional: Os tempos de ajuste escalaram previsivelmente com o tamanho da amostra, permanecendo viáveis mesmo para $N=10^5$ (menos de 4 minutos).

• Aplicação em Dados Reais (Ensaio GUSTO-I):

  • A estrutura foi aplicada a seis modelos de risco de mortalidade (incluindo regressão logística, GAM e random forest) usando dados de 30.510 pacientes com infarto agudo do miocárdio.
  • Drivers Consistentes: Entre modelos e métricas (calibração, taxa de verdadeiros positivos, precisão), idade, sexo, pressão arterial sistólica e classe Killip foram consistentemente identificados como variáveis fundamentais que definem subgrupos com desempenho diferencial.
  • Dependência de Métrica: As estruturas de subgrupos específicas identificadas variaram dependendo da métrica de desempenho escolhida. Por exemplo, as árvores baseadas em calibração identificaram subgrupos com subprevisão significativa (ex: pacientes não residentes nos EUA com tempo prolongado para alívio do tratamento), enquanto as árvores de TPR e precisão destacaram padrões estruturais diferentes.
  • Validação: A validação fora da amostra em um conjunto de teste mantido confirmou que muitos padrões de desempenho de subgrupos eram reproduzíveis, particularmente quando um tamanho mínimo de folha terminal de $n \ge 50$ era aplicado.

Significância e Alegações
O artigo alega que a utree fornece uma abordagem fundamentada, estatisticamente válida e interpretável para detectar descalibração específica de subgrupo em modelos de risco clínico. Ao ir além das categorias demográficas pré-definidas, ela aborda uma limitação fundamental nas avaliações atuais de equidade de IA, que podem perder disparidades em populações complexas e interseccionais. Os autores enfatizam que o método identifica o desempenho diferencial do modelo em vez de uma inequidade algorítmica definitiva, observando que esta última depende de considerações éticas e clínicas mais amplas. A estrutura é apresentada como uma ferramenta para descoberta exploratória e caracterização de disparidades de desempenho, com a ressalva de que as estimativas contrafactuais dependem de suposições causais padrão (positividade, consistência, ausência de confusão não medida) e são mais convincentes em ambientes randomizados ou onde essas suposições são plausíveis. Os autores reconhecem que, embora o método controle as taxas de erro em cada nó, garantias teóricas formais para a estabilidade da estrutura final da árvore e para a inferência seletiva dos subgrupos descobertos permanecem questões abertas para pesquisas futuras.