Learning Under Treatment-Induced Label Indeterminacy with Expert Annotations of Counterfactual Outcomes: A Case Study in Neurological Prognostication

Resumo Técnico: Aprendizado sob Indeterminação de Rótulo Induzida por Tratamento

Formulação do Problema
O artigo aborda uma limitação fundamental na modelagem de predição clínica conhecida como indeterminação de rótulo induzida por tratamento. Na aprendizagem supervisionada padrão, assume-se que o desfecho alvo é observadamente limpo para cada paciente. No entanto, em cenários de alto risco como a prognosticação neurológica pós-parada cardíaca, decisões de tratamento (especificamente a suspensão ou limitação de terapias de suporte à vida, WLST) ou eventos terminais concorrentes (ex: falência de múltiplos órgãos) podem obscurecer permanentemente o desfecho clinicamente relevante (recuperação neurológica).

Isso cria um conjunto de dados dividido em dois subconjuntos distintos:

1. Casos Certos: Pacientes cujos desfechos são diretamente observados (ex: recuperar a consciência ou morte sem limitação prévia de tratamento). Estes fornecem rótulos supervisionados válidos.
2. Casos Incertos: Pacientes cujos desfechos foram tornados indeterminados por decisões de tratamento. Para estes pacientes, o "verdadeiro" desfecho contrafactual (o que teria acontecido se o tratamento tivesse continuado) é inobservável.

O desafio central é que métricas de avaliação padrão (como AUROC) computadas apenas em casos certos falham em capturar o comportamento do modelo nos casos incertos — a própria população para a qual o suporte prognóstico é mais crítico. Além disso, estratégias que atribuem aos casos incertos o mesmo rótulo de desfechos ruins observados (ex: morte) fazem com que os modelos aprendam padrões de tomada de decisão médica (quando ocorre a WLST) em vez do verdadeiro potencial de recuperação.

Metodologia
Os autores propõem um framework que distingue explicitamente entre casos certos e incertos durante tanto o treinamento quanto a avaliação, utilizando avaliações de especialistas para guiar o processo de aprendizado para os casos incertos.

• Dados e Avaliações de Especialistas: O estudo utiliza uma coorte retrospectiva de 2.497 pacientes pós-parada cardíaca (1.068 certos, 1.429 incertos). Para os casos incertos, os autores utilizam avaliações contrafactuais estruturadas de especialistas clínicos independentes (3 a 5 por paciente). Estas avaliações de especialistas são tratadas como pseudo-rótulos imperfeitos (referências informadas por especialistas) em vez de verdade fundamental (ground truth).
• Arquitetura do Modelo: O modelo primário é uma rede neural de cabeça única projetada para prever a probabilidade de recuperação neurológica favorável.
• Objetivo de Treinamento: Os autores introduzem uma função de objetivo de dois parâmetros para controlar o equilíbrio entre o ajuste aos dados observados e o alinhamento com as crenças dos especialistas:
  • $L_{certain}$: Entropia cruzada binária ponderada nos casos certos. Um peso $\omega_{bad} \ge 1$ é aplicado aos casos de desfecho ruim observados para controlar a influência da região de baixa probabilidade.
  • $L_{align}$: Um termo de erro quadrático médio nos casos incertos, medindo a diferença entre a predição do modelo e a probabilidade agregada derivada do especialista ($\tilde{p}_j$). Um hiperparametro $\lambda_{align} \ge 0$ controla a força deste alinhamento.
  • Perda Total: $L(\theta) = L_{certain}(\theta) + \lambda_{align} L_{align}(\theta)$.
• Framework de Avaliação: O artigo propõe uma estratégia de avaliação dividida (split evaluation):
  • Casos Certos: Avaliados usando métricas padrão (AUROC e escore de Brier) contra desfechos binários observados.
  • Casos Incertos: Avaliados usando Erro Médio Absoluto (MAE) contra as probabilidades de referência agregadas dos especialistas.
  • Análise de Tradeoff: Os modelos não são selecionados com base em um único escalar métrico, mas são analisados ao longo da fronteira do tradeoff entre a precisão da probabilidade de casos certos (escore de Brier) e o alinhamento de casos incertos (MAE).

Principais Contribuições

1. Formalização da Indeterminação de Rótulo: O artigo formaliza a modelagem preditiva onde os rótulos alvo diferem qualitativamente entre subconjuntos da população (desfechos observados vs. palpites contrafactuais de especialistas).
2. Framework de Avaliação Dividida: Introduz um framework que avalia modelos em dois eixos: discriminação/precisão padrão em casos certos e alinhamento com a crença do especialista em casos incertos. Isso revela modos de falha ocultos por métricas agregadas.
3. Caracterização Empírica de Tradeoffs: Através de experimentos com baselines tabulares (XGBoost, Random Forest) e redes neurais, os autores demonstram que modelos com AUROC semelhantes em casos certos podem exibir comportamentos vastamente diferentes em casos incertos.
4. Controle Explícito de Tradeoff: O objetivo neural de dois parâmetros proposto ($\omega_{bad}$ e $\lambda_{align}$) permite que os praticantes naveguem explicitamente pelo tradeoff entre o ajuste aos desfechos observados e o alinhamento com as crenças contrafactuais dos especialistas.

Resultos

• A Lacuna Oculta: Modelos com quase idênticos AUROC em casos certos (ex: 0,882 vs. 0,884) mostraram diferenças dramáticas nos escores de Brier de casos certos (0,116 vs. 0,407) e no MAE de casos incertos (0,410 vs. 0,053). Isso indica que o desempenho de ranking (AUROC) mascara uma descalibração significativa nas estimativas de probabilidade.
• A Fronteira de Tradeoff: Melhorar o alinhamento com os palpites dos especialistas em casos incertos (reduzir o MAE de casos incertos) geralmente ocorre às custas de uma pior precisão de probabilidade em casos certos (maior escore de Brier).
• Posicionamento de Probabilidade: Modelos padrão de "apenas observados" atribuíram probabilidades de recuperação relativamente altas aos casos incertos, sobrepondo-se significamente aos casos "certos bons". A incorporação do alinhamento com especialistas deslocou as predições dos casos incertos para baixo, separando-os melhor dos desfechos favoráveis, porém comprimindo a escala de probabilidade.
• Comparação com Baselines: Baselines tabulares (XGBoost) exibiram o mesmo padrão de tradeoff que as redes neurais, sugerindo que o fenômeno é impulsionado pela estrutura do rótulo e não pelo modelo específico.

Significância e Alegações
O artigo posiciona-se primariamente como uma formulação de problema e um framework de avaliação, em vez de uma contribuição algorítmica novel. Sua principal significância reside em demonstrar que:

• Métricas de avaliação convencionais focadas apenas em casos certos são insuficientes em cenários com indeterminação de rótulo induzida por tratamento.
• O "modo de falha" nestes cenários é frequentemente o posicionamento de probabilidade incorreto (descalibração) na subpopulação mais crítica (casos incertos), o que é invisível para o AUROC.
• Não existe um único "melhor" modelo; em vez disso, há uma escolha de design explícita sobre quanto peso atribuir aos desfechos observados versus às crenças contrafactuais dos especialistas.
• Os palpites de especialistas sobre desfechos contrafactuais, embora imperfeitos, servem como supervisão necessária para estudar e melhorar o comportamento do modelo em casos incertos.

Os autores declaram explicitamente que não pretendem recuperar as verdadeiras probabilidades de desfecho contrafactual ou resolver a indeterminação de rótulo de forma geral. Em vez disso, fornecem um método para usar avaliações de especialistas cuidadosamente elicitadas para tornar o tradeoff entre o desempenho observado e o alinhamento contrafactual explícito e navegável para os praticantes.