Resumo Técnico: Além da Distribuição de Treinamento: Avaliando Predições sob Mudança de Distribuição e Viés de Seleção

Declaração do Problema

Modelos de aprendizado de máquina frequentemente degradam ao serem implantados em novos ambientes devido a dois desafios primários, frequentemente coexistentes: mudança de covariável (covariate shift) e rótulos seletivos (selective labels).

• Mudança de Covariável (Covariate Shift): A distribuição marginal das características de entrada ($P(X)$) difere entre as populações de treinamento (fonte) e implantação (alvo), enquanto a relação condicional entre características e resultados ($P(Y|X)$) permanece estável. A avaliação padrão em um conjunto de teste mantido (held-out) pode ocultar a degradação do desempenho se os erros estiverem concentrados em regiões de características comuns no ambiente de destino, mas raras no ambiente de origem.
• Rótulos Seletivos (Selective Labels): Em domínios de alto risco (ex: saúde, concessão de crédito), os rótulos de resultados são observados apenas para indivíduos selecionados por uma política de decisão prévia (ex: pacientes que recebem um teste diagnóstico). Isso induz o viés de seleção, pois os rótulos observados são extraídos de um subconjunto dependente da decisão, tornando os dados de treinamento um reflexo impreciso da população total de implantação.

A literatura existente aborda esses problemas isoladamente. Este artigo estuda a presença conjunta de mudança de covariável e rotulagem seletiva, um cenário comum na tomada de decisão clínica, onde modelos treinados em grupos demográficos específicos são implantados em populações diversas, mas os resultados são observados apenas para pacientes que passam por protocolos clínicos específicos. O problema central é avaliar o risco alvo (perda esperada no ambiente de implantação) de um modelo preditivo arbitrário de caixa-preta quando os resultados alvo não são observados e os resultados da fonte são observados seletivamente.

Metodologia

1. Formalização e Identificação do Problema

Os autores definem o risco alvo $\psi$ como a perda esperada na população alvo:
$$\psi := E_T [\ell(f(X), Y)]$$
onde $f$ é um preditor de caixa-preta fixo e $\ell$ é uma função de perda geral.

Para identificar $\psi$ a partir de dados observáveis, o artigo baseia-se em quatro suposições padrão:

1. Seleção sobre Observáveis (Fonte): Condicionalmente às covariáveis $X$, a observabilidade do rótulo $D$ é independente do resultado $Y$ na população de origem ($Y \perp\!\!\!\perp D \mid X, R=1$).
2. Mudança de Covariável: A distribuição condicional de resultados dados as características é invariante entre domínios ($P_S(Y|X) = P_T(Y|X)$).
3. Positividade: Cada perfil de covariável tem uma probabilidade positiva de ser observado na população de origem.
4. Razão de Verossimilhança Limitada: A razão de densidade entre as distribuições alvo e fonte é limitada.

Sob essas suposições, o risco alvo é identificado via duas expressões equivalentes (Proposição 3.5):

1. Expectativa Alvo: $\psi = E_T [\mu(X)]$, onde $\mu(X) = E[\ell(f(X), Y) \mid X, R=1, D=1]$ é a perda esperada condicional na origem.
2. Expectativa da Fonte com Correções: $\psi = E_S \left[ \frac{p_T(X)}{p_S(X)} \cdot \frac{D}{\pi_S(X)} \cdot \ell(f(X), Y) \right]$, onde $\frac{p_T(X)}{p_S(X)}$ corrige a mudança de covariável e $\frac{D}{\pi_S(X)}$ corrige os rótulos seletivos via ponderação de propensão inversa.

2. Função de Influência Eficiente (EIF)

Os autores derivam a Função de Influência Eficiente (EIF) para o estimando do risco alvo (Proposição 3.6). A EIF, $\phi(Z; P)$, combina sinais tanto das distribuições de origem quanto da alvo:
$$\phi(Z; P) = \frac{R D}{\pi(X)} \frac{g(X)}{\rho} (L - \mu(X)) + \frac{1-R}{\rho} (\mu(X) - \psi)$$
onde:

• $R$ é o indicador de domínio (1 para origem, 0 para alvo).
• $D$ é o indicador de observabilidade do rótulo.
• $\pi(X)$ é a pontuação de propensão combinada.
• $g(X)$ é a pontuação de propensão de domínio.
• $\rho$ é a proporção da população alvo.
• $L$ é a perda observada.

O primeiro termo representa uma correção de resíduo para unidades da origem rotuladas, ponderadas para serem transportadas para a distribuição alvo. O segundo termo é um estimador plug-in para unidades alvo não rotuladas, centrado pelo risco alvo.

3. Estimador de Aprendizado de Máquina Duplo (DML)

Aproveitando a EIF, o artigo propõe um estimador de Aprendizado de Máquina Duplo (DML) (Equação 7):
$$\hat{\psi} = \frac{1}{n} \sum_{i=1}^n \left[ \frac{R_i D_i}{\hat{\pi}(X_i)\hat{g}(X_i)} (L_i - \hat{\mu}(X_i)) + \frac{1-R_i}{\hat{\rho}} \hat{\mu}(X_i) \right]$$
As principais características deste estimador incluem:

• Correção de Viés: Utiliza a estrutura da EIF para corrigir vieses de primeira ordem decorrentes de erros na estimativa das funções de incômodo (nuisance functions) ($\mu, \pi, g$).
• Divisão de Amostra/Cross-fitting: As funções de incômodo são estimadas em uma amostra auxiliar independente da amostra de avaliação para garantir a normalidade assintótica.
• Robustez: O estimador é semiparamétrico eficiente e $\sqrt{n}$-consistente, desde que os estimadores de incômodo convirjam a uma taxa de $o_p(n^{-1/4})$. Isso permite o uso de métodos de aprendizado de máquina não paramétricos flexíveis (ex: florestas aleatórias, redes neurais) para a estimativa de incômodo sem exigir taxas paramétricas.

Principais Resultados

Garantias Teóricas

O artigo prova que o proposto estimador DML é assintoticamente linear e semiparametricamente eficiente (Teorema 3.7). Isso implica:

• O estimador converge para o verdadeiro risco alvo a uma taxa de $\sqrt{n}$.
• O estimador é assintoticamente normal, permitendo a construção de intervalos de confiança do tipo Wald válidos para a avaliação de risco pré-implantação.
• O estimador permanece consistente mesmo se as funções de incômodo forem estimadas com modelos de alta dimensão ou complexos, desde que o produto de seus erros seja negligenciável.

Avaliação Empírica

Os autores avaliam o método utilizando o eICU Collaborative Research Database (mais de 200.000 admissões em UTI) e experimentos semissintéticos.

• Experimentos Semissintéticos: Usando covariáveis reais do eICU com resultados simulados e observabilidade de rótulo, o estimador DML demonstrou o menor viés e o menor RMSE em comparação com:
  • Um estimador Plug-in ingênuo (reponderando tanto para mudança de distribuição quanto para seleção).
  • Um estimador apenas de Mudança de Covariável (CS) (ignorando o viés de seleção).
  • Um estimador apenas de Rótulos Seletivos (SL) (ignorando a mudança de covariável).
  • Os resultados mostraram que abordar apenas uma fonte de viés leva a uma representação errônea sistemática do risco de implantação, especialmente conforme a força da seleção aumenta.
• Experimentos do Mundo Real: Aplicado a quatro desfechos clínicos (BNP, Troponina-I, CK, Hipoxemia) onde os rótulos são observados apenas quando testes laboratoriais específicos são solicitados. O estimador DML produziu estimativas de risco que diferiram significativamente dos baselines em vários hospitais, destacando que ignorar a natureza conjunta de mudança e seleção pode levar à subestimação ou superestimação do risco do modelo em novos contextos clínicos.
• Testes de Robustez: O estimador mostrou robustez razoável a violações das suposições de positividade e de razão de verossimilhança limitada. No entanto, como esperado, o desempenho degradou sob violações de seleção sobre observáveis (confundimento não observado) e mudança condicional de resultado, embora tenha permanecido competitivo com outros marcos de referência.

Significância e Alegações

O artigo afirma ser o primeiro a formalizar e fornecer uma solução para avaliar preditores de caixa-preta sob a presença simultânea de mudança de covariável e rotulagem seletiva.

• Impacto Prático: O trabalho fornece um arcabouço rigoroso para a avaliação pré-implantação em domínios de alto risco como a saúde, onde modelos são frequentemente treinados em uma população, mas implantados em outra, e onde os dados de desfecho são inerentemente incompletos devido aos processos de decisão clínica.
• Contribuição Metodológica: Ao estabelecer a identificação do risco alvo e derivar a função de influência eficiente, o artigo preenche a lacuna entre a literatura de mudança de distribuição e a literatura de rótulos seletivos. Demonstra que a inferência válida é possível mesmo quando os rótulos alvo são inteiramente não observados e os rótulos da fonte são enviesados.
• Equidade e Segurança: Os autores enfatizam que falhar em considerar esses desafios conjuntos pode representar sistematicamente mal o desempenho do modelo para subpopulações sub-representadas, potencialmente perpetuando inequidades. Seu método permite que os profissionais avaliem propriedades de equidade e segurança de forma mais precisa antes da implantação.
• Aplicabilidade Ampla: Embora focado em contextos clínicos, o arcabouço é aplicável a qualquer domínio envolvendo modelos de fundação ou LLMs onde o feedback é observado seletivamente e as distribuições de implantação diferem das distribuições de treinamento.

Os autores mantêm uma postura modesta, reconhecendo que a identificação depende de suposições substantivas (ex: seleção sobre observáveis) que podem falhar na prática (ex: se as decisões clínicas dependerem de gravidade não medida). Eles sugerem que, embora seu método ofereça tolerância a pequenas violações, trabalhos futuros podem focar em relaxar essas suposições ou usar coleta de dados adaptativa.