Distributionally Robust Transfer Learning with Structurally Missing Covariates, with Application to Cross-National Cardiac Arrest Prediction

Resumo Técnico: Aprendizado de Transferência Robusto Distribucionalmente com Covariáveis Estruturalmente Ausentes

Declaração do Problema
O artigo aborda um desafio crítico na implantação de modelos de previsão clínica em diversos sistemas de saúde: o cenário em que um modelo treinado em um ambiente "fonte" de alto recurso depende de um conjunto rico de covariáveis $(X, A)$, mas o ambiente de implantação "alvo" carece completamente de covariáveis específicas e altamente preditivas $A$ devido a diferenças estruturais na infraestrutura de coleta de dados. Diferentemente dos dados faltantes padrão, onde observações individuais estão incompletas, esta "ausência estrutural" representa uma ausência de variáveis em nível populacional. Além disso, o domínio alvo frequentemente carece de dados de resultados rotulados, o que impede a adaptação supervisionada ou o re-treinamento.

As abordagens existentes falham neste cenário. Métodos de imputação exigem suposições não testáveis sobre a distribuição de $A$ no domínio alvo. Correções de deslocamento de covariáveis (por exemplo, ponderação por importância) apenas abordam diferenças nas variáveis observadas $X$ e não podem recuperar informações perdidas pela ausência de $A$. A otimização robusta distribucionalmente (DRO) padrão geralmente constrói conjuntos de incerteza sobre a distribuição conjunta de todas as variáveis, o que é excessivamente conservador e falha em distinguir entre covariáveis observadas estáveis e aquelas estruturalmente ausentes.

Metodologia: O Framework DRUM
Os autores propõem o DRUM (Aprendizado de Transferência Não Supervisionado Robusto Distribucionalmente com covariáveis Estruturalmente Ausentes), um framework projetado para transferir modelos de previsão para populações alvo não rotuladas onde $A$ está ausente. A filosofia central é otimizar o desempenho preditivo no pior caso sobre um conjunto de incerteza da distribuição condicional alvo desconhecida $A|X$, em vez de tentar imputar $A$ ou assumir que $A|X$ permanece estável.

A metodologia procede em três etapas:

1. Formulação do Problema:
   O objetivo é aprender um preditor $m(X)$ usando apenas as covariáveis compartilhadas $X$. Os autores formulam isso como um problema minimax:
   $$\min_{m(\cdot)} \max_{P_{A|X} \in \mathcal{C}(\delta)} \mathbb{E}_{X \sim Q_X, A \sim P_{A|X}, Y \sim P^S_{Y|X,A}} \left[ Y^2 - (Y - m(X))^2 \right]$$
   Aqui, $\mathcal{C}(\delta)$ é um conjunto de incerteza de distribuições condicionais para $A|X$ no domínio alvo, controlado por um parâmetro de robustez $\delta$. O objetivo maximiza a redução no pior caso do erro quadrático em relação a um preditor nulo.

2. Parametrização Baseada em Gerador e DRO:
   A otimização direta sobre o espaço de dimensão infinita das distribuições condicionais é intratável. O DRUM parametriza a distribuição condicional $A|X$ usando um gerador de rede neural $g_\phi(X, \epsilon)$, onde $\epsilon$ é ruído latente.

   • Conjunto de Incerteza: O conjunto de incerteza é definido usando Distância de Energia (via o framework Engression). O conjunto $\mathcal{C}_g(\delta)$ contém geradores cuja pontuação de energia se desvia do gerador condicional fonte $g^S$ por no máximo $\delta$. Isso permite que o modelo explore distribuições condicionais que se afastam da fonte sem exigir estimativa de densidade.
   • Otimização: O problema é resolvido por uma abordagem primal-dual. Um gerador de "pior caso" é treinado para minimizar o erro quadrático de previsão esperado no $X$ alvo (marginalizando sobre o $A$ gerado), sujeito à restrição de distância de energia.

3. Correção de Viés (Ortogonalidade de Neyman):
   Os autores identificam que o estimador "plug-in" (média do modelo de resultado fonte $\hat{f}(X, A)$ sobre o $A$ gerado) herda vieses de primeira ordem da estimativa de $\hat{f}$. Para mitigar isso, eles derivam um estimador corrigido de viés baseado em estimação ortogonal de Neyman e ajuste cruzado.

   • Eles constroem um pseudo-resultado $F_i$ que combina resíduos da fonte (reponderados por uma razão de densidade $\hat{\omega}$ para corresponder à distribuição induzida pelo gerador) e previsões plug-in alvo.
   • Regredir este pseudo-resultado sobre $X$ produz um estimador que é robusto a erros de primeira ordem nas funções de incômodo ($\hat{f}$ e a razão de densidade $\hat{\omega}$), alcançando taxas de convergência paramétrica sob condições de produto de taxas.

Principais Contribuições

1. Um Novo Framework DRO para Ausência Estrutural: O DRUM isola a incerteza especificamente para a distribuição condicional $A|X$ em vez da distribuição conjunta, usando um modelo generativo para parametrizar o conjunto de incerteza. Isso evita a intratabilidade da otimização de dimensão infinita.
2. Estimação Corrigida de Viés: O artigo deriva um estimador desviado que reduz a sensibilidade a erros de estimação de funções de incômodo, melhorando significativamente o desempenho em amostras finitas em simulações e aplicações do mundo real.
3. Aplicação à Previsão de OHCA Transnacional: O framework é aplicado à previsão de resultados neurológicos após parada cardíaca fora do hospital (OHCA), transferindo modelos do registro US-ROC (dados pré-hospitalares ricos) para registros asiáticos PAROS (onde variáveis pré-hospitalares como dose de epinefrina e pH sanguíneo estão estruturalmente ausentes).

Resultados

• Simulações: Em cenários com relações condicionais lineares e não lineares e dimensões variáveis de covariáveis faltantes, o DRUM (particularmente as variantes desviadas) superou substancialmente as bases padrão (ERM, DRO, ponderação por importância) e métodos de imputação de pseudo-rótulos. Alcançou menor erro quadrático médio e no pior caso normalizado (MSE) sob diversos graus de deslocamento distribucional.
• Aplicação no Mundo Real (OHCA):
  • Calibração: Ao ser aplicado em Singapura, Japão e Coreia, o DRUM produziu previsões significativamente melhor calibradas do que as bases. As bases padrão superestimaram sistematicamente resultados favoráveis devido ao deslocamento de prevalência e covariáveis faltantes, enquanto o DRUM acompanhou mais de perto as taxas de eventos observadas.
  • Desempenho: As variantes DRUM-Desviadas alcançaram os menores escores Brier e Erro de Calibração Esperado (ECE) em todos os locais.
  • Utilidade Clínica: Em limiares de probabilidade fixos relevantes para triagem clínica, o DRUM-Desviado demonstrou maior precisão e especificidade, indicando que suas probabilidades calibradas levam a classificações positivas mais confiáveis em comparação com as bases, que sofreram altas taxas de falsos positivos devido à má calibração.

Significado e Alegações
O artigo alega que o DRUM fornece uma alternativa principial à dicotomia atual na implantação de IA clínica: ou restringir modelos a locais com infraestrutura de dados idêntica ou descartar informações preditivas ignorando covariáveis faltantes. Ao contabilizar explicitamente a incerteza na distribuição condicional não observada $A|X$ sem depender de suposições não testáveis, o DRUM permite a implantação de modelos de alto recurso em ambientes de baixo recurso.

Os autores enfatizam que a principal vantagem do método reside na calibração e estratificação de risco (escore Brier, ECE, precisão em limiar fixo) em vez de discriminação global (AUROC), o que é consistente com o objetivo de pior caso que penaliza o erro quadrático. O framework é apresentado como uma solução geral para qualquer problema de aprendizado de transferência onde covariáveis preditivas estão disponíveis durante o treinamento, mas ausentes ou restritas na implantação, com potenciais extensões para equidade algorítmica e previsão de estabilidade farmacêutica.

O artigo permanece modesto quanto às limitações, observando que a parametrização atual do gerador assume covariáveis contínuas, o framework atualmente lida com uma única população fonte e a derivação foca em perdas de erro quadrático e entropia cruzada. Direções futuras incluem lidar com variáveis discretas/mistas, aprendizado federado com múltiplas fontes e resultados estruturados como dados de tempo até evento.