Resumo Técnico: Um Limite Superior Prático para Efeitos de Viés de Seleção em Modelos de Predição Médica

Declaração do Problema

O viés de seleção é um problema onipresente em dados do mundo real que compromete a generalizabilidade de modelos de aprendizado de máquina, particularmente em domínios de alto risco, como a saúde. Quando modelos são treinados em dados enviesados (por exemplo, registros hospitalares específicos ou biobancos baseados em voluntários) e implantados em uma população alvo mais ampla, eles podem falhar catastroficamente, potencialmente reificando a discriminação contra grupos sub-representados.

Métodos existentes para avaliar a generalizabilidade de modelos sob viés de seleção sofrem de pressupostos irreais. Técnicas como a estimativa de razão de densidade exigem acesso total à distribuição alvo, enquanto o ponderamento por probabilidade inversa (IPW) assume a observabilidade total das variáveis que causam a seleção. Na prática, os profissionais carecem de acesso a amostras representativas da população alvo (devido ao custo ou privacidade) e raramente observam o mecanismo de seleção explícito. Consequentemente, há uma falta de ferramentas fundamentadas e práticas para auditar modelos quanto ao viés de seleção antes da implantação.

Metodologia

Os autores propõem um novo framework para estimar um limite superior prático sobre o pior caso de desempenho (perda esperada) de um modelo de predição em uma população alvo não observada. O método opera sob uma configuração realista de observabilidade parcial:

1. Dados Observados: Um conjunto de dados enviesado $D_P$ (onde o indicador de seleção $S=1$) contendo covariáveis $X$, desfechos $Y$ e um subconjunto de variáveis de seleção $\tilde{U}$.
2. Restrições do Alvo: O acesso à distribuição alvo $Q$ é limitado a:
   • Um subconjunto de variáveis de seleção $\tilde{U}$ (totalmente observadas).
   • Estatísticas marginais resumidas (médias e variâncias) para todas as variáveis candidatas.
   • Sem amostras diretas de $(X, Y)$ da distribuição alvo $Q$.

Componentes Teóricos Principais

O método baseia-se em três pressupostos fundamentais:

• Independência Condicional: O indicador de seleção $S$ é condicionalmente independente de $(X, Y)$ dado o conjunto completo de variáveis de seleção $U$.
• Suporte Comum: As distribuições enviesada $P$ e alvo $Q$ compartilham suporte comum.
• Perda Não Negativa: A função de perda $\ell$ é não negativa.

Sob esses pressupostos, os autores derivam um limite superior $\hat{R}_Q$ para a perda esperada $R_Q$ na distribuição alvo:
$$R_Q \leq \hat{R}_Q := E_P \left[ w(\tilde{U}) \cdot \phi(\tilde{X}, Y, U^*) \cdot \ell(f_P(\tilde{X}), Y) \right]$$
Onde:

• $w(\tilde{U})$ é um peso de propensão derivado da razão das densidades marginais $p(\tilde{U}) / p(\tilde{U}|S=1)$.
• $\phi(\tilde{X}, Y, U^*)$ é um fator de pior caso definido como a razão máxima de densidades condicionais sobre o espaço das variáveis de seleção não observadas $U^* = U \setminus \tilde{U}$.

Implementação Prática

Para tornar o limite tratável, os autores introduzem duas heurísticas:

1. Identificação Heurística de $U^*$: Como $U^*$ é desconhecido, os autores propõem um algoritmo de correspondência de momentos (moment-matching). Este algoritmo trata o processo de seleção como uma função logística e utiliza as estatísticas resumidas observadas de $Q$ para resolver os coeficientes que identificam quais variáveis restantes no conjunto de dados enviesado são prováveis impulsionadores da seleção. Variáveis com coeficientes não nulos no intervalo de confiança são nomeadas como $U^*$.
2. Ferramentas de Diagnóstico: Para avaliar a validade do limite na prática (onde os pressupostos podem ser violados), os autores propõem três diagnósticos:
   • Teste KS: Avalia a sobreposição entre as distribuições de propensão em $P$ e $Q$.
   • Efeito de Design de Peso ($d_{eff}$): Mede a estabilidade dos pesos resultantes para detectar a falta de suporte comum.
   • Invariância de Propensão: Um teste inovador para aproximar o pressuposto de independência condicional, verificando se a distribuição das covariáveis permanece invariante através de diferentes faixas de escore de propensão.

Contribuições Principais

1. Formulação de Problema Realista: O trabalho aborda a lacuna entre limites teóricos e restrições práticas, exigindo apenas observabilidade parcial do mecanismo de seleção e da distribuição alvo (especificamente, estatísticas marginais e um subconjunto de variáveis de seleção).
2. Novo Limite Superior: Os autores derivam um limite superior teórico sobre o erro de generalização que modela explicitamente o processo de seleção sem exigir conhecimento total do mecanismo subjacente ou da densidade conjunta da distribuição alvo.
3. Estimativa e Diagnósticos Tratáveis: O artigo fornece um algoritmo prático para nomear as variáveis de seleção não observadas e um conjunto de ferramentas de diagnóstico para ajudar os profissionais a interpretar o limite e detectar violações de pressupostos.
4. Validação Empírica: O método é validado através de dados totalmente sintéticos, dados semi-sintéticos do programa de pesquisa All of Us e viés de seleção do mundo real no MIMIC-IV.

Resultados

Os autores avaliam seu método contra baselines incluindo IPPW (Ponderação por Probabilidade de Participação Inversa) ingênua, calibração empírica, balanceamento de entropia e raking.

• Validade e Estreiteza (Tightness): Em experimentos com dados sintéticos e All of Us, o limite proposto (usando a heurística $U^*$) gerou limites superiores válidos (ou seja, $\hat{R}_Q \geq R_Q$) em 97% das tarefas para All of Us e 90% para dados sintéticos. Em contraste, o próximo melhor baseline (IPPW) alcançou validade em apenas 82% das tarefas e frequentemente subestimou o erro real.
• Robustez: O método permaneceu robusto mesmo quando o número de variáveis de seleção observadas $\tilde{U}$ era limitado (ex: $dim(\tilde{U})=1$).
• Aplicação no Mundo Real: Nos experimentos com MIMIC-IV, o método identificou com sucesso lacunas de generalização para tarefas como predição de hipertensão e diabetes tipo 2. Para a tarefa de predição de mortalidade (onde o erro alvo real era desconhecido), o método forneceu um limite não vácuo consistente com a literatura prévia que sugere que dados de hospitais de site único frequentemente generalizam mal.
• Desempenho da Heurística: A heurística de correspondência de momentos para identificar $U^*$ alcançou pontuações F2 de 0,84 (sintético) e 0,81 (All of Us), aproximando-se de perto do desempenho de um oráculo que conhece o verdadeiro $U^*$.

Significância e Alegações

Os autores posicionam este trabalho como uma ferramenta prática de auditoria de modelos, e não como uma solução perfeita. Eles afirmam que seu método permite que os profissionais:

• Estimem o impacto do viés de seleção em configurações onde os dados alvo são, de outra forma, intratáveis.
• Tomem decisões de implantação informadas: Se o limite superior estimado for pequeno e os diagnósticos de pressupostos forem satisfeitos, a implantação pode prosseguir com confiança. Se o limite for grande ou os diagnósticos indicarem violações, os profissionais são orientados a adiar a implantação, coletar dados mais representativos ou aplicar técnicas de mitigação de viés.
• Evitem a "falsa confiança" frequentemente proporcionada pelos métodos de reponderação existentes, que tendem a subestimar o erro de generalização.

O artigo conclui observando limitações, incluindo o foco em dados categóricos de baixa dimensão (embora extensões para dados contínuos sejam discutidas) e a dificuldade inerente da estimativa de densidade. No entanto, os autores afirmam que o framework proposto oferece um passo principiado em direção a modelos de predição médica mais seguros e generalizáveis.