Resumo Técnico: Seleção de Características Guiada por Causalidade e Difusão para Estabilidade (CGDFS)

1. O Problema

A seleção de características (feature selection) é fundamental para sistemas de IA robustos, visando identificar subconjuntos compactos de variáveis que garantam modelos eficientes e generalizáveis. No entanto, a maioria dos métodos existentes otimiza o desempenho preditivo sob uma única distribuição de dados.

• Falha sob Deslocamento de Distribuição (Distribution Shift): Em ambientes dinâmicos do mundo real, métodos tradicionais tendem a selecionar características espúrias (correlações que não são causais). Essas características funcionam bem no conjunto de treinamento, mas falham catastróficamente quando o modelo é aplicado em novos mercados ou contextos onde as correlações mudam.
• Limitações dos Métodos Atuais:
  • Métodos baseados em correlação (filtros, wrappers, LASSO) não distinguem entre utilidade preditiva estável e correlações específicas de uma distribuição.
  • Abordagens baseadas em invariância causal (como IRM e ICP) enfrentam desafios de otimização não convexa e complexidade combinatória (espaço de $2^p$ subconjuntos), tornando a busca por soluções ótimas determinísticas difícil e instável.
  • A incerteza inerente à seleção de características sob deslocamento de distribuição é frequentemente ignorada, com métodos determinísticos comprometendo-se com um único subconjunto "ótimo".

2. Metodologia: CGDFS

O CGDFS reformula a seleção de características como um problema de inferência aproximada posterior sobre subconjuntos de características, em vez de uma busca por um único ótimo. O framework combina três componentes principais:

A. Representação e Priori Baseada em Difusão

• Relaxação Contínua: Em vez de otimizar vetores binários discretos ($z \in \{0,1\}^p$), o método utiliza máscaras de seleção contínuas ($s \in [0,1]^p$), onde cada coordenada representa um peso de seleção suave.
• Aprendizado de Priori: Um modelo de difusão é treinado para aprender uma distribuição priori sobre máscaras plausíveis.
  • Um "pool" de máscaras candidatas é gerado usando heurísticas diversas (seleção aleatória, LASSO, Mutual Information, Random Forest).
  • O modelo de difusão captura dependências estruturais (complementaridade e redundância) entre características, permitindo uma exploração eficiente do espaço combinatório sem enumeração explícita.

B. Verossimilhança Baseada em Estabilidade

O objetivo de otimização não é apenas minimizar o erro, mas garantir estabilidade entre ambientes.

• Avaliação Multi-Ambiente: Os dados são divididos em $E$ ambientes distintos (com deslocamento de covariáveis).
• Função de Objetivo: Define-se uma função de utilidade $U(s)$ que combina:
  1. Perda Média ($\bar{\ell}$): Desempenho preditivo médio sobre todos os ambientes.
  2. Variância da Perda ($\text{Var}_e$): Variabilidade do desempenho entre os ambientes.
• A verossimilhança é definida implicitamente como $p(D|s) \propto \exp(-U(s))$, favorecendo subconjuntos que mantêm comportamento preditivo consistente.

C. Amostragem Guiada por Langevin e Guia Causal

• Inferência Posterior: O método utiliza Dinâmica de Langevin Annealed para amostrar da distribuição posterior $p(s|D) \propto p(D|s)p(s)$.
  • O gradiente da posterior é decomposto no gradiente da priori (do modelo de difusão) e no gradiente da verossimilhança (estabilidade).
  • Isso permite explorar o espaço de características de forma estocástica, capturando incerteza e evitando ótimos locais.
• Guia Causal Suave (ICP): O método incorpora Previsão Causal Invariante (ICP) não como uma restrição dura, mas como um sinal de guia suave.
  • As pontuações de invariância do ICP são usadas para enviesar a construção do pool de máscaras durante o treinamento da priori.
  • Isso aumenta a probabilidade de subconjuntos com características causalmente relevantes, mas permite que o desempenho empírico e a estabilidade rejeitem características se elas não forem preditivas.

D. Discretização e Seleção Final

• Após a amostragem, múltiplas máscaras contínuas são geradas.
• A seleção final é feita agregando as frequências de inclusão posterior: calcula-se com que frequência cada característica aparece nos top-$k$ selecionados em todas as amostras.
• O subconjunto final consiste nas $k$ características com as maiores frequências de inclusão, fornecendo uma seleção estável e interpretável.

3. Contribuições Principais

1. Formulação Probabilística: Transforma a seleção de características sob deslocamento de distribuição em um problema de inferência posterior aproximada, tratando a estabilidade como um critério primário e não secundário.
2. Uso de Modelos de Difusão: Introduz uma priori baseada em difusão sobre máscaras contínuas, permitindo a exploração escalável e estruturada de espaços combinatórios grandes sem busca discreta ou otimização gulosa.
3. Guia Causal Suave: Integra sinais de invariância causal (ICP) como uma priori suave, evitando as limitações de métodos que exigem descoberta de grafos causais explícitos ou dados intervencionais.
4. Incerteza Quantificada: O framework fornece naturalmente uma medida de incerteza sobre a relevância das características através das frequências de inclusão posterior.

4. Resultados Experimentais

O CGDFS foi avaliado em 12 conjuntos de dados reais (UCI e OpenML) com tarefas de classificação e regressão sob deslocamento de distribuição controlado.

• Desempenho Preditivo (OOD): O CGDFS superou consistentemente baselines competitivos (LASSO, Mutual Information, Random Forest, Seleção de Estabilidade, ICP puro e otimização direta de gradiente) em termos de F1-macro (classificação) e MSE (regressão) em cenários fora da distribuição (Out-of-Distribution).
• Robustez e Estabilidade: O método produziu subconjuntos de características com menor variância de desempenho entre diferentes ambientes, indicando maior robustez a mudanças de distribuição.
• Estudo de Ablação:
  • Remover a priori de difusão degradou significativamente o desempenho, mostrando que a estrutura aprendida é crucial.
  • Substituir a amostragem posterior por otimização de ponto único (Grad-Stab) resultou em maior variância e sensibilidade à inicialização.
  • O ICP sozinho performou pior que as variantes baseadas em posterior, confirmando que a integração como guia suave é superior a restrições duras.
• Interpretabilidade: As frequências de inclusão posterior forneceram rankings de características que refletem a incerteza do modelo, com alta sobreposição de características selecionadas entre diferentes execuções (reprodutibilidade).

5. Significado e Conclusão

O CGDFS representa um avanço significativo ao unir aprendizado causal, modelos generativos modernos (difusão) e inferência bayesiana para resolver o problema de seleção de características em ambientes não estacionários.

• Mudança de Paradigma: Move o foco da busca por um único subconjunto "correto" para a exploração de uma distribuição de subconjuntos plausíveis.
• Aplicabilidade: Oferece uma solução escalável para dados tabulares de alta dimensão, onde métodos tradicionais de causalidade falham devido à complexidade combinatória.
• Impacto: Ao priorizar a invariância e a estabilidade, o CGDFS reduz o risco de implantação de modelos frágeis em aplicações de alto risco (saúde, finanças, justiça algorítmica), garantindo que as características selecionadas sejam robustas a mudanças no mundo real.