Resumo Técnico: Mitigação de Correlações Espúrias com Seleção de Coreset Guiada por Memorização (TCSL-CS)

Declaração do Problema

Conjuntos de dados do mundo real frequentemente contêm correlações espúrias — características que são altamente consistentes dentro de uma classe, mas que não estão causalmente relacionadas ao rótulo alvo. Modelos de aprendizagem profunda treinados via Minimização do Risco Empírico (ERM) frequentemente exibem um viés de simplicidade, aprendendo essas características espúrias mais simples antes de capturar características centrais (core) complexas. Isso leva a uma baixa acurácia do pior grupo (WGA) em dados de teste onde as correlações espúrias não se sustentam, particularmente para grupos minoritários onde o atributo espúrio diverge do rótulo.

Embora as abordagens existentes para mitigar esse viés muitas vezes se desviem do ERM padrão ao empregar técnicas de otimização complexas ou exigirem acesso a rótulos de grupo (atributos espúrios), há uma necessidade de métodos que possam reduzir a dependência de correlações espúrias enquanto mantêm o treinamento ERM padrão. Uma solução potencial reside na seleção de coreset — a construção de subconjuntos de alta qualidade de dados que representem a distribuição total de treinamento. No entanto, o artigo argumenta que as funções de pontuação de amostras amplamente utilizadas (ex: EL2N, SelfSup) e algoritmos de seleção de coreset falham neste contexto. Devido ao viés de simplicidade, essas funções de pontuação são dominadas por características espúrias, classificando incorretamente amostras com fortes correlações espúrias como "fáceis" e amostras sem elas como "difíceis". Consequentemente, as estratégias de seleção padrão falham em priorizar as características centrais difíceis necessárias para a robustez de grupo.

Metodologia

Os autores propõem o TCSL-CS (Two-Stage Cumulative Sample Loss-guided Coreset Selection), um framework projetado para desvincular a dinâmica de aprendizagem de características centrais e espúrias sem exigir rótulos de grupo.

1. Fundamentação Teórica

O artigo fornece uma análise teórica sob o regime do Neural Tangent Kernel (NTK) e um modelo de covariância de pico (spiked covariance model). Demonstra que, sob a condição de viés de simplicidade ($\beta_s(2\alpha - 1) > \beta_c$, onde $\beta$ representa a força da característica e $\alpha$ a fração do grupo majoritário), as características espúrias são aprendidas significativamente mais rápido do que as características centrais durante os estágios iniciais do treinamento. Esse aprendizado rápido faz com que as perdas das amostras (e, portanto, as pontuações padrão) sejam dominadas pelo atributo espúrio, tornando-as ineficazes para identificar amostras com características centrais difíceis.

2. Treinamento de Modelo em Dois Estágios

Para desacoplar essas dinâmicas, os autores introduzem um esquema de treinamento de dois estágios (Algoritmo 1):

• Estágio 1 (Modelo Espúrio, $f_s$): Um modelo enviesado é treinado para aprender apenas características espúrias. Isso é alcançado aumentando o peso das amostras com a menor perda em cada época, efetivamente amplificando o aprendizado de amostras onde o atributo espúrio se alinha com o rótulo ($a=y$).
• Estágio 2 (Modelo Central, $f_c$): Os pesos de $f_s$ são congelados. Um modelo central é treinado usando uma função de perda modificada que incorpora o logit do modelo espúrio como um mecanismo de feedback negativo:
  $$L(B_t, W^c_t) = \sum_{i \in B_t} \lambda_i \ell\left(y_i, f_c(x_i; W^c_t) + \log(f_s(x_i))\right)$$
  Isso força $f_c$ a aprender as características centrais ao compensar as previsões do modelo enviesado.

3. Perda de Amostra Cumulativa de Dois Estágios (TCSL)

Com base nos modelos treinados, os autores definem uma nova métrica de pontuação, TCSL, que consiste em dois componentes:

• $TCSL_s(x)$: A perda cumulativa do modelo espúrio $f_s$. Pontuações altas indicam amostras onde a característica espúria é fraca ou desalinhada com o rótulo.
• $TCSL_c(x)$: A perda cumulativa do modelo central $f_c$. Esta pontuação reflete a dificuldade das características centrais, independentemente do atributo espúrio.

4. Algoritmo TCSL-CS

O algoritmo de seleção de coreset (Algoritmo 2) opera em dois estágios para construir um subconjunto robusto:

1. Identificar Amostras de Alta Espuridade: Usando wKMeans nas pontuações de $TCSL_s$ e curvas de perda, o algoritmo identifica um grupo de amostras ($G_{high}$) com alta dificuldade espúria (ou seja, amostras que carecem de fortes correlações espúrias). Um subconjunto destas é selecionado para garantir que o coreset inclua amostras desafiadoras do tipo minoritário.
2. Preencher a Cota Restante: As vagas restantes são preenchidas a partir do grupo majoritário ($G_{low}$) com base nas pontuações de $TCSL_c$.
   • Se a razão de seleção $r$ for alta ($r \geq \tau$), o algoritmo seleciona amostras com as menores pontuações de $TCSL_c$ (características centrais mais fáceis) para maximizar a acurácia média.
   • Se a razão $r$ for baixa ($r < \tau$), o algoritmo utiliza uma seleção baseada em histograma (SelectHist) para amostrar de bins de variadas dificuldades de $TCSL_c$, garantindo diversidade na dificuldade das características centrais e evitando a exclusão de características centrais difíceis.

Principais Contribuições

• Pontuação TCSL: Uma nova métrica que quantifica separadamente a dificuldade de aprendizagem de características centrais e espúrias, abordando a falha das pontuações existentes em desvincular esses componentes sob o viés de simplicidade.
• Algoritmo TCSL-CS: Um método de seleção de coreset robusto a grupos que alcança alta acurácia do pior grupo sem exigir acesso a rótulos de grupo. Ele utiliza a pontuação TCSL para construir coresets que equilibram acurácia média e desempenho do pior grupo.
• Análise Teórica: Uma análise rigorosa sob o regime NTK provando que as características espúrias dominam a dinâmica de aprendizado inicial, explicando por que as pontuações baseadas em perda padrão falham em cenários de esparsidade.
• Superioridade Empírica: Demonstrando que um modelo ERM padrão treinado no coreset TCSL-CS supera as técnicas de debiasing de estado da arte (incluindo aquelas que exigem rótulos de grupo) utilizando apenas 10% dos dados originais de treinamento.

Resultados Experimentais

Os autores avaliaram o TCSL-CS em quatro conjuntos de dados conhecidos por correlações espúrias: Waterbirds, cMNIST, MetaShift e UrbanCars-B.

• Desempenho vs. Baselines de Debiasing: No Waterbirds, o TCSL-CS melhorou a WGA de um modelo ERM padrão em 10,44%, superando o GroupDRO (que requer rótulos de grupo) e outros métodos de debiasing como LC, DFR e JTT. No cMNIST (onde as correlações espúrias são extremamente fortes, $\alpha=0,995$), o TCSL-CS superou o próximo melhor método em mais de 11%.
• Desempenho vs. Baselines de Seleção de Coreset: O TCSL-CS superou significativamente os métodos padrão de seleção de coreset (EL2N, SelfSup, Random, D2) em todos os datasets. Por exemplo, no Waterbirds, métodos baseados em EL2N atingiram pontuações de WGA tão baixas quanto 39,88%, enquanto o TCSL-CS alcançou 91,91%.
• Eficiência de Dados: O método alcançou o estado da arte usando apenas 10% dos dados de treinamento.
• Estudos de Ablação: Experimentos confirmaram que $TCSL_s$ e $TCSL_c$ desvinculam com sucesso as dificuldades das características espúrias e centrais, mostrando alta similaridade de cosseno com pontuações derivadas de modelos treinados exclusivamente em características espúrias ou centrais, respectivamente.

Significância e Alegações

O artigo afirma que o TCSL-CS oferece uma abordagem escalável e fundamentada para o debiasing. Ao contrário de muitos métodos existentes que exigem otimização complexa ou rótulos de grupo, o TCSL-CS:

1. Mantém o ERM Padrão: Permite o uso de treinamento ERM padrão no coreset selecionado, evitando a necessidade de funções de perda ou procedimentos de otimização especializados durante a fase final de treinamento.
2. Reduz o Custo Computacional: Ao selecionar um pequeno subconjunto (ex: 10%) de dados, reduz significativamente o ônus computacional do treinamento de grandes modelos, já que a etapa cara de seleção de coreset é realizada uma única vez e o subconjunto resultante pode ser reutilizado.
3. Generalizabilidade: Os coresets selecionados são agnósticos à arquitetura, gerando ganhos de desempenho consistentes através de diferentes backbones de modelos (ResNet, Inception, DenseNet).

Os autores posicionam seu trabalho como o primeiro algoritmo de seleção de coreset especificamente projetado para alcançar tanto alta acurácia média quanto alta acurácia do pior grupo na ausência de rótulos de grupo, mitigando efetivamente o impacto negativo do viés de simplicidade na seleção de datasets.