HSFM: Hard-Set-Guided Feature-Space Meta-Learning for Robust Classification under Spurious Correlations

Título: HSFM: Aprendizado Meta-Guiado por Conjunto Difícil no Espaço de Características para Classificação Robusta sob Correlações Espúrias

1. Problema e Motivação

Redes neurais profundas treinadas com Minimização de Risco Empírico (ERM) tendem a explorar correlações espúrias (atalhos) presentes nos dados de treinamento para fazer previsões, em vez de aprender características causais robustas.

• Exemplo: Em um conjunto de dados de pássaros (Waterbirds), o modelo pode associar "pássaro de água" ao fundo "água" e "pássaro terrestre" ao fundo "terra", ignorando o próprio pássaro.
• Consequência: O desempenho degrada drasticamente em distribuições deslocadas ou em grupos minoritários (ex: pássaro de água em fundo terrestre), onde a correlação espúria não se mantém.
• Insight Central: Estudos recentes indicam que, mesmo quando o classificador ERM falha, o extrator de características (backbone) pré-treinado ainda codifica informações ricas e corretas. A falha reside principalmente na cabeça de classificação linear treinada sobre essas características.

2. Metodologia: HSFM

Os autores propõem o HSFM (Hard-Set-Guided Feature-Space Meta-Learning), um método de aprendizado meta-bilevel que otimiza diretamente as representações no espaço de características (feature space) para melhorar a robustez da cabeça de classificação.

Principais Componentes:

1. Decomposição do Modelo: O modelo é dividido em um backbone de extração de características (congelado) e uma cabeça de classificação linear (adaptable).
2. Identificação de Exemplos Difíceis (Hard Set):
   • O método identifica, no conjunto de validação, os exemplos com maior perda de classificação (loss) para cada classe.
   • Esses exemplos formam o Conjunto de Consulta (Query Set, $\mathcal{Q}$), representando os casos de falha atuais do modelo.
3. Otimização Bilevel (Meta-Aprendizado):
   • Loop Interno (Inner Loop): Adapta a cabeça linear ($W, b$) usando um Conjunto de Suporte (Support Set, $\mathcal{S}$). O conjunto de suporte consiste em embeddings aprendíveis (inicializados a partir das características congeladas do backbone) que são otimizados.
   • Loop Externo (Outer Loop): Avalia a cabeça adaptada no Conjunto Difícil ($\mathcal{Q}$). O objetivo é minimizar a perda nestes exemplos difíceis.
   • Atualização: Os embeddings do conjunto de suporte ($H$) são atualizados via gradiente meta (backpropagation através do loop interno) para que a adaptação da cabeça linear resulte em menor erro nos exemplos difíceis.
4. Eficiência: Ao operar no espaço de características (saída do backbone) e não no espaço de pixels ou através de otimização end-to-end, o método é extremamente estável e rápido.

3. Contribuições Chave

• Abordagem sem Suposições Específicas: Diferente de métodos que exigem anotações de grupo explícitas ou suposições sobre a natureza da correlação espúria, o HSFM usa o sinal de erro do próprio modelo para identificar e corrigir falhas.
• Otimização no Espaço de Características: Evita a complexidade e o custo computacional de geração de dados sintéticos (como em métodos baseados em difusão) ou re-treinamento pesado do backbone.
• Generalização: O método não se limita a benchmarks de correlação espúria; demonstra eficácia em tarefas de classificação de granularidade fina (fine-grained), onde categorias são visualmente similares.
• Ferramenta de Análise e Visualização: Os embeddings otimizados podem ser usados para guiar modelos de geração (como unCLIP/Stable Diffusion), permitindo visualizar como o modelo "corrigiria" uma imagem para pertencer a um grupo minoritário, revelando vieses de forma interpretável.

4. Resultados Experimentais

Os autores avaliaram o HSFM em diversos benchmarks e cenários:

A. Benchmarks de Correlação Espúria

• Datasets: Waterbirds, CelebA, Dominoes e MetaShift.
• Métrica Principal: Precisão do Pior Grupo (Worst-Group Accuracy - WGA).
• Desempenho: O HSFM superou ou igualou o estado da arte (SOTA), incluindo métodos como DFR, GroupDRO e JTT.
  • Em Waterbirds, alcançou 93.1% de WGA (superando o ERM base de 74.6% e o DFR de 92.3%).
  • Em CelebA, superou todos os métodos que não usam anotações de grupo durante o treinamento.
  • Em MetaShift (um dataset pequeno), o HSFM superou o DFR, demonstrando robustez mesmo com conjuntos de validação limitados.
• Backbones: Funcionou consistentemente com ResNet-50, ViT-B/16 e ConvNeXt.

B. Classificação de Granularidade Fina

• Datasets: Stanford Cars, CUB-Birds, Oxford Flowers.
• Resultado: O HSFM melhorou a precisão geral (top-1) em comparação com ERM e DFR, especialmente quando usado com backbones pré-treinados (sem fine-tuning no dataset específico).
  • Em Stanford Cars, o HSFM-Pretrained atingiu 85.10% de acurácia, superando o ERM (83.98%).
  • Isso valida a hipótese de que a maior parte do erro em tarefas complexas pode ser corrigida ajustando a regra de decisão (cabeça linear) via otimização guiada por exemplos difíceis.

C. Visualização e Análise

• Usando o unCLIP, os autores visualizaram as edições no espaço de características.
• Observação: As edições aprendidas deslocaram semanticamente as imagens de configurações de grupo majoritário para minoritário (ex: mudar o fundo de "terra" para "água" em pássaros) de forma coerente, confirmando que o método aprende a corrigir a dependência de atributos espúrios.

D. Eficiência Computacional

• O método é notavelmente rápido. Em um único GPU (NVIDIA A100), o HSFM completa o processo de otimização em apenas 1.43 minutos para o dataset Waterbirds, comparado a 4 minutos do DFR e mais de 60 minutos para outros métodos (como MaskTune ou JTT).
• Não requer geração de imagens sintéticas, evitando o custo elevado de modelos de difusão.

5. Significado e Conclusão

O HSFM oferece uma solução simples, eficiente e amplamente aplicável para o problema de robustez em aprendizado de máquina.

• Paradigma: Desloca o foco de "reparar o backbone" ou "gerar dados" para "otimizar as representações de suporte no espaço de características" para guiar a cabeça de classificação.
• Impacto: Permite que modelos existentes, que já possuem boas representações internas, sejam tornados robustos em poucos minutos, sem necessidade de anotações de grupo caras ou re-treinamento massivo.
• Limitação: Depende de um backbone pré-treinado que já codifique características informativas suficientes. Se o backbone falhar em capturar as características essenciais, a otimização no espaço de características terá ganhos limitados.

Em suma, o HSFM demonstra que a robustez pode ser alcançada através de uma otimização meta-dirigida por falhas no espaço de características, superando métodos complexos com uma fração do custo computacional.