Resumo Técnico: Melhorando a Destilação de Conhecimento sob Desvio de Covariável Desconhecido através de Aumento de Dados Guiado por Confiança

1. Definição do Problema

O artigo aborda as limitações da Destilação de Conhecimento (KD - Knowledge Distillation) quando aplicada a cenários com desvio de covariável desconhecido. Embora os modelos de fundação demonstrem fortes capacidades zero-shot e robustez de distribuição, implantar esses modelos em ambientes com recursos limitados muitas vezes exige a transferência de conhecimento para redes estudantes menores. A KD padrão baseia-se no "conhecimento obscuro" (rótulos suaves/soft labels) de um professor para melhorar a generalização do estudante. No entanto, quando os dados de treinamento ($P_{train}$) não cobrem suficientemente a distribuição de teste ($P_{test}$), o estudante frequentemente falha em aprender a verdadeira fronteira de decisão.

Em vez disso, o estudante explora características espúrias (ex: cor do cabelo ou idade na classificação de gênero) que estão correlacionadas com o rótulo no conjunto de treinamento, mas não são causalmente relacionadas. Isso leva ao aprendizado de atalhos (shortcut learning), onde o modelo apresenta um bom desempenho nos dados de treinamento, mas falha em grupos de teste que estavam ausentes ou sub-representados durante o treinamento (ex: mulheres loiras idosas ou homens jovens não loiros). Os métodos existentes de aumento de dados baseados em difusão frequentemente falham em visar esses vieses específicos porque não aproveitam explicitamente a discrepância entre um professor robusto e um estudante enviesado.

2. Metodologia: ConfiG

Os autores propõem o ConfiG (Confidence-Guided), um novo framework de aumento de dados projetado para mitigar o desvio de covariável, gerando amostras sintéticas que desafiam especificamente a dependência do estudante de características espúrias.

Mecanismo Central

O ConfiG utiliza um modelo de difusão (baseado no Stable Diffusion) guiado pelo desacordo entre um modelo professor robusto ($t$) e um modelo estudante enviesado ($f$). O objetivo é gerar imagens onde:

1. O professor mantém alta confiança na classe correta (preservando características causais).
2. O estudante possui baixa confiança na classe correta (indicando dependência de características espúrias).

Implementação Técnica

O método opera em duas etapas principais:

1. Mistura Inter-Classe (Warm-Starting):
   Para evitar mínimos locais e garantir a geração de amostras desafiadoras, o ConfiG primeiro realiza a mistura inter-classe. Usando edição prompt-to-prompt, a imagem original é editada para uma classe alvo aleatória (diferente da original). Isso fornece uma inicialização latente que é semanticamente distinta da original, facilitando a exploração de novas combinações de características.

2. Otimização Latente:
   O núcleo do ConfiG envolve a otimização do código latente ($z_0$), do texto nulo ($\emptyset$) e do sinal de condicionamento ($C$) para maximizar o desacordo entre o professor e o estudante. A otimização minimiza a seguinte função de perda:
   $$\min_{z_0, \emptyset, C} \; f(\mathcal{D}(\mathcal{M}_{\epsilon_\theta}(z_0, \emptyset, C)))_y^\gamma + \left(1 - t(\mathcal{D}(\mathcal{M}_{\epsilon_\theta}(z_0, \emptyset, C)))_y\right)^\gamma$$
   Onde:

   • $f$ e $t$ são os modelos estudante e professor.
   • $y$ é a confiança da classe alvo.
   • $\gamma$ é uma transformação não linear (empiricamente definida como 2) para lidar com casos onde o estudante é inicialmente muito confiante.
   • $\mathcal{M}_{\epsilon_\theta}$ é o modelo de previsão de ruído e $\mathcal{D}$ é o decodificador.

   Este processo gera imagens onde o estudante é "enganado" por características espúrias (ex: um rosto masculino com cabelo loiro sendo classificado como feminino) enquanto o professor identifica corretamente a classe real.

3. Pipeline de Treinamento:

   • Um estudante auxiliar é primeiro destilado nos dados de treinamento reais limitados e enviesados. Este estudante naturalmente capta as correlações espúrias.
   • O ConfiG usa este estudante auxiliar para gerar aumentos sintéticos.
   • Um estudante robusto é então treinado em uma mistura de dados reais e os aumentos gerados pelo ConfiG (com uma probabilidade de substituição $\alpha = 0.5$).

3. Principais Contribuições

1. Identificação do Problema: Os autores demonstram que, embora a KD de um professor robusto melhore o desempenho geral, ela permanece insuficiente sob desvio de covariável desconhecido, levando a um desempenho ruim em grupos não vistos no conjunto de teste.
2. Framework ConfiG: Eles introduzem um método de aumento por difusão guiado por confiança que visa explicitamente o desvio de covariável ao maximizar o desacordo entre professor e estudante, sem exigir conhecimento explícito do viés ou dos rótulos de grupo.
3. Validação Empírica e Teórica: O artigo fornece motivação teórica mostrando que aumentos que desafiam o estudante, mas são fáceis para o professor, podem reduzir o erro de generalização ($\Omega$). Empiricamente, o ConfiG supera os baselines de estado da arte baseados em difusão em múltiplos datasets.

4. Resultados Experimentais

Os autores avaliaram o ConfiG em quatro datasets: CelebA-HQ, SpuCo Birds, BAR (Biased Activity Recognition) e um subconjunto do ImageNet (Spurious ImageNet).

• Datasets de Desvio de Grupo (CelebA-HQ, SpuCo Birds, BAR):

  • O ConfiG alcançou consistentemente a melhor ou segunda melhor Acurácia Média de Amostra (SMA) e a melhor Acurácia Média de Grupo (GMA) e Acurácia do Pior Grupo (WGA) em comparação com seis baselines (GIF, DistDiff, DA-Fusion, Diff-Mix, Diff-II, ActGen).
  • No CelebA-HQ, o ConfiG melhorou a Acurácia do Pior Grupo em mais de 34% em comparação com o treinamento apenas com dados reais, reduzindo significativamente a lacuna em relação ao professor.
  • No SpuCo Birds e BAR, o ConfiG reduziu a lacuna de desempenho em relação ao professor em 23% e 37%, respectivamente, superando todos os baselines em desempenho de pior grupo.

• ImageNet-100 (Características Espúrias):

  • O ConfiG alcançou a maior acurácia de validação e Pontuação Espúria (SpuScore), indicando melhor robustez contra características espúrias de classe.
  • Melhorias foram observadas tanto para arquiteturas de estudante ViT-T quanto ViT-S.

• Estudos de Ablação:

  • Componentes: A combinação de mistura inter-classe e otimização latente produziu os melhores resultados; usar apenas um dos componentes foi menos eficaz.
  • Aumentos Mais Fortes: O ConfiG combinado com aumentos não sintéticos mais fortes (ex: AutoAugment, MixUp) melhorou ainda mais o desempenho.
  • Força do Professor: O ConfiG permaneceu eficaz mesmo usando modelos professores mais fracos (ex: ResNet50 ou variantes menores do CLIP), embora o desempenho absoluto tenha diminuído.
  • Mitigação de Viés Centrada no Modelo: Os aumentos do ConfiG melhoraram significativamente o desempenho de métodos de mitigação de viés centrados no modelo (LfF, uLA, ERM) quando combinados com eles.

5. Significância e Alegações

O artigo afirma que o ConfiG oferece uma solução centrada em dados para o problema de cobertura limitada de dados de treinamento e desvio de covariável desconhecido. Ao alavancar a discrepância entre um professor robusto e um estudante enviesado, o método gera dados sintéticos direcionados que forçam o estudante a desaprender correlações espúrias e aproximar sua fronteira de decisão de forma mais precisa à do professor.

Os autores enfatizam que sua abordagem não requer anotações explícitas de grupo ou conhecimento dos vieses específicos, tornando-a aplicável a cenários do mundo real onde tais informações não estão disponíveis. Embora o método mostre desempenho superior em robustez de grupo e tratamento de características espúrias, os autores observam limitações:

• O método é atualmente projetado para aumento de imagem global para tarefas de classificação e pode exigir adaptação para tarefas de consciência de localização, como detecção de objetos.
• Depende de modelos professores pré-treinados e modelos de difusão, o que acarreta custos computacionais, embora os autores demonstrem compatibilidade com modelos de difusão de passo único mais rápidos (Hyper-SD).
• A análise teórica assume certas condições (ex: acurácia do professor) que são aproximadamente satisfeitas na prática, mas difíceis de caracterizar puramente a partir de conjuntos de aumento discretos.

Em conclusão, o ConfiG representa um passo em direção a uma destilação de conhecimento mais robusta em ambientes de dados escassos e enviesados, preenchendo efetivamente a lacuna entre as capacidades de modelos de fundação de grande escala e redes estudantes menores e implantáveis.