Fair Dataset Distillation via Cross-Group Barycenter Alignment

1. Formulação do Problema

Distilação de Conjuntos de Dados (DD) visa comprimir um grande conjunto de dados real em um pequeno conjunto de dados sintético, preservando o desempenho preditivo dos modelos treinados nos dados originais. No entanto, quando implantado em aplicações de alto risco (por exemplo, saúde, finanças), os métodos padrão de DD frequentemente falham em manter a equidade entre grupos.

O artigo identifica duas questões críticas:

1. Amplificação de Viés: Os processos de distilação tendem a amplificar vieses existentes nos dados originais. Modelos treinados em dados distilados frequentemente sofrem quedas significativas de desempenho para subgrupos minoritários, levando a grandes lacunas de equidade (medidas pela Diferença de Odds Igualadas, EOD).
2. Equívoco sobre a Causa Raiz: Trabalhos anteriores frequentemente atribuíam essas lacunas exclusivamente ao desequilíbrio de grupos (disparidades no tamanho da amostra). Os autores demonstram que o problema é mais complexo: surge da interação entre o desequilíbrio de grupos e a separação representacional (onde diferentes grupos demográficos exibem padrões preditivos distintos no espaço de características).
   • O DD padrão alinha os dados sintéticos a um único alvo agregado (ponderado pelas contagens de amostras).
   • Se os grupos estão desequilibrados, o alvo é dominado pela maioria.
   • Se os grupos têm representações diferentes, o único alvo não pode minimizar simultaneamente a distância para todos os subgrupos, forçando os dados sintéticos a "escolher um lado", degradando assim o desempenho para os demais.

2. Metodologia: COBRA

Os autores propõem o COBRA (Cross-grOup BaRycenter Alignment), um framework que modifica o objetivo de distilação para ser agnóstico ao desequilíbrio de grupos.

Conceito Central: Baricentro Agnóstico a Grupos

Em vez de otimizar o conjunto de dados sintético para corresponder a uma média ponderada de todas as amostras reais (o que favorece a maioria), o COBRA calcula um baricentro das representações específicas de cada subgrupo.

• Entrada: Para cada classe $y$, o método identifica as estatísticas (por exemplo, gradientes, embeddings ou trajetórias de treinamento) para cada subgrupo demográfico $a$.
• Cálculo do Alvo: Calcula-se um baricentro $m^*_y$ que minimiza a distância total a todas as estatísticas de subgrupos com pesos uniformes ($w_a = 1/|A|$), independentemente do tamanho do subgrupo ($\pi_{a|y}$).
  $$m^*_y = \arg \min_m \sum_{a \in A} d(\Phi_{T_{a|y}}, m)$$
  Onde $\Phi$ representa as estatísticas do subgrupo condicionadas à classe e $d$ é uma medida de discrepância (por exemplo, distância euclidiana ao quadrado).
• Objetivo de Distilação: O conjunto de dados sintético é otimizado para corresponder a este alvo baricêntrico $m^*_y$ em vez da mistura ponderada padrão.

Garantia Teórica

O artigo deriva um limite superior para o resíduo de pior caso (a distância entre a representação verdadeira de um subgrupo e o alvo de distilação).

• Teorema 4.1: Sob condições específicas, o COBRA garante que o resíduo máximo entre todos os subgrupos é menor ou igual ao do alvo padrão (ponderado).
• Ao minimizar o resíduo de pior caso, o COBRA garante que nenhum subgrupo único seja desproporcionalmente "afastado" da representação sintética, reduzindo assim padrões de erro específicos de subgrupos e melhorando as Odds Igualadas.

3. Contribuições Principais

1. Análise Teórica do Viés: Os autores caracterizam formalmente a amplificação de viés na DD como resultado da interação entre desequilíbrio de grupos e separação representacional. Eles provam que corrigir apenas o desequilíbrio é insuficiente se as representações subjacentes diferirem.
2. Framework COBRA: Introdução de uma estratégia principial e agnóstica a modelos que substitui o alvo padrão de distilação por um baricentro agnóstico a grupos. Este método é compatível com técnicas de distilação existentes (Correspondência de Gradientes, Correspondência de Distribuição, Alinhamento de Características, Correspondência de Trajetória).
3. Validação Empírica Abrangente: Experimentos extensivos em diversos conjuntos de dados (correlações espúrias sintéticas e conjuntos de dados reais enviesados como UTKFace e BFFHQ) e backbones de distilação (DC, DM, CAFE, IDC, MTT).

4. Resultados Experimentais

O artigo avalia o COBRA contra DD Padrão e uma linha de base consciente de equidade (FairDD) usando Diferença de Odds Igualadas (EOD) e Acurácia.

• Ganhos de Equidade: O COBRA consistentemente alcança o menor EOD em todos os benchmarks.
  • Exemplo: Em C-MNIST (Fundo) com Correspondência de Distribuição (DM) em IPC=50, o DD Padrão teve um EOD de 100,0, enquanto o COBRA reduziu para 7,46, aumentando simultaneamente a acurácia de 48,8% para 96,8%.
  • Em BFFHQ (conjunto de dados de rostos do mundo real), o COBRA reduziu o EOD de 63,47 para 7,87 com acurácia aprimorada.
• Robustez ao Desequilíbrio e Separação:
  • À medida que o desequilíbrio de grupos (SKEW) aumenta, o EOD do DD Padrão sobe monotonicamente. O COBRA permanece estável.
  • À medida que a separação representacional (GAP) aumenta, o DD Padrão sofre uma queda acentuada na equidade. O COBRA mitiga esse efeito de forma eficaz.
• Generalização:
  • Cross-Arquitetura: Conjuntos de dados distilados gerados pelo COBRA mantêm equidade e acurácia ao treinar arquiteturas diferentes (AlexNet, VGG, ResNet) não utilizadas durante a distilação.
  • Regime de Baixo IPC: O COBRA permanece eficaz mesmo com muito poucas imagens por classe (IPC=1, 3, 5), um regime onde o DD padrão geralmente falha em preservar informações minoritárias.
• Estudos de Ablação:
  • Robustez a Ruído: O COBRA permanece eficaz mesmo quando os rótulos de grupo são ruidosos (até 50% de corrupção) ou parcialmente ausentes (usando pseudo-rótulos).
  • Correspondência de Trajetória: O método estende-se com sucesso à distilação baseada em trajetória (MTT), provando sua aplicabilidade além da correspondência de representação estática.

5. Significado e Impacto

• Mudança de Paradigma: O artigo desloca o foco da equidade na distilação de conjuntos de dados de "reponderação de perdas" (post-hoc ou durante a otimização) para "redefinição da representação alvo". Argumenta-se que a equidade deve ser incorporada no próprio objetivo de agregação.
• Aplicabilidade Prática: O COBRA é uma substituição direta para o cálculo de alvos em pipelines de DD existentes. Não requer alteração no procedimento de treinamento a jusante ou nos mecanismos centrais do algoritmo de distilação, apenas na definição dos dados sintéticos "ideais".
• Endereçamento de Viés do Mundo Real: Ao demonstrar sucesso em conjuntos de dados reais (UTKFace, BFFHQ) com vieses complexos e não sintéticos, o trabalho fornece uma solução viável para implantar modelos comprimidos em domínios sensíveis sem sacrificar a equidade.
• Insight Teórico: A derivação do limite superior para a amplificação de viés fornece uma nova lente teórica para entender por que técnicas padrão de compressão falham em cenários de aprendizado justo.

Em conclusão, o COBRA demonstra que, ao alinhar dados sintéticos a um baricentro compartilhado e balanceado por grupos, é possível alcançar simultaneamente alta acurácia preditiva e robusta equidade entre grupos, desacoplando efetivamente o trade-off frequentemente observado na distilação de conjuntos de dados.