Resumo Técnico: Destilação de Trajetória Robusta

Declaração do Problema

A Destilação de Conjuntos de Dados (Dataset Distillation - DD) visa condensar grandes conjuntos de dados em subconjuntos sintéticos compactos e ricos em informações para permitir o treinamento e o reuso eficientes de modelos. No entanto, os frameworks de DD existentes assumem implicitamente uma supervisão limpa. Em cenários do mundo real caracterizados por rótulos ruidosos (devido a erros de crowdsourcing, viés humano ou ambiguidade semântica), os métodos padrão de DD correm o risco de condensar associações corrompidas junto com sinais úteis, levando à degradação da robustez e da generalização.

As técnicas atuais de aprendizado com rótulos ruidosos (ex: seleção de amostras, ponderação de perda, correção de rótulos) frequentemente sofrem de três limitações quando aplicadas à DD:

1. Acoplamento Estrito: Elas acoplam rigidamente a estimativa de ruído com a otimização do modelo, criando um loop de feedback autorreferencial que amplifica o viés de confirmação.
2. Dependência de Âncoras Limpas: Muitas exigem subconjuntos de validação limpos ou refinamento iterativo pesado, o que limita a escalabilidade.
3. Restrições de Capacidade: Os conjuntos de dados destilados, tipicamente parametrizados como tensores de imagem de tamanho fixo, restringem a capacidade representacional, causando uma compressão prematura de informação antes que o ruído e os sinais limpos possam ser desmembrados.

O desafio central é melhorar tanto a qualidade (fidelidade dos dados sintéticos) quanto a capacidade (quantidade de supervisão de alta qualidade absorvida) dos dados destilados sob supervisão ruidosa, sem a necessidade de relabelagem ou subconjuntos limpos.

Metodologia

Os autores propõem a Destilação de Trajetória Robusta, um framework que suprime o ruído e preserva o conhecimento transferível de forma conjunta através de dois módulos complementares integrados a um pipeline de DD de correspondência de trajetória. O framework opera via um esquema de otimização bilevel onde um modelo estudante treinado no conjunto de dados sintético $S$ é otimizado para corresponder à dinâmica de aprendizado de um modelo professor treinado no conjunto de dados real ruidoso $D_{real}$.

1. Reponderação de Orientação Seletiva (Selective Guidance Reweighting - SGR)

A SGR refina a trajetória do professor atribuindo pesos específicos às amostras baseados em estimativas de confiabilidade, garantindo que o professor forneça sinais de orientação mais limpos. Ela emprega um estimador híbrido combinando:

• Consistência Dinâmica ($W_{knn}$): Baseada em K-Nearest Neighbors (KNN) no espaço de características. Mede o acordo entre o rótulo observado de uma amostra e os rótulos previstos de seus vizinhos usando divergência de Jensen-Shannon.
• Prior Estático ($W_{ssft}$): Derivado do "Segundo Tempo de Esquecimento" (Second-Split Forgetting Time - SSFT). Quantifica a dificuldade da amostra registrando a época mais precoce em que uma amostra é classificada corretamente ($t_{learn}$) e a época mais precoce em que ela é subsequentemente classificada incorretamente ($t_{forget}$). Amostras aprendidas tardiamente e esquecidas precocemente recebem pesos menores.

Esses escores são fundidos via uma interpolação convexa dependente do tempo ($W_t$) que transita de priors estáticos para consistência dinâmica conforme o treinamento progride. Esta reponderação progressiva prioriza a supervisão limpa ao longo da trajetória do professor.

2. Alvos Auxiliares Inspirados pelo Professor (Teacher-Inspired Auxiliary Targets - TIAT)

Enquanto a SGR melhora a qualidade do sinal do professor, a TIAT aborda a absorção desses sinais pelo estudante. Ela injeta regularização auxiliar para garantir que o conjunto de dados destilado permaneça alinhado com a supervisão limpa no espaço de representação.

• Agregação de Confiança Probabilística: O framework agrega pesos de confiabilidade através de múltiplas trajetórias do professor para estimar a confiança geral de uma amostra.
• Seleção Consciente de Incerteza: Um subconjunto confiável de amostras ($D_{sub}$) é selecionado com base na alta confiabilidade estática e baixa variância nos escores de confiança ao longo das trajetórias.
• Perda Auxiliar: O modelo professor é ajustado (fine-tuned) em $D_{sub}$ para produzir um checkpoint "mais limpo" ($\theta^{ft}$). Uma perda auxiliar é computada para alinhar a trajetória do estudante com este checkpoint refinado, além da perda padrão de correspondência de trajetória.

O objetivo total combina a perda de alinhamento de trajetória padrão ($\mathcal{L}_{match}$) e a perda auxiliar ($\mathcal{L}_{aux}$), equilibradas por um coeficiente $\beta$.

Principais Contribuições

1. Reponderação Híbrida Progressiva: A introdução de um mecanismo que integra reponderação de amostras dinâmica (baseada em KNN) e estática (baseada em tempo de esquecimento). Isso funde sinais complementares da trajetória do professor para suprimir robustamente o ruído de rótulo sem relabelagem.
2. Regularização de Orientação Auxiliar: Um novo módulo (TIAT) que impõe consistência com trajetórias limpas durante a destilação. Ao utilizar seleção consciente de incerteza e alvos auxiliares derivados de dinâmicas intermediárias do professor, ele amplifica a influência de sinais limpos e mitiga a amplificação de erro.
3. Design de Preservação de Rótulo e Leveza: O framework não requer nem relabelagem nem cronogramas de retreinamento custosos, tornando-o prático para conjuntos de dados ruidosos de larga escala do mundo real.
4. Validação Empírica: Experimentos extensos demonstram melhorias consistentes sobre os baselines de estado da arte em DD (ex: DATM, DANCE), sob regimes de ruído simétrico, assimétrico e conjuntos de dados ruidosos do mundo real (CIFAR-N).

Resultados Experimentais

O método foi avaliado em CIFAR-10, CIFAR-100, CIFAR-N e Tiny-ImageNet sob regimes de ruído simétrico (20%, 40%) e assimétrico.

• Ganhos de Desempenho: O método proposto supera consistentemente os fortes baselines. Por exemplo, no CIFAR-10 com 40% de ruído simétrico e 1000 IPC, alcançou 81,4% de acurácia comparado aos 76,7% do DATM. Sob 40% de ruído assimétrico, atingiu 75,0% (vs. 71,4% do DATM).
• Ruído do Mundo Real: No CIFAR-N (ruído anotado por humanos), o método mostrou resiliência superior, particularmente conforme a taxa de ruído aumentava (ex: caso "Worst" com ~40% de ruído), mantendo uma margem de mais de 3% de melhoria sobre o melhor baseline em IPCs mais altos.
• Estudos de Ablação:
  • Adicionar SGR ao baseline proporcionou ganhos estáveis em todos os tipos de ruído, com melhorias significativas em cenários de ruído severo (ex: +4,7% em 10 IPC com 40% de ruído).
  • Adicionar TIAT impulsionou ainda mais o desempenho, particularmente em regimes de alto ruído, confirmando o benefício da supervisão auxiliar filtrada por incerteza.
  • Amostragem Diversa: Treinar múltiplas trajetórias de professor com coeficientes de equilíbrio estático-dinâmico ($\alpha_{max}$) variáveis provou ser mais robusto do que estratégias de amostragem fixa.
• Eficiência: O método introduz um uso negligenciável de memória GPU de pico. O overhead computacional é moderado (ex: ~1.5x de tempo de execução no CIFAR-10 com 500 IPC), primariamente devido à estimativa de confiabilidade e construção de alvos auxiliares.

Significância

O artigo posiciona este trabalho como uma solução para o problema pouco explorado de destilação de conjuntos de dados sob supervisão ruidosa. Ao desacoplar a estimativa de ruído do loop de otimização através de reponderação baseada em trajetória e regularização auxiliar, o framework oferece uma abordagem robusta e "plug-and-play" para gerar conjuntos de dados sintéticos de alta qualidade a partir de dados imperfeitos. Os autores afirmam que isso pavimenta o caminho para pesquisas futuras em destilação de conjuntos de dados resilientes ao ruído, permitindo o retreinamento eficiente de modelos e o compartilhamento de dados mesmo quando a supervisão limpa não está disponível.