Distribution-Free Pretraining of Classification Losses via Evolutionary Dynamics

Resumo Técnico: Pré-treinamento Livre de Distribuição de Funções de Perda para Classificação via Dinâmica Evolutiva

Declaração do Problema
Na classificação supervisionada, as funções de perda são críticas para moldar a dinâmica de otimização, a estabilidade do treinamento e a generalização. No entanto, objetivos amplamente utilizados, como a entropia cruzada, são formas analíticas fixas que podem tornar-se subótimas quando as condições de treinamento mudam (por exemplo, ruído nos rótulos, desequilíbrio de classes ou capacidade variável do modelo). Embora abordagens recentes tenham tentado aprender ou adaptar funções de perda, elas tipicamente dependem de dados reais de tarefas e trajetórias de treinamento específicas para supervisão no loop externo. Essa dependência introduz três limitações principais: (1) a supervisão é limitada pelo tamanho do conjunto de dados e por restrições de privacidade; (2) objetivos aprendidos podem absorver vieses específicos do conjunto de dados, prejudicando a transferência entre tarefas; e (3) aprender uma função de perda é um problema complexo de busca de forma que é frequentemente sensível a ruídos e propenso a otimização instável ao usar métodos baseados em gradiente em dados reais.

Metodologia: Perda Dinâmica Evolutiva (EDL)
Os autores propõem a Perda Dinâmica Evolutiva (EDL), um framework que aprende uma função de perda para classificação transferível diretamente no espaço de probabilidades, sem acessar amostras reais durante a fase de pré-treinamento. A metodologia consiste em três componentes principais:

1. Supervisão Sintética Livre de Distribuição:
   Em vez de usar imagens reais, a EDL é treinada em pares ilimitados de previsão–rótulo sintéticos $(p, y)$ amostrados do simplex de probabilidade. O sinal de supervisão baseia-se em um objetivo de consistência de ordenação. O framework impõe um princípio de monotonicidade: previsões com maior severidade de erro (previsões mais difíceis) devem incorrer em penalidades de perda maiores.

   • Proxy de Dificuldade: Uma pontuação determinística $D(p, y) = 1 - p_y$ é computada, onde $p_y$ é a probabilidade prevista da classe verdadeira.
   • Objetivo: A rede de perda é treinada para preservar a ordenação dessas pontuações de dificuldade. Para quaisquer dois pares sintéticos, se $\Delta D > 0$, a diferença de perda $\Delta L$ também deve ser positiva. Isso é otimizado usando uma perda de ordenação por pares suave (por exemplo, softplus em $-\Delta L \cdot \Delta D$).
   • Estratégia de Amostragem: Para garantir robustez em todo o espectro de confiança, dados sintéticos são extraídos de uma distribuição de mistura controlável que enfatiza regiões de confiança extrema (próximas de 0 ou 1) e regiões de confusão de fronteira, que são críticas para a dinâmica de treinamento.

2. Otimização Evolutiva com Mutação Caótica:
   Como a paisagem de aptidão é ruidosa (estimada via amostragem de Monte Carlo de pares sintéticos) e o objetivo é buscar uma forma funcional em vez de ajustar parâmetros fixos, os autores empregam uma Estratégia Evolutiva (ES) em vez de descida de gradiente.

   • Busca Baseada em População: Uma população de redes de perda candidatas é evoluída ao longo de gerações.
   • Mutação Caótica: Para melhorar a exploração global e evitar convergência prematura, os autores introduzem um operador de mutação impulsionado pelo Mapa Logístico ($x_{t+1} = 4x_t(1-x_t)$). Isso gera um coeficiente caótico que modula adaptativamente o tamanho do passo de mutação. Diferentemente do ruído gaussiano de escala fixa, isso cria um padrão de passo "intermitente": passos predominantemente pequenos para estabilidade, intercalados com passos grandes raros para escapar de ótimos locais.
   • Agendamento Adaptativo: A escala de mutação alterna entre valores altos e baixos com base na precisão atual de consistência de tendência para equilibrar exploração e refinamento.

3. Arquitetura:
   A EDL é parametrizada como uma Rede Perceptron Multicamada (MLP) leve que recebe como entrada concatenada a distribuição preditiva $p$ e o rótulo one-hot $e_y$, produzindo uma perda escalar não negativa via ativação Softplus.

Principais Contribuições

1. Formulação Livre de Distribuição: Uma abordagem inovadora para aprender uma perda paramétrica diretamente a partir de pares de previsão–rótulo sintéticos no espaço de probabilidades, eliminando a necessidade de dados reais durante a fase de pré-treinamento da perda.
2. Estratégia de Busca Evolutiva: O desenvolvimento de um framework de treinamento evolutivo para busca de forma de perda, introduzindo especificamente mutação caótica impulsionada por Mapa Logístico para aprimorar a exploração global e a robustez sob supervisão por pares ruidosa.
3. Prior de Perda Transferível: Demonstração de que a prior de perda resultante pode ser usada como substituição "plug-and-play" para objetivos padrão no treinamento de classificadores a jusante, gerando generalização estável e competitiva.

Resultados Experimentais
Os autores avaliaram a EDL no conjunto de dados CIFAR-10 usando backbones ResNet (ResNet8, ResNet20, ResNet32).

• Desempenho: A EDL treinada com estratégia evolutiva e mutação caótica (EDL-ES-Chaotic) alcançou acurácia Top-1 competitiva ou melhorada em comparação com a Entropia Cruzada padrão e outras bases de perda aprendida (por exemplo, L2T-DLN, ELF, SLF). Por exemplo, no ResNet32, a EDL-ES-Chaotic alcançou 93,9% de acurácia, superando a Entropia Cruzada (92,5%) e a maioria dos outros métodos de perda aprendida.
• Ablação sobre Mutação: Comparações entre mutação caótica e mutação gaussiana padrão mostraram que a mutação caótica levou a uma convergência mais rápida nas fases inicial a intermediária do pré-treinamento. Ela alcançou uma aptidão global melhor final significativamente menor (0,01994 vs. 0,02810) e aptidão média menor ao longo das épocas, mantendo 100% de precisão de consistência de tendência.
• Descida de Gradiente vs. Evolução: O estudo notou que otimizar a EDL via descida de gradiente em pares sintéticos (EDL-GD) resultou em menor transferibilidade para dados reais em comparação com a abordagem evolutiva, destacando a importância da estratégia de busca global.

Significado e Alegações
O artigo alega que a EDL fornece um método robusto e agnóstico ao conjunto de dados para aprender funções de perda para classificação. Ao desacoplar o pré-treinamento da perda de dados reais e utilizar um objetivo de ordenação livre de semântica, o framework evita o sobreajuste a vieses específicos de conjuntos de dados. A introdução da mutação caótica aborda os desafios de otimizar objetivos de busca de forma não diferenciáveis ou ruidosos. Os autores posicionam a EDL como uma solução prática e plug-and-play que melhora a generalização em pipelines de treinamento padrão, sem exigir configurações complexas de meta-aprendizado ou acesso a dados reais em grande escala para a própria fase de aprendizado da perda.