Resumo Técnico: D3O - Destilação de Distribuição Dinâmica para Regressão Ordinal

1. Definição do Problema e Motivação

A regressão ordinal aborda tarefas de predição onde os rótulos são discretos, mas inerentemente ordenados (ex: estimativa de idade, gradação de severidade de doenças). Diferente da classificação padrão, a ordem relativa das categorias carrega significado semântico; diferente da regressão, o espaço de alvo é categórico.

O artigo identifica uma limitação fundamental nos métodos existentes de regressão ordinal: a supervisão estática. As abordagens atuais dependem de rótulos pré-definidos e fixos (frequentemente codificados como one-hot ou distribuições suaves estáticas) durante todo o processo de treinamento. Os autores argumentam que esse paradigma é inadequado para cenários do mundo real porque:

1. Ambiguidade e Ruído: Rótulos ordinais são frequentemente derivados da discretização de semânticas contínuas subjacentes através do julgamento humano subjetivo. Esse processo cria fronteiras de classe ambíguas (ex: distinguir entre estágios de doença "moderada" e "grave") e introduz ruído de anotação.
2. Restrições Rígidas: A supervisão estática impõe restrições de ordenação globalmente rígidas. Se um rótulo é ruidoso ou ambíguo, o modelo é forçado a tratá-lo como uma verdade determinística, potencialmente reforçando suposições incorretas e dificultando a recuperação da verdadeira estrutura ordinal contínua.
3. Falta de Adaptabilidade: Os métodos existentes carecem de mecanismos para se adaptar à ambiguidade dependente da amostra ou para refinar os sinais de supervisão conforme as representações internas do modelo evoluem durante o treinamento.

2. Metodologia: Estrutura D3O

Para enfrentar essas limitações, os autores propõem o D3O (Dynamic Distribution Distillation), uma estrutura que muda da adequação de alvo estático para a evolução da supervisão adaptativa via autodestilação. A ideia central é tratar a distribuição do rótulo não como uma verdade fundamental fixa, mas como um sinal dinâmico que evolui junto com o aprendizado do modelo.

2.1 Estrutura Geral de Autodestilação

Em vez de otimizar unicamente contra um rótulo de verdade fundamental fixo $y_i$, o D3O constrói uma distribuição de professor em evolução $q_t(y|x)$ derivada das crenças internas atuais do modelo. Essa distribuição serve como um alvo de supervisão suave e dinâmica para o modelo estudante. Os parâmetros do professor são atualizados via uma Média Móvel Exponencial (EMA) dos parâmetros do estudante. O objetivo de treinamento minimiza a discrepância entre a predição do estudante $p_\theta(y|x)$ e esta distribuição de professor dinâmica.

2.2 Realce de Rótulo com Contraste de Consciência Ordinal (COLE)

Para gerar a distribuição de professor de alta qualidade, os autores introduzem o módulo COLE, que utiliza o alinhamento visão-linguagem para recuperar distribuições de rótulos específicas da instância:

• Aprendizado de Representação Contrastiva: O modelo alinha os embeddings de imagem com os embeddings de texto dos rótulos ordinais (derivados de um codificador de texto CLIP pré-treinado) usando uma perda contrastiva. Isso garante que o espaço de embedding capture a ordenação relativa dos rótulos.
• Recuperação de Distribuição Baseada em Atenção: Um mecanismo de atenção de produto escalar escalonado usa o embedding da imagem como query e os embeddings dos rótulos ordinais como keys/values. Isso agrega a informação do rótulo para produzir logits específicos da instância.
• Aprendizado Regularizado por Ordem: Para garantir que a distribuição recuperada respeite a geometria ordinal, uma restrição de classificação ponderada pela distância é aplicada. Isso penaliza classificações incorretas proporcionalmente à distância ordinal da verdade fundamental, incentivando uma distribuição unimodal centrada no ranking real, enquanto permite incerteza em categorias adjacentes.

2.3 Destilação de Interação Entre Camadas Baseada em CDF

Reconhecendo que a semântica ordinal pode emergir em diferentes profundidades da rede, os autores propõem um mecanismo para propagar a estrutura ordinal cumulativa através das camadas:

• Formulação da Função de Distribuição Cumulativa (CDF): Em vez de alinhar probabilidades de classe brutas, o método converte as distribuições preditivas das camadas intermediárias e a distribuição do professor em CDFs (probabilidades cumulativas $P(y \le k)$).
• Consistência Entre Camadas: Uma perda de destilação impõe consistência entre as CDFs das camadas intermediárias do estudante e a CDF da distribuição do professor dinâmica. Isso garante que as camadas rasas herdem informações ordinais estruturalmente coerentes, preservando a consistência de ranking global em toda a hierarquia da rede.

2.4 Objetivo Geral

O objetivo total de treinamento combina três termos:

1. Supervisão Ordinal Estática ($L_{CE}$): Perda de entropia cruzada padrão contra a verdade fundamental para manter a estabilidade.
2. Perda COLE ($L_{COLE}$): Uma combinação de perda contrastiva e perda de ranking ordinal para refinar a distribuição do professor.
3. Perda de Autodestilação ($L_{SD}$): Inclui a divergência KL entre o estudante e o professor na camada final, além da perda de interação entre camadas baseada em CDF.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

1. Revisão do Design de Supervisão: Os autores identificam a tensão entre a supervisão globalmente fixa e as anotações ordinais ambíguas, argumentando que tratar relações ordinais como limites determinísticos limita a robustez. Eles propõem uma mudança para a evolução da supervisão adaptativa.
2. Destilação de Distribuição Dinâmica: Eles projetam uma evolução da distribuição de rótulos impulsionada pelo treinamento via autodestilação. Isso inclui o módulo COLE para recuperar distribuições conscientes da ambiguidade e um mecanismo baseado em CDF para consistência hierárquica.
3. Validação Empírica: Experimentos extensos demonstram que o D3O supera consistentemente os métodos de estado da arte, particularmente em cenários desafiadores caracterizados por anotações ruidosas e desequilíbrio de classes.

4. Resultados Experimentais

Os autores avaliaram o D3O em quatro tarefas representativas de regressão ordinal: Avaliação de Estética de Imagem, Estimativa de Idade Facial (MORPH II, Adience), Datação de Imagens Históricas e Graduação de Retinopatia Diabética (DR).

• Desempenho: O D3O alcançou resultados de estado da arte em todos os conjuntos de dados.
  • Em Estética de Imagem, alcançou o menor Erro Absoluto Médio (MAE) de 0,227 e a maior acurácia (77,5%).
  • Na Estimativa de Idade Facial (MORPH II), reduziu o MAE para 2,03, superando o melhor anterior (2,08).
  • Em Datação de Imagens Históricas, melhorou a acurácia para 71,7%.
  • Na Graduação de DR, uma tarefa com severo desequilíbrio de classes e ruído subjetivo, o D3O alcançou 83,9% de acurácia e 0,23 de MAE, superando significativamente métodos que dependem de rótulos suaves estáticos (ex: SORD, que teve um MAE de 0,73).
• Robustez ao Ruído: Em experimentos com rótulos artificialmente perturbados (até 50% de ruído), o D3O demonstrou uma degradação de desempenho significativamente mais lenta em comparação com baselines como CoOp e NumCLIP, validando sua capacidade de lidar com ruído de anotação.
• Estudos de Ablação: Remover qualquer um dos três componentes principais (Autodestilação, COLE ou destilação de CDF) resultou em quedas de desempenho, confirmando que cada módulo fornece benefícios complementares.
• Visualização: Visualizações das distribuições de rótulos recuperadas mostraram que o modelo refina progressivamente seus sinais de supervisão, movendo-se de distribuições instáveis e dispersas no início do treinamento para distribuições alinhadas com a estrutura ordinal subjacente nos estágios posteriores.

5. Significância e Alegações

O artigo afirma que a principal significância do D3O reside em mover o campo da regressão ordinal além do ajuste de rótulo estático em direção à evolução da supervisão adaptativa.

• Lidando com a Incerteza: Os autores argumentam que alvos estáticos falham em capturar a incerteza e a ambiguidade inerentes aos dados ordinais anotados por humanos. Ao refinar dinamicamente os sinais de supervisão, o D3O permite que o modelo aprenda representações mais robustas que são menos sensíveis a rótulos ruidosos ou enviesados.
• Consistência Hierárquica: A destilação entre camadas baseada em CDF aborda o problema de a semântica ordinal ser perdida em camadas rasas, garantindo que toda a hierarquia da rede mantenha o raciocínio ordinal consistente.
• Generalização: O método mostra-se eficaz não apenas em benchmarks padrão, mas também em cenários reais difíceis envolvendo imagens médicas (graduação de DR) onde o desequilíbrio de classes e o diagnóstico subjetivo são prevalentes.

Os autores concluem que o aprendizado de representação ordinal robusto requer o afastamento da suposição de que os rótulos são perfeitamente confiáveis, abraçando, em vez disso, uma estrutura onde a supervisão evolui para refletir melhor a semântica contínua subjacente dos dados.