Resumo Técnico: Supervisão Probabilística Profunda (DPS) para Classificação de Imagens

1. Definição do Problema

Redes neurais profundas para classificação de imagens são tipicamente treinadas usando alvos rígidos (hard targets — codificação one-hot). Esta abordagem descarta o "conhecimento sombrio" (dark knowledge) — a informação matizada e específica de cada amostra sobre as similaridades e ambiguidades entre classes (por exemplo, a diferença entre classificar erroneamente um cachorro como um gato versus um bule de chá). Depender exclusivamente de alvos rígidos promove o excesso de confiança, limita a calibração e reduz a robustez, particularmente na presença de ruído nos rótulos.

Métodos existentes de autodestilação tentam recuperar o conhecimento sombrio aproveitando as próprias predições do modelo. No entanto, as abordagens atuais sofrem de várias limitações:

• Dependência de Alvos Rígidos: A maioria dos métodos ainda incorpora um termo de perda derivado dos rótulos rígidos originais, restringindo a capacidade do modelo de aprender predições totalmente calibradas e matizadas.
• Falta de Modelagem de Incerteza: Eles não modelam explicitamente a incerteza preditiva, o que impacta negativamente a calibração.
• Variância e Instabilidade: Métodos que dependem de consistência por época ou por mini-lote (ex: Temporal Ensembling, DLB) podem introduzir variância sob aumento de dados (data augmentation) ou depender de estados de modelo quase idênticos.
• Sensibilidade ao Ruído: Em regimes superparametrizados, a dependência de alvos rígidos pode exacerbar o fenômeno da "descida dupla" (double descent) sob ruído de rótulo.

2. Metodologia: Supervisão Probabilística Profunda (DPS)

Os autores propõem a Supervisão Probabilística Profunda (DPS), um framework que constrói distribuições de alvos específicas para cada amostra via inferência estatística sobre as próprias predições do modelo, operando independentemente de alvos rígidos após a inicialização.

Estrutura Central: Estimativa Bayesiana Recursiva

O DPS enquadra o treinamento como um problema de Estimativa Bayesiana Recursiva. A rede neural é tratada como um "sensor" que observa a distribuição de classe real de uma entrada $x_i$.

1. Variável Latente: Uma variável de classe latente $z_i$ é modelada com uma distribuição categórica $z_i \sim \text{Cat}(y_i)$, onde $y_i$ representa as probabilidades reais das classes.
2. Prior: Uma distribuição Dirichlet prior $y_i \sim \text{Dir}(\alpha_i)$ é utilizada. Os parâmetros iniciais $\alpha^0_i$ são definidos com base no rótulo rígido (alta concentração na classe rotulada, baixa nas demais) para estabelecer uma crença a priori.
3. Verossimilhança (Likelihood): A predição do modelo $\hat{y}^t_i$ na época $t$ é tratada como uma medição ruidosa (evidência) com uma verossimilhança proporcional ao produto das probabilidades das classes elevadas às potências preditas.
4. Atualização da Posterior: A distribuição posterior é atualizada acumulando evidências. Para lidar com a natureza não estacionária do ruído de medição (as predições melhoram conforme o treinamento progride), um modelo Bayesiano descontado é empregado.

A Regra de Atualização

A distribuição do alvo é atualizada recursivamente usando um fator de desconto $\gamma \in [0, 1]$:
$$\alpha^t_i = \gamma \alpha^{t-1}_i + \hat{y}^t_i$$
Isso leva à regra de atualização do alvo:
$$y^t_i = \frac{\gamma A^{t-1}_i}{\gamma A^{t-1}_i + 1} y^{t-1}_i + \left(1 - \frac{\gamma A^{t-1}_i}{\gamma A^{t-1}_i + 1}\right) \hat{y}^t_i$$
onde $A^t_i$ é a soma dos parâmetros de Dirichlet.

• Mecanismo: No início do treinamento, o prior domina. À medida que o treinamento progride, as predições recentes (que são mais precisas) são ponderadas mais pesadamente, enquanto evidências antigas e mais ruidosas são "esquecidas" via fator de desconto $\gamma$.
• Independência: Após a inicialização, a distribuição do alvo evolui puramente com base nas predições do modelo e na atualização Bayesiana, desacoplando o processo de aprendizado dos rótulos rígidos originais.

Relação com Métodos Existentes

Os autores demonstram que o DPS unifica e generaliza diversos métodos existentes:

• Treinamento Convencional: Corresponde a $\gamma \to 0$ e concentração infinita do prior (fixando o alvo).
• Suavização de Rótulos (Label Smoothing): É aproximada quando $\gamma$ está próximo de 1 e inicializada em um ponto fixo específico com $\epsilon$ não nulo.
• PS-KD / DLB: Recuperados ao definir $\gamma = 0$ (usando apenas a predição mais recente) ou aplicando atualizações no nível do mini-lote.
• Temporal Ensembling (TE): Corresponde a um prior impróprio com ponderação explícita.

3. Principais Contribuições

1. Framework Inovador: Introdução do DPS, um framework leve e principiado para construir distribuições de alvos matizadas que opera independentemente de alvos rígidos após a inicialização.
2. Formalização Teórica: A primeira formalização teórica do "conhecimento sombrio" como uma decomposição da saída da rede em componentes inter-classe ($\mu_k$) e específicos da amostra ($\delta(x_i)$), mostrando que o DPS captura ambos.
3. Superioridade Empírica: Experimentos extensos demonstrando que o DPS supera os métodos de autodestilação existentes e a destilação de conhecimento convencional em generalização e calibração.
4. Robustez: Demonstração de que o DPS provê robustez contra corrupções de dados, perturbações e ruído de rótulo, mitigando especificamente a curva de descida dupla por época.

4. Resultados Experimentais

Os autores avaliaram o DPS no CIFAR-10, CIFAR-100, TinyImageNet e ImageNet utilizando arquiteturas ResNet, DenseNet e ViT.

Generalização e Acurácia

• Ganhos de Desempenho: O DPS consistentemente produz maior acurácia de teste. Por exemplo, no ImageNet com DenseNet-264, o DPS melhorou a acurácia em +2,0% em relação ao baseline e +1,0% em relação ao melhor método de autodestilação.
• Comparação: O DPS supera a destilação de conhecimento convencional e aproxima-se do desempenho de ensembles de modelos.

Calibração

• Redução de ECE: O DPS reduz significamente o Erro de Calibração Esperado (ECE). No CIFAR-100 com ResNet-50, o ECE foi reduzido em 40% comparado ao melhor método de autodestilação e em mais de 60% comparado ao baseline.
• NLL: A Log-Verossimilhança Negativa (NLL) foi reduzida em mais de 70% para redes convolucionais em comparação ao baseline.
• Confiabilidade: Diagramas de confiabilidade mostram que as curvas do DPS estão mais próximas da diagonal, indicando uma estimativa de probabilidade superior.

Robustez a Ruídos e Corrupções

• Ruído de Rótulo: Sob 20% de ruído simétrico e assimétrico de rótulo, o DPS alcançou resultados de estado da arte entre métodos de rede única. Notavelmente, ele achatou a curva de descida dupla observada em outros métodos, indicando um processo de aprendizado mais estável.
• Corrupções: No CIFAR-10-C (corrupções) e CIFAR-10-P (perturbações), o DPS alcançou a maior acurácia e o menor Mean Flip Probability (mFP) entre todas as arquiteturas.
• Aumento de Dados: Quando combinado com CutOut e CutMix, o DPS superou consistentemente os baselines e o DLB, com ganhos de até 4,1 pontos percentuais no CIFAR-100.

Ablação e Análise

• Hiperparâmetros: O fator de desconto $\gamma$ e a concentração do prior $c$ permitem o ajuste entre acurácia e calibração. Uma configuração específica ($\gamma=0.97, c=2000$) alcançou um ECE de 1,33% no CIFAR-100, embora com um leve compromisso na acurácia.
• Visualização do Conhecimento Sombrio: Visualizações confirmaram que o DPS promove o aprendizado de relações inter-classe significativas (ex: agrupando animais) e desvios específicos de amostras de forma mais eficaz que o treinamento convencional.

5. Significância e Alegações

O artigo afirma que o DPS representa uma mudança da autodestilação heurística para uma abordagem probabilística fundamentada. Ao modelar explicitamente a incerteza preditiva e se desvincular de alvos rígidos, o DPS aborda as limitações fundamentais de excesso de confiança e má calibração no aprendizado profundo.

Os autores enfatizam que o DPS:

• Proporciona estimativas de probabilidade mais suaves e robustas.
• Mitiga o fenômeno da descida dupla sob ruído de rótulo.
• Alcança robustez de estado da arte quando combinado com perda contrastiva ou técnicas padrão de aumento de dados.
• Oferece uma implementação leve, com overhead computacional desprezível ($O(BK)$ por lote) em comparação com o passo de forward-backward.

O trabalho sugere que tratar o processo de treinamento como um problema de inferência Bayesiana, onde as próprias predições do modelo servem como evidência evolutiva, é uma estratégia superior para alcançar modelos de aprendizado profundo calibrados, generalizáveis e robustos.