Resumen Técnico: Supervisión Probabilística Profunda (DPS) para la Clasificación de Imágenes

1. Planteamiento del Problema

Las redes neuronales profundas para la clasificación de imágenes se entrenan típicamente utilizando objetivos duros (hard targets, codificación one-hot). Este enfoque descarta el "conocimiento oscuro" (dark knowledge): la información matizada y específica de cada muestra relativa a las similitudes e incertidumbres entre clases (por ejemplo, la diferencia entre clasificar erróneamente un perro como un gato frente a un perro como una tetera). Depender únicamente de objetivos duros promueve el exceso de confianza, limita la calibración y reduce la robustez, particularmente en presencia de ruido en las etiquetas.

Los métodos existentes de autodestilación (self-distillation) intentan recuperar el conocimiento oscuro aprovechando las propias predicciones del modelo. Sin embargo, los enfoques actuales sufren varias limitaciones:

• Dependencia de Objetivos Duros: La mayoría de los métodos aún incorporan un término de pérdida derivado de las etiquetas duras originales, lo que restringe la capacidad del modelo para aprender predicciones totalmente calibradas y matizadas.
• Falta de Modelado de Incertidumbre: No modelan explícitamente la incertidumbre predictiva, lo que impacta negativamente en la calibración.
• Varianza e Inestabilidad: Los métodos que dependen de la consistencia por época o por mini-lote (por ejemplo, Temporal Ensembling, DLB) pueden introducir varianza bajo aumentos de datos o depender de estados de modelo casi idénticos.
• Sensibilidad al Ruido: En regímenes sobreparametrizados, la dependencia de objetivos duros puede exacerbar el fenómeno de "doble descenso" (double descent) bajo ruido de etiquetas.

2. Metodología: Supervisión Probabilística Profunda (DPS)

Los autores proponen la Supervisión Probabilística Profunda (DPS), un marco que construye distribuciones de objetivos específicas para cada muestra mediante inferencia estadística sobre las propias predicciones del modelo, operando independientemente de los objetivos duros tras la inicialización.

Marco Central: Estimación Bayesiana Recursiva

DPS plantea el entrenamiento como un problema de Estimación Bayesiana Recursiva. La red neuronal es tratada como un "sensor" que observa la distribución de clases real de una entrada $x_i$.

1. Variable Latente: Se modela una variable de clase latente $z_i$ con una distribución categórica $z_i \sim \text{Cat}(y_i)$, donde $y_i$ representa las probabilidades de clase reales.
2. Prior: Se utiliza un prior de Dirichlet $y_i \sim \text{Dir}(\alpha_i)$. Los parámetros iniciales $\alpha^0_i$ se establecen basados en la etiqueta dura (alta concentración en la clase etiquetada, baja en las demás) para establecer una creencia previa.
3. Verosimilitud (Likelihood): La predicción del modelo $\hat{y}^t_i$ en la época $t$ se trata como una medición ruidosa (evidencia) con una verosimilitud proporcional al producto de las probabilidades de clase elevadas a las potencias predichas.
4. Actualización del Posterior: La distribución posterior se actualiza acumulando evidencia. Para manejar la naturaleza no estacionaria del ruido de medición (las predicciones mejoran conforme avanza el entrenamiento), se emplea un modelo bayesiano descontado.

La Regla de Actualización

La distribución de objetivos se actualiza recursivamente utilizando un factor de descuento $\gamma \in [0, 1]$:
$$\alpha^t_i = \gamma \alpha^{t-1}_i + \hat{y}^t_i$$
Esto conduce a la regla de actualización de objetivos:
$$y^t_i = \frac{\gamma A^{t-1}_i}{\gamma A^{t-1}_i + 1} y^{t-1}_i + \left(1 - \frac{\gamma A^{t-1}_i}{\gamma A^{t-1}_i + 1}\right) \hat{y}^t_i$$
donde $A^t_i$ es la suma de los parámetros de Dirichlet.

• Mecanismo: Al principio del entrenamiento, el prior domina. A medida que el entrenamiento progresa, las predicciones recientes (que son más precisas) se ponderan más fuertmente, mientras que la evidencia más antigua y ruidosa se "olvida" mediante el factor de descuento $\gamma$.
• Independencia: Tras la inicialización, la distribución de objetivos evoluciona únicamente basada en las predicciones del modelo y la actualización bayesiana, desacoplando el proceso de aprendizaje de las etiquetas duras originales.

Relación con Métodos Existentes

Los autores demuestran que DPS unifica y generaliza varios métodos existentes:

• Entrenamiento Convencional: Corresponde a $\gamma \to 0$ e infinita concentración del prior (fijando el objetivo).
• Suavizado de Etiquetas (Label Smoothing): Se aproxima cuando $\gamma$ está cerca de 1 e se inicializa en un punto fijo específico con $\epsilon$ no nulo.
• PS-KD / DLB: Se recuperan configurando $\gamma = 0$ (usando solo la predicción más reciente) o aplicando actualizaciones a nivel de mini-lote.
• Ensamble Temporal (TE): Corresponde a un prior impropio con ponderación explícita.

3. Contribuciones Clave

1. Marco Novedoso: Introducción de DPS, un marco ligero y fundamentado para construir distribuciones de objetivos matizadas que opera independientemente de los objetivos duros tras la inicialización.
2. Formalización Teórica: La primera formalización teórica del "conocimiento oscuro" como una descomposición de la salida de la red en componentes inter-clase ($\mu_k$) y específicos de la muestra ($\delta(x_i)$), demostrando que DPS captura ambos.
3. Superioridad Empírica: Experimentos extensos que demuestran que DPS supera a los métodos de autodestilación existentes y a la destilación de conocimiento convencional en generalización y calibración.
4. Robustez: Demostración de que DPS proporciona robustez contra corrupciones de datos, perturbaciones y ruido de etiquetas, mitigando específicamente el fenómeno de doble descenso por época.

4. Resultados Experimentales

Los autores evaluaron DPS en CIFAR-10, CIFAR-100, TinyImageNet e ImageNet utilizando arquitecturas ResNet, DenseNet y ViT.

Generalización y Precisión

• Ganancias de Rendimiento: DPS produce consistentemente una mayor precisión de prueba. Por ejemplo, en ImageNet con DenseNet-264, DPS mejoró la precisión en un +2.0% sobre el baseline y un +1.0% sobre el mejor método de autodestilación.
• Comparación: DPS supera a la destilación de conocimiento convencional y se acerca al rendimiento de los ensambles de modelos.

Calibración

• Reducción de ECE: DPS reduce significativamente el Error de Calibración Esperado (ECE). En CIFAR-100 con ResNet-50, el ECE se redujo en un 40% comparado con el mejor método de autodestilación y en más de un 60% comparado con el baseline.
• NLL: El Error de Log-Verosimilitud Negativa (NLL) se redujo en más del 70% para redes convolucionales en comparación con el baseline.
• Fiabilidad: Los diagramas de fiabilidad muestran que las curvas de DPS son las más cercanas a la diagonal, indicando una estimación de probabilidad superior.

Robustez ante Ruido y Corrupciones

• Ruido de Etiquetas: Bajo un 20% de ruido simétrico y asimétrico de etiquetas, DPS logró resultados de vanguardia entre los métodos de red única. Notablemente, suavizó la curva de doble descenso observada en otros métodos, indicando un proceso de aprendizaje más estable.
• Corrupciones: En CIFAR-10-C (corrupciones) y CIFAR-10-P (perturbaciones), DPS alcanzó la mayor precisión y la menor probabilidad media de inversión (mean Flip Probability o mFP) en todas las arquitecturas.
• Aumento de Datos: Al combinarse con CutOut y CutMix, DPS superó consistentemente a los baselines y a DLB, con ganancias de hasta 4.1 puntos porcentuales en CIFAR-100.

Ablación y Análisis

• Hiperparámetros: El factor de descuento $\gamma$ y la concentración del prior $c$ permiten ajustar entre precisión y calibración. Una configuración específica ($\gamma=0.97, c=2000$) logró un ECE de 1.33% en CIFAR-100, aunque con un ligero compromiso en la precisión.
• Visualización del Conocimiento Oscuro: Las visualizaciones confirmaron que DPS promueve el aprendizaje de relaciones inter-clase significativas (por ejemplo, agrupando animales) y desviaciones específicas de la muestra de manera más efectiva que el entrenamiento convencional.

5. Significado y Reivindicaciones

El artículo sostiene que DPS representa un cambio de la autodestilación heurística hacia un enfoque probabilístico fundamentado. Al modelar explícitamente la incertidumbre predictiva y desacoplarse de los objetivos duros, DPS aborda las limitaciones fundamentales del exceso de confianza y la mala calibración en el aprendizaje profundo.

Los autores enfatizan que DPS:

• Proporciona estimaciones de probabilidad más suaves y robustas.
• Mitiga el fenómeno de doble descenso bajo ruido de etiquetas.
• Logra una robustez de vanguardia cuando se combina con pérdida contrastiva o técnicas de aumento estándar.
• Ofrece una implementación ligera con un costo computacional despreciable ($O(BK)$ por lote) en comparación con el paso de propagación hacia adelante y hacia atrás (forward-backward pass).

El trabajo sugiere que tratar el proceso de entrenamiento como un problema de inferencia bayesiana, donde las propias predicciones del modelo sirven como evidencia evolutiva, es una estrategia superior para lograr modelos de aprendizaje profundo calibrados, generalizables y robustos.