Resumen Técnico: Destilación de Representación Discriminativa y Consistente (DCD)

1. Planteamiento del Problema

La Destilación de Conocimiento (KD) tiene como objetivo transferir conocimiento de modelos maestros de gran capacidad a modelos estudiantes compactos. Aunque los objetivos contrastivos han demostrado ser efectivos para aprender representaciones estructuradas en el aprendizaje auto-supervisado, su aplicación a la destilación enfrenta tres deficiencias prácticas primarias:

1. Sobrecarga de Memoria: Los métodos de destilación contrastiva existentes (por ejemplo, CRD) dependen de bancos de memoria externos para almacenar vectores de características para el muestreo de negativos, lo que introduce costos de memoria significativos y complejidad de implementación.
2. Hiperparámetros Fijos: El uso de hiperparámetros de temperatura fijos limita la adaptabilidad del objetivo contrastivo a través de diferentes etapas de entrenamiento y brechas de capacidad entre maestro y estudiante.
3. Supervisión Estructural Incompleta: Los objetivos de discriminación de instancias típicamente supervisan solo la diagonal de la matriz de similitud entre modelos (alineando una instancia del estudiante con su contraparte del maestro). Esto deja la estructura fuera de la diagonal sin restringir, permitiendo que el estudiante coincida con su propio maestro pero se relacione de manera inconsistente con otras muestras en el lote (batch).

2. Metodología

Los autores proponen la Destilación de Representación Discriminativa y Consistente (DCD), un marco que combina la discriminación de instancias contrastiva con un término de regularización de consistencia sobre la matriz de similitud entre modelos.

2.1 Objetivo Central

La función de pérdida total para entrenar la red estudiante $\theta_S$ se define como:
$$\theta_S = \arg\min_{\theta_S} \sum_{i=1}^N \left( \mathcal{L}_{\text{sup}} + \lambda \cdot \mathcal{L}_{\text{distill}} + \beta \cdot \mathcal{L}_{\text{dcd}} \right)$$
donde $\mathcal{L}_{\text{dcd}}$ es la pérdida de espacio de características propuesta, compuesta por dos términos:
$$\mathcal{L}_{\text{dcd}} = \mathcal{L}_{\text{ctr}} + \alpha \cdot \mathcal{L}_{\text{cst}}$$

2.2 Término Contrastivo ($\mathcal{L}_{\text{ctr}}$)

Este término realiza una discriminación a nivel de instancia. Para un mini-batch de $N$ muestras, la representación del estudiante $z_i^S$ debe identificar su correspondiente representación del maestro $z_i^T$ entre todas las $N$ representaciones del maestro en el lote. Esto se formula como un problema de clasificación de $N$ vías utilizando Estimación de Contraste de Ruido (NCE):
$$\mathcal{L}_{\text{ctr}} = -\frac{1}{N} \sum_{i=1}^N \log \frac{\exp(\ell_{ii})}{\sum_{j=1}^N \exp(\ell_{ij})}$$
Aquí, $\ell_{ij}$ representa la similitud escalada entre el estudiante $i$ y el maestro $j$. Crucialmente, este término utiliza muestreo dentro del lote (in-batch sampling), eliminando la necesidad de bancos de memoria externos.

2.3 Término de Consistencia ($\mathcal{L}_{\text{cst}}$)

El término contrastivo solo restringe la diagonal de la matriz de similitud. Para restringir la estructura fuera de la diagonal, los autores introducen un término de regularización de consistencia que impone el acuerdo entre dos vistas complementarias de la misma matriz de similitud entre modelos $\ell$:

1. Vista del Estudiante ($p_i^S$): Probabilidades normalizadas por fila, que representan la afinidad del estudiante $i$ hacia todos los maestros.
2. Vista del Maestro ($p_i^T$): Probabilidades normalizadas por columna (transpuestas), que representan la afinidad de todos los estudiantes hacia el maestro $i$.

La pérdida de consistencia minimiza la divergencia de Kullback-Leibler (KL) entre estas dos vistas:
$$\mathcal{L}_{\text{cst}} = \frac{1}{N} \sum_{i=1}^N D_{\text{KL}}(\mathbf{p}_i^T \,\|\, \mathbf{p}_i^S)$$
Los autores demuestran que este término se anula si y solo si la matriz de similitud entre modelos es simétrica ($\langle z_i^S, z_j^T \rangle = \langle z_j^S, z_i^T \rangle$). Esto asegura que la afinidad del estudiante $i$ hacia el maestro $j$ coincida con la afinidad del estudiante $j$ hacia el maestro $i$, capturando una consistencia estructural bidireccional.

2.3 Escala y Sesgo Aprendibles

A diferencia de los métodos que utilizan temperaturas fijas, DCD parametriza el escalado de similitud como $s = \exp(\tau)$ y añade un sesgo $b$ aprendible. Estos parámetros ($\tau$ y $b$) se optimizan durante el entrenamiento para controlar de forma adaptativa la nitidez y el desfase de la señal de destilación, eliminando la necesidad de ajuste manual por cada par maestro-estudiante.

2.4 Detalles de Implementación

• Muestreo In-Batch: Los ejemplos negativos se extraen naturalmente del mini-batch actual, reduciendo el almacenamiento de memoria de ~655MB (para ImageNet en CRD) a ~0.13MB por iteración.
• Cabezales de Proyección: Las características del estudiante y del maestro se mapean a un espacio de incrustación compartido de 128 dimensiones a través de capas de proyección lineal. Estas capas se entrenan conjuntamente pero se descartan en la inferencia, añadiendo parámetros insignificantes (66K) y ningún costo de inferencia.
• Velocidad de Entrenamiento: El método iguala la velocidad de entrenamiento de la destilación basada en logits estándar (8ms por lote).

3. Contribuciones Clave

1. Marco Unificado: Un marco de destilación que combina la discriminación de instancias contrastiva con una regularización de consistencia basada en la divergencia KL que restringe la estructura fuera de la diagonal de la matriz de similitud entre modelos.
2. Eficiencia: Una estrategia de muestreo in-batch eficiente que elimina los bancos de memoria externos, reduciendo la sobrecarga de memoria y el tiempo de entrenamiento mientras mantiene un rendimiento comparable al de la destilación estándar.
3. Parámetros Adaptables: La introducción de parámetros de escala y sesgo aprendibles que ajustan automáticamente la señal de destilación, evitando el ajuste manual de hiperparámetros.
4. Validación Extensa: Experimentos exhaustivos en CIFAR-100, ImageNet y MS-COCO, demostrando un rendimiento competitivo en clasificación, detección de objetos y transferencia entre conjuntos de datos.

4. Resultados Experimentales

El método fue evaluado en cinco bancos de pruebas (CIFAR-100, ImageNet, STL-10, Tiny ImageNet, MS-COCO) a través de 13 pares maestro-estudiante.

• Clasificación (CIFAR-100): DCD combinado con KD (DCD + KD) logra un rendimiento competitivo, superando a la red maestra en un +0.45% en configuraciones de misma arquitectura y en un +0.90% en configuraciones de arquitecturas cruzadas. Aunque métodos como ReviewKD, SimKD y CRCD logran una precisión mayor en configuraciones específicas (por ejemplo, ReviewKD alcanza 76.12% frente al 76.06% de DCD+KD en el par WRN-40-2 a WRN-16-2), DCD+KD supera consistentemente a la KD estándar y a muchas otras líneas base en diversas combinaciones arquitectónicas.
• Clasificación (ImageNet): El método mejoró consistentemente respecto a las líneas base (KD, AT, CRD, etc.) en diversas arquitecturas, confirmando que las ganancias se extienden a entornos de gran escala.
• Detección de Objetos (MS-COCO): Utilizando Faster R-CNN con FPN, DCD mejoró la Precisión Media Promedio (AP) en todos los pares maestro-estudiante probados (por ejemplo, ResNet-101 $\to$ ResNet-18), demostrando aplicabilidad más allá de la clasificación.
• Transferibilidad: Las representaciones destiladas mostraron una superior transferibilidad de conjunto de datos a STL-10 y Tiny ImageNet en comparación con las líneas base, indicando una mejor generalización.
• Eficiencia: DCD añadió solo 66K parámetros (todos descartados en la inferencia) e igualó la latencia de entrenamiento de 8ms/lote de la KD estándar, lo que lo hace significativamente más rápido y ligero que CRD (19ms/lote) y otros métodos basados en características.

5. Significado y Reivindicaciones

El artículo afirma que DCD aborda las limitaciones específicas de los métodos actuales de destilación contrastiva al:

• Eliminar los Bancos de Memoria: Operando enteramente dentro del mini-batch para reducir el consumo de memoria y la complejidad.
• Imponer Consistencia Estructural: Yendo más allá del simple alineamiento de instancias para imponer simetría en la matriz de similitud entre modelos, capturando así un conocimiento estructural más rico.
• Adaptabilidad: Utilizar parámetros aprendibles para adaptarse a diferentes etapas de entrenamiento y capacidades de modelo sin ajuste manual de hiperparámetros.

Los autores posicionan a DCD como un método que logra la eficiencia de la destilación simple basada en logits mientras retiene los beneficios de precisión de la destilación de características contrastiva, sin requerir cambios arquitectónicos o infraestructura de memoria externa.