🤖 AI

Relational Representation Distillation

Este artículo propone la Destilación de Representación Relacional, un nuevo método de destilación de conocimiento que preserva las relaciones relativas entre instancias utilizando parámetros de temperatura separados para superar las limitaciones de la divergencia KL estándar y el aprendizaje contrastivo excesivamente estricto, logrando así un rendimiento superior en diversas tareas de transferencia.

Autores originales: Nikos Giakoumoglou, Tania Stathaki

Publicado 2026-07-30

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nikos Giakoumoglou, Tania Stathaki

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras más inteligentes son como bibliotecas gigantescas y elevadas llenas de cada libro jamás escrito. Pueden resolver problemas, reconocer rostros y comprender el mundo con una precisión increíble. Pero hay un inconveniente: estas bibliotecas son tan masivas y pesadas que no caben en tu mochila, y mucho menos en tu teléfono. Necesitan enormes cantidades de electricidad y hardware potente solo para mantenerse abiertas. Este es el desafío de la inteligencia artificial moderna: ¿cómo tomamos el genio de estos gigantescos modelos "maestros" y comprimimos su conocimiento en modelos "estudiantes" diminutos y ligeros que puedan ejecutarse en cualquier lugar?

Para lograr esto, los científicos utilizan un truco llamado Destilación de Conocimiento. Piensa en ello como un maestro chef enseñando a un joven aprendiz. En lugar de simplemente darle al aprendiz la receta final (la respuesta), el maestro le muestra el sentir del plato. Si el maestro dice: "Esta sopa sabe un poco a pollo, pero también tiene toques de hierbas", el aprendiz aprende ese matiz, no solo que es "sopa". En términos informáticos, el modelo maestro no solo dice "Esto es un gato"; también susurra: "Es muy similar a un perro, pero menos parecido a un avión". Este "susurro" ayuda al estudiante a aprender las relaciones sutiles entre las cosas. Sin embargo, los intentos recientes de enseñar estas relaciones han sido un poco demasiado estrictos, como un profesor que grita: "¡Eres un gato, y ese perro no es un gato, así que mantente lejos!". Esto obliga al estudiante a olvidar que los gatos y los perros son, en realidad, ambos animales y deberían ser algo similares.

Aquí es donde un nuevo artículo de investigadores del Imperial College London entra en escena con una idea fresca llamada Destilación de Representación Relacional (RRD). Se dieron cuenta de que, en lugar de obligar al estudiante a memorizar las distancias exactas entre cada objeto, es mejor enseñarle el orden relativo de las cosas. Imagina un salón de clases donde el profesor no solo dice "Siéntate aquí", sino "Siéntate más cerca del perro que del avión, pero no tan cerca como del gato". Los investigadores descubrieron que, al utilizar un ajuste de "temperatura" especial para hacer que el aprendizaje del estudiante sea más nítido y enfocado, podrían preservar estas relaciones importantes sin la confusión. Sus experimentos muestran que este método ayuda a que los modelos estudiantiles diminutos aprendan mucho mejor, incluso llegando a rendir tan bien como los propios modelos maestros gigantes, todo esto manteniendo la "mochila" ligera y eficiente.

El problema de ser demasiado estricto

Durante mucho tiempo, la mejor manera de enseñar a un modelo estudiante fue utilizar un método llamado Aprendizaje Contrastivo. Imagina un juego de sillas musicales donde el objetivo es mantener a tus amigos cerca y alejar a los extraños. En este juego, si tienes la imagen de un gato, la computadora intenta que la representación del "gato" esté muy cerca de otras imágenes de "gatos" y muy lejos de las de "perro" o "avión".

El problema, como señalan los autores, es que este juego puede volverse un poco demasiado intenso. Obliga a la computadora a tratar a un gato y a un perro como desconocidos totales, a pesar de que ambos son animales con pelaje. Es como un profesor que le dice a un estudiante: "Tú eres un gato, y un perro es un universo completamente diferente, así que nunca pienses que son iguales". Esta "repulsión semántica" (una forma elegante de decir "empujar las cosas demasiado fuerte") desecha información valiosa. El estudiante aprende a reconocer un gato, pero olvida que los gatos y los perros comparten un árbol genealógico.

El nuevo enfoque: Relaciones relativas

Los autores proponen una forma más inteligente de jugar el juego. En lugar de forzar distancias absolutas, se centran en las relaciones relativas. Le piden al modelo estudiante que aprenda el orden de similitud.

Aquí está la analogía: Imagina que estás clasificando tus frutas favoritas.

La vieja forma (Contraste estricto): "Una manzana es 100% manzana. Un plátano es 100% plátano. Son enemigos. Manténganse a 100 millas de distancia".
La nueva forma (RRD): "Una manzana es tu favorita. Una pera es tu segunda favorita (porque ambas son redondas y dulces). Un plátano es el tercero. Una roca es la última".

El estudiante no necesita saber la distancia exacta entre la manzana y la pera en millas; solo necesita saber que la pera está más cerca de la manzana que el plátano. Esto preserva la estructura del mundo: las manzanas y las peras están relacionadas, los plátanos están algo relacionados y las rocas no lo están.

Cómo lo hicieron: La magia de la temperatura

Para que esto funcionara, los investigadores introdujeron un truco ingenioso que involucra la temperatura. En el mundo de la IA, la "temperatura" no trata sobre el calor; se trata de qué tan "suaves" o "afiladas" son las conjeturas del modelo.

Temperatura alta: El modelo no está seguro y dispersa sus conjetas (como un día con niebla donde todo se ve borroso).
Temperatura baja: El modelo tiene mucha confianza y agudiza su enfoque (como un rayo láser).

Los autores le dieron al Maestro una temperatura específica y al Estudiante una temperatura diferente y más aguda. Establecieron la temperatura del estudiante para que fuera más baja (más nítida) que la del maestro. Esto significa que el estudiante se ve obligado a concentrarse intensamente en las relaciones más importantes (las "primarias", como gato vs. avión) mientras mantiene un recuerdo suave y difuso de las secundarias (como gato vs. perro).

También utilizaron un "banco de memoria": una lista gigante de características que el maestro ha visto antes. El estudiante compara su imagen actual contra este banco de memoria para ver dónde encaja en el gran esquema de las cosas. Al alinear los "rankings relativos" del estudiante con los del maestro, el estudiante aprende la estructura del mundo sin confundirse por las reglas estrictas de los métodos antiguos.

Lo que encontraron

El equipo probó esta idea en varios conjuntos de datos de imágenes famosos, incluyendo CIFAR-100 (que tiene 100 tipos diferentes de objetos) e ImageNet (una colección masiva de más de un millón de imágenes). Pusieron a competir su nuevo método contra los campeones actuales del campo.

Los resultados fueron impresionantes. Cuando usaron su nuevo método por sí solo, superó a los métodos "contrastivos" estándar. Pero la verdadera magia ocurrió cuando lo combinaron con la técnica tradicional de destilación de conocimiento.

En el conjunto de datos CIFAR-100, su método mostró una mejora relativa del 75.50% sobre los métodos de destilación de conocimiento estándar.
Cuando lo combinaron con el método clásico, la mejora saltó al 80.03%.

En términos sencillos, los modelos estudiantes aprendieron mucho más rápido y se volvieron mucho más inteligentes. En algunos casos, ¡el diminuto modelo estudiante entrenado con este nuevo método incluso funcionó mejor que el gigante modelo maestro que intentaba copiar!

También analizaron el "cerebro" de los modelos utilizando una técnica llamada t-SNE, que convierte datos complejos en un mapa 2D. En estos mapas, puedes ver cómo la computadora agrupa las cosas. Con los métodos antiguos, los grupos eran desordenados o estaban demasiado separados. Con la nueva Destilación de Representación Relacional, los grupos se veían casi idénticos a los grupos del maestro. El estudiante había aprendido con éxito la "visión del mundo" del maestro, manteniendo a los gatos cerca de los perros y lejos de los aviones, tal como el maestro pretendía.

Por qué esto importa

Esto no se trata solo de hacer que los números se vean bien en un gráfico. Se trata de hacer que la IA sea práctica. Si podemos enseñar a los modelos pequeños y eficientes a entender el mundo tan bien como los gigantes, podemos poner una IA inteligente en nuestros teléfonos, nuestros autos y nuestros relojes sin necesidad de un supercomputador en el maletero. Al enseñar al estudiante a entender las relaciones en lugar de solo las reglas, los autores han encontrado una forma de comprimir el genio de los gigantes en un paquete que cabe en tu bolsillo.

El artículo sugiere que centrarse en estas conexiones relativas es un camino prometedor hacia adelante. No pretende haber resuelto todos los problemas de la IA, pero ofrece una herramienta clara y efectiva para hacer que la próxima generación de dispositivos inteligentes sea tanto poderosa como portátil.

Resumen Técnico: Destilación de Representación Relacional

Planteamiento del Problema

La Destilación de Conocimiento (KD, por sus siglas en inglés) tiene como objetivo transferir el conocimiento de modelos maestros (teacher) de gran capacidad a modelos estudiantes (student) compactos para facilitar su despliegue en entornos con recursos limitados. Si bien los enfoques estándar de KD minimizan la divergencia de Kullback-Leibler (KL) entre las salidas probabilísticas (logits) de las redes maestra y estudiante, estos suelen fallar al capturar las relaciones estructurales dentro de las representaciones de características internas del modelo maestro.

Avances recientes han intentado abordar esto empleando objetivos de aprendizaje contrastivo (por ejemplo, CRD). Sin embargo, estos métodos dependen de restricciones estrictas de discriminación de instancias. Esto crea un problema de "repulsión semántica" donde muestras semánticamente similares son forzadas a separarse si se tratan como instancias distintas, incluso cuando deberían mantener similitud. El artículo argumenta que preservar las relaciones relativas entre instancias (por ejemplo, la similitud relativa de una imagen de un gato con respecto a un perro frente a un avión) es más crítico que imponer una separación o similitud absoluta rígida.

Metodología: Destilación de Representación Relacional (RRD)

El marco propuesto, Relational Representation Distillation (RRD), relaja los objetivos contrastivos rígidos centrándose en la preservación de relaciones relativas significativas entre instancias. Los componentes principales son:

Banco de Memoria y Calificación de Similitud:
- Las características tanto de la red maestra ( $z^T_i$ ) como de la estudiante ( $z^S_i$ ) se normalizan mediante $\ell_2$ para situarse en una hiperesfera unitaria.
- Un banco de memoria $M$ almacena las incrustaciones (embeddings) de características de lotes (batches) anteriores (actualizado mediante estrategias FIFO o de momento/momentum).
- Para asegurar la alineación directa, la incrustación actual del maestro se añade al banco de memoria ( $M^+$ ), creando un conjunto de $K+1$ vectores de referencia.
- Las puntuaciones de similitud se calculan entre las características de la entrada actual y las entradas del banco de memoria utilizando una función softmax con parámetros de temperatura.
Parámetros de Temperatura Duales:
- Una innovación clave es el uso de parámetros de temperatura separados para el maestro ( $\tau_t$ ) y el estudiante ( $\tau_s$ ).
- La distribución del maestro $p^T$ se calcula con $\tau_t$ , y la del estudiante $p^S$ con $\tau_s$ .
- Los autores establecen $\tau_s > \tau_t$ (por ejemplo, $\tau_s=0.1, \tau_t=0.02$ ). Esto crea una distribución "afilada" (sharpened) para el estudiante, obligándolo a concentrarse en las relaciones primarias (puntuaciones de similitud más altas) mientras mantiene la flexibilidad para capturar similitudes secundarias, evitando así los problemas de colisión de clases de la discriminación de instancias estricta.
Función de Pérdida:
- El objetivo minimiza la divergencia KL entre la distribución de similitud del maestro $p^T$ y la distribución de similitud del estudiante $p^S$ :
  $\mathcal{L}_{RRD} = \sum_{i} -p^T(x_i) \cdot \log p^S(x_i)$
- Esto se combina con una pérdida supervisada ( $\mathcal{L}_{sup}$ ) y una pérdida de KD estándar basada en logits ( $\mathcal{L}_{KL}$ ) en el objetivo completo:
  $\mathcal{L}_{total} = \mathcal{L}_{sup} + \lambda \cdot \mathcal{L}_{KL} + \beta \cdot \mathcal{L}_{RRD}$
Conexiones Teóricas:
- El artículo establece que a medida que $\tau_t \to 0$ , el objetivo RRD converge a la pérdida InfoNCE (utilizada en el aprendizaje contrastivo), convirtiendo efectivamente a InfoNCE en un caso especial de RRD.
- También mantiene una relación estructural con la divergencia KL estándar utilizada en la KD original de Hinton, pero opera sobre las puntuaciones de similitud del banco de memoria en lugar de los logits de clase.

Principales Contribuciones

Propuesta de Marco de Trabajo: Introducción de RRD, un marco de destilación que preserva las relaciones estructurales en los espacios de características mediante el empleo de parámetros de temperatura separados para las distribuciones del maestro y del estudiante, lo que resulta en salidas más afiladas para el estudiante.
Unificación Teórica: Demostración de las conexiones teóricas entre el objetivo propuesto, la pérdida contrastiva InfoNCE y la divergencia KL, mostrando que InfoNCE emerge como un caso especial de RRD.
Validación Empírica: Validación exhaustiva a través de benchmarks estándar (CIFAR-100, ImageNet, STL-10, Tiny ImageNet) y detección de objetos (MS-COCO), mostrando ganancias significativas de precisión sobre los métodos existentes.
Evidencia de Preservación Estructural: Evidencia cuantitativa (análisis de correlación) y cualitativa (visualizaciones t-SNE) que demuestra que RRD preserva mejor las relaciones espaciales y la consistencia estructural entre los espacios de incrustación del maestro y el estudiante en comparación con el entrenamiento vanilla u otros métodos de destilación.

Resultados Experimentales

El método fue evaluado en 13 pares de arquitecturas maestro-estudiante diferentes (incluyendo ResNet, WideResNet, VGG, MobileNet y ShuffleNet).

CIFAR-100: RRD superó a la KD estándar y al método de vanguardia CRD cuando se utilizó de forma independiente. Cuando se combinó con KD, logró mejoras adicionales. El artículo reporta una mejora relativa del 75.50% sobre la KD convencional y una mejora relativa del 80.03% cuando se integra con KD (basado en métricas de mejora relativa promedio).
ImageNet: RRD superó consistentemente a KD en diversas arquitecturas (por ejemplo, de ResNet-50 a ResNet-18), demostrando escalabilidad.
Transferencia de Aprendizaje: En experimentos de transferencia de características de CIFAR-100 a STL-10 y Tiny ImageNet, RRD mostró una fuerte transferibilidad de características, logrando un rendimiento comparable o superior al de CRD sin requerir KD adicional.
Estudios de Ablación:
- Temperaturas: El rendimiento óptimo se encontró con $\tau_t \approx 0.02$ y $\tau_s = 0.1$ . Valores más altos de $\tau_t$ degradaron el rendimiento al producir distribuciones demasiado suaves.
- Tamaño de la Memoria: El rendimiento mejoró con un tamaño de memoria hasta $K=16384$ , tras el cual las ganancias se estancaron.
- Ponderación de la Pérdida: El coeficiente de ponderación $\beta$ funcionó mejor entre 0.5 y 1.5.
- Estructura de la Memoria: RRD funcionó bien con actualizaciones de cola tanto de momento como FIFO, mostrando FIFO resultados particularmente fuertes.

Significado y Reivindicaciones

El artículo afirma que RRD ofrece un enfoque más efectivo para la destilación de conocimiento al cambiar el enfoque de la similitud absoluta a la preservación de las relaciones relativas entre instancias. Al relajar las restricciones estrictas del aprendizaje contrastivo mediante parámetros de temperatura duales, el método evita el problema de la repulsión semántica mientras asegura que la red estudiante aprenda las claves estructurales primarias del maestro.

Los autores aseguran que su método supera significativamente las técnicas de destilación de conocimiento existentes en diversas tareas y arquitecturas. Destacan que la mejora en la preservación estructural conduce a un mejor alineamiento con los modelos maestros y, en algunos casos, permite que el estudiante supere al propio modelo maestro. El trabajo sugiere que centrarse en las relaciones relativas es una dirección prometedora para desarrollar técnicas de compresión de modelos más efectivas.