Resumen Técnico: Supervisión del Profesor sobre las Clases de Equivalencia de Representación

1. Planteamiento del Problema

La destilación de conocimiento se enmarca tradicionalmente como una elección de qué igualar dentro de un modelo profesor: los logits (distribuciones de salida), las características ocultas o las relaciones entre muestras. Este marco presupone que la representación de un profesor posee "coordenadas absolutas" que un estudiante puede igualar directamente.

El artículo argumenta que esta premisa es fundamentalmente errónea. Una representación preentrenada no es una matriz fija, sino que es identificable solo hasta una clase de equivalencia de rotación ortogonal y escalado isotrópico. Debido a que el "lector" posterior (pesos) puede absorber cualquier rotación o reescalado de la representación sin cambiar la función de red, las coordenadas específicas de un vector de características no poseen un significado intrínseco. En consecuencia, intentar igualar las características de un profesor "base por base" es un objetivo mal planteado. El artículo postula que la capacidad (p. ej., perplejidad, precisión top-1) no es una propiedad de la representación en sí, sino un invariante de la clase de equivalencia de la representación; específicamente, de la función de salida.

2. Metodología y Marco Teórico

2.1 La Representación como una Clase de Equivalencia

Los autores definen una representación $H$ (activaciones de capa) no como una matriz fija, sino como una órbita bajo la acción del grupo $G = O(d) \times \mathbb{R}^+$ (rotaciones ortogonales y escalado isotrópico).

• Supuesto 2.1 (Reparametrización Absorbible): Cualquier cambio de coordenadas $h \mapsto c h Q$ en una representación puede ser contrarrestado por un cambio correspondiente en los pesos posteriores $W_{in} \mapsto c^{-1} Q^\top W_{in}$, dejando la función de la red sin cambios.
• Proposición 2.1 (Mal planteamiento del Igualamiento Absoluto): Debido a que la función es invariante bajo esta acción de grupo, una función de pérdida que minimiza la distancia entre coordenadas absolutas (p. ej., $\|H_T - H_S\|_F$) está mal planteada. Penaliza reparametrizaciones que preservan la función y su minimizador depende de una elección arbitraria de un representante dentro de la clase de equivalencia.

2.2 El Espacio Cociente y la Capacidad

El artículo distingue entre dos espacios cocientes:

1. Cociente de Representación ($\pi_{rep}$): Colapsa la representación $H$ por sí sola a su clase de equivalencia $[H]$. Los invariantes aquí incluyen la matriz de Gram, CKA (Alineación de Kernel Centrado) y ángulos principales. Estos miden la similitud geométrica pero no determinan la función de salida.
2. Cociente Conjunto ($\pi_{joint}$): Colapsa el par $(H, \theta_{downstream})$ en conjunto. La función de salida $f$ es una función bien definida sobre este cociente conjunto.

La Proposición 3.2 establece que la capacidad es un invariante de clase definido en el cociente conjunto. Por lo tanto, un objetivo de destilación solo puede transferir capacidad si apunta al invariante de la función de salida en este cociente.

2.3 Taxonomía de Objetivos de Destilación

Basándose en el marco de los cocientes, el artículo categoriza las pérdidas de destilación en tres familias:

• (A) Igualamiento Relacional: Apunta al cociente de representación (p. ej., CKA, Gram normalizado). Son invariantes de la base, pero no transfieren capacidad por sí solos porque ignoran el marco de coordenadas del lector.
• (B) Alineación y Cotejo (Align-then-Match): Estima un mapa de alineación (p. ej., rotación de Procrustes o un mapa lineal de baja capacidad $W$) para fijar un representante dentro de la clase, y luego iguala las coordenadas absolutas. Esto es necesario para tareas que requieren el consumo de características específicas de la coordenada (p. ej., injerto o grafting), pero introduce ruido de alineación.
• (C) Destilación de Logits: Apunta directamente al cociente conjunto igualando las distribuciones de salida. Dado que la salida es ya una función de la clase conjunta, este objetivo está definido nativamente en el cociente correcto y no requiere un paso de alineación.

3. Contribuciones Clave

1. Reencuadre Geométrico: El artículo reencuadra la supervisión del profesor de "igualar características" a "transferir la clase de equivalencia de la representación". Identifica la capacidad como un invariante de clase (la función de salida) en lugar de una propiedad de una matriz de características específica.
2. Prueba de Mal Planteamiento: Demuestra formalmente que el igualamiento de características absolutas está mal planteado porque separa puntos dentro de una misma fibra funcional, penalizando reparametrizaciones válidas.
3. Taxonomía de Pérdidas: Proporciona una cuenta geométrica unificada para el igualamiento de características, la destilación relacional, la alineación y el injerto (grafting), distinguiéndolos por qué parte de la estructura de la clase fijan.
4. Validación Empírica: A través de experimentos controlados de restauración y destilación de ancho cruzado en Qwen2.5 y Llama-3.1, el artículo aísla el mecanismo de transferencia de capacidad.

4. Resultados Experimentales

4.1 Estudio de Restauración (Qwen2.5, Llama-3.1)

Los autores corrompieron un modelo profesor reinicializando una fracción de sus capas e intentaron restaurarlo usando diferentes objetivos.

• Resultado 1: Entrenar solo con una pérdida relacional invariante de la base ($L_{CKA}$) restauró con éxito la geometría de la representación (CKA $\approx$ 0.99) pero falló en restaurar la capacidad (relación de perplejidad $10^2$–$10^4$ peor, top-1 $\approx$ 0).
• Resultado 2: Entrenar solo con una pérdida de logits ($L_{logit}$) restauró la capacidad casi perfectamente (relación de perplejidad $\approx$ 1.01, top-1 $\approx$ 0.98) sin alinear las representaciones ocultas (el CKA se mantuvo bajo).
• Conclusión: Alinear las representaciones y restaurar la función son tareas casi ortogonales. La capacidad es impulsada exclusivamente por el término de la función de salida.

4.2 El Papel del Atado de Pesos (Weight Tying)

• En modelos con embeddings de entrada/salida atados (Qwen2.5-0.5B), la cabeza de salida es fija, por lo que el igualamiento de logits por sí solo basta para restaurar la función.
• En modelos con cabezas no atadas (Qwen2.5-7B, Llama-3.1-8B), restaurar la capacidad requirió entrenar explícitamente la cabeza de salida junto con la pérdida de logits. Esto confirma que el "lector" debe alinearse con el nuevo marco de coordenadas de la representación.

4.3 Destilación de Ancho Cruzado (Cross-Width Distillation)

En un escenario real de destilación de ancho cruzado (Profesor: 1.5B, Estudiante: 0.5B):

• El igualamiento de solo características (incluso con una proyección aprendida $W$) causó que el modelo estudiante colapsara (perplejidad $> 10^6$).
• El igualamiento de solo logits preservó y mejoró ligeramente el rendimiento del estudiante.
• Añadir un término de características al igualamiento de logits no proporcionó ningún beneficio y, a menudo, fue ligeramente perjudicial.
• Un experimento sustituto con un mapa de alineación optimamente resuelto confirmó que el igualamiento de solo características falla estructuralmente, no debido a dificultades de optimización.

4.4 Injerto (Grafting) y Solapamiento de Subespacios

El artículo valida que el éxito del injerto de módulos está gobernado por el solapamiento de los subespacios de frontera (medido por CKA o residuo de Procrustes) entre el donante y el huésped. Un alto solapamiento es necesario pero no suficiente; los injertos cerca de la capa de salida fallan incluso con un alto solapamiento debido a la sensibilidad ante pequeñas discrepancias.

5. Significado y Reivindicaciones

El artículo afirma que la intuición de que la destilación ocurre "en la base" es "correcta en espíritu pero errónea en letra".

• Reivindicación Central: La supervisión del profesor debe apuntar a la clase de equivalencia, no a las coordenadas. La capacidad se transfiere a través del invariante de la función de salida.
• Implicación Práctica: Para transferir la capacidad, el igualamiento de logits es el único objetivo definido nativamente en el cociente correcto. El igualamiento de características (incluso el relacional o el alineado) es insuficiente para la transferencia de capacidad y solo es útil para transferir la estructura geométrica o para tareas específicas como el injerto donde la alineación de coordenadas es explícitamente requerida.
• Limitación del Alcance: El artículo enfatiza que la destilación es replicación, no creación. Transfiere la función de salida del profesor en el subespacio cubierto por el corpus de entrenamiento. No pretende generar nuevas capacidades más allá de la función existente del profesor ni resolver la transferencia entre familias con tokenizadores distintos.

El artículo concluye que "lo que el profesor sabe reside en la clase; lo que se transfiere es la parte de esa clase que el objetivo y el corpus realmente apuntan".