Beyond the Class Subspace: Teacher-Guided Training for Reliable Out-of-Distribution Detection in Single-Domain Models

Este artículo presenta la Entrenamiento Guiado por Maestro (TGT), un método que mitiga el Colapso de Sensibilidad al Dominio en modelos de un solo dominio mediante la destilación de estructuras residuales de un maestro multi-dominio, mejorando significativamente la detección de datos fuera de distribución sin añadir sobrecarga en la inferencia.

Lo esencial

¡Claro que sí! Imagina que este paper es como una historia sobre un detective muy especializado que ha perdido su sentido común.

Aquí tienes la explicación de la investigación de Hong Yang y su equipo, contada de forma sencilla:

1. El Problema: El Detective "Ciego" (El fallo de los modelos actuales)

Imagina que entrenas a un detective para reconocer manzanas. Le muestras miles de fotos de manzanas rojas, verdes y amarillas, todas tomadas en el mismo tipo de luz, con el mismo fondo y en el mismo tipo de cámara.

• Lo que aprende el detective: Se vuelve un experto en distinguir una manzana roja de una verde.
• El problema: Si le muestras una naranja (que es una fruta diferente, pero del mismo "mundo" de frutas) o una foto de una manzana tomada en la luna (un mundo totalmente diferente), el detective falla estrepitosamente.

¿Por qué? Porque el detective se ha vuelto demasiado especializado. Solo mira los detalles que le importan para distinguir las manzanas entre sí (el color, la forma exacta) y ha aprendido a ignorar todo lo demás (el fondo, la iluminación, el tipo de cámara).

En el mundo de la Inteligencia Artificial, a esto lo llaman "Colapso de Sensibilidad al Dominio". El modelo se encoge tanto en su "cajón de manzanas" que pierde la capacidad de ver si algo pertenece a otro mundo (como una foto de un satélite o una radiografía médica) o si es simplemente una fruta que nunca ha visto.

2. La Solución: El "Entrenador Fantasma" (Teacher-Guided Training)

Los investigadores dicen: "¡Oye, no podemos dejar que el detective olvide cómo funciona el mundo!".

Para arreglar esto, inventaron un método llamado Entrenamiento Guiado por un Profesor (TGT).

Imagina que tienes a tu detective novato (el modelo que vamos a entrenar) y le asignas un Profesor Fantasma (un modelo de IA muy inteligente y generalista llamado DINOv2, que ha visto millones de fotos de todo tipo: gatos, coches, paisajes, etc.).

• La regla del juego: El detective novato debe seguir aprendiendo a distinguir manzanas (su trabajo principal).
• El truco: Mientras estudia, el Profesor Fantasma le susurra al oído: "Oye, fíjate también en la textura de la piel, en la luz del fondo y en el estilo de la foto. No solo mires la manzana".

El Profesor le enseña al novato a prestar atención a los detalles que el novato estaba ignorando (los detalles del "dominio" o contexto).

3. El Resultado: Un Detective con Sentido Común

Una vez que termina el entrenamiento, el Profesor Fantasma se va a casa. No lo necesitamos en el trabajo diario. Solo nos quedamos con el detective novato, pero ahora es mejor.

• Antes: Si veía una foto de una manzana en la luna, pensaba: "Es una manzana" (porque solo miraba la forma).
• Ahora: Si ve esa foto, piensa: "Es una manzana, pero el fondo es extraño... ¡esto no es normal! ¡Es una anomalía!".

Gracias a este método, el modelo puede detectar cosas raras (Out-of-Distribution) mucho mejor, incluso si nunca ha visto ese tipo de cosas antes.

4. ¿Por qué es importante?

La mayoría de las pruebas de Inteligencia Artificial se hacen con datos muy variados (como fotos de internet de todo el mundo). Pero en la vida real, muchos sistemas funcionan en entornos muy específicos:

• Un hospital que solo tiene radiografías de un tipo de máquina.
• Una fábrica que solo inspecciona tornillos con una cámara específica.
• Un satélite que solo toma fotos de un tipo de terreno.

En estos casos, los modelos actuales fallan mucho porque se vuelven "ciegos" a los cambios de entorno. Este nuevo método les devuelve la vista para que puedan decir: "Esto no encaja aquí, ¡alerta!".

En resumen, con una analogía final:

Imagina que estás aprendiendo a conducir en un circuito cerrado (tu entrenamiento). Si solo practicas ahí, te volverás un experto en ese circuito, pero si te sacan a una carretera de tierra con lluvia, te asustarás y no sabrás qué hacer.

Este paper propone que, mientras practicas en el circuito, un instructor experimentado te enseñe a sentir la diferencia entre el asfalto y la tierra, entre el sol y la lluvia. Así, cuando salgas al mundo real, no solo sabrás conducir el circuito, sino que sabrás detectar si estás en un lugar peligroso o extraño antes de que ocurra un accidente.

La clave: No necesitas al instructor en el coche cuando conduces solo; solo necesitas haber aprendido sus lecciones. ¡Y eso es exactamente lo que hace este método!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Beyond the Class Subspace: Teacher-Guided Training for Reliable Out-of-Distribution Detection in Single-Domain Models" (Más allá del subespacio de clase: Entrenamiento guiado por profesor para la detección fiable de distribuciones fuera de distribución en modelos de dominio único), presentado en español.

---

1. El Problema: El Colapso de Sensibilidad al Dominio (DSC)

El trabajo aborda una brecha crítica entre los benchmarks teóricos de detección de distribuciones fuera de distribución (OOD) y la realidad de los sistemas desplegados.

• Contexto: La mayoría de los métodos OOD actuales se evalúan en conjuntos de datos multi-dominio (como CIFAR-10/100 o ImageNet), donde los datos de entrenamiento poseen una diversidad visual rica. Sin embargo, en la práctica, muchos sistemas (imagen médica, inspección industrial, teledetección) se entrenan en datos de dominio único (un solo estilo, sensor o textura).
• Fallo Geométrico: Los autores identifican un modo de fallo geométrico llamado Colapso de Sensibilidad al Dominio (Domain-Sensitivity Collapse - DSC).
  • El entrenamiento supervisado en un solo dominio comprime las representaciones de características en un subespacio de bajo rango alineado estrictamente con las clases.
  • Las direcciones ortogonales a este subespacio, que contienen señales de cambio de dominio (estilo, textura, sensor), son suprimidas.
• Consecuencia: Bajo DSC, tanto los puntajes basados en distancia (como Mahalanobis o k-NN) como los basados en logits (como MSP o Energy) pierden sensibilidad. Esto ocurre porque las dimensiones que deberían capturar la discrepancia del dominio tienen varianza casi nula, haciendo que el modelo no pueda distinguir entre una muestra de una clase desconocida dentro del mismo dominio y una muestra de un dominio completamente diferente.

2. Metodología: Entrenamiento Guiado por Profesor (TGT)

Para contrarrestar el DSC sin añadir sobrecarga en la inferencia, los autores proponen Teacher-Guided Training (TGT).

• Concepto Central: Transferir la sensibilidad al dominio de un modelo "profesor" congelado (entrenado en múltiples dominios) a un modelo "estudiante" (entrenado en un solo dominio) durante la fase de entrenamiento.
• El Profesor: Se utiliza un modelo fundacional congelado (DINOv2 ViT-S/14), que posee una rica estructura de características multi-dominio pero carece de discriminación de clases específica para el dominio del estudiante.
• Residuo Suprimido por Clase:
  1. Se proyectan las características del profesor para eliminar las direcciones discriminativas de clase (el subespacio de clase).
  2. Esto deja un residuo que captura variaciones intra-clase, como el estilo, el sensor y las señales de cambio de dominio.
• Función de Pérdida: Se añade una cabeza auxiliar al estudiante que predice este residuo del profesor. La función de pérdida total combina:
  • Pérdida de Entropía Cruzada (CE) estándar para la clasificación.
  • Una pérdida auxiliar que maximiza la alineación (cosine similarity) entre las características del estudiante y el residuo del profesor.
• Inferencia Cero-Overhead: Una vez finalizado el entrenamiento, tanto el profesor como la cabeza auxiliar se descartan. El modelo desplegado es solo el estudiante, y cualquier puntuador OOD post-hoc estándar puede aplicarse directamente a sus características.

3. Contribuciones Clave

1. Identificación y Formalización del DSC: Los autores formalizan el colapso de sensibilidad al dominio como la causa raíz del fallo en la detección OOD en dominios únicos. Proporcionan teoría que demuestra por qué los puntajes de distancia fallan cuando la varianza de las características se concentra en un subespacio de rango bajo.
2. Propuesta de TGT: Introducen un método de entrenamiento que restaura la geometría sensible al dominio mediante la destilación de residuos de un modelo fundacional, sin necesidad de muestras OOD durante el entrenamiento.
3. Validación Empírica: Demuestran que TGT mejora consistentemente la detección OOD en 8 benchmarks de dominio único (incluyendo histopatología, imágenes satelitales, textiles y rocas), manteniendo o mejorando la precisión de clasificación.

4. Resultados Experimentales

Los experimentos se realizaron en 8 conjuntos de datos de dominio único utilizando ResNet-50 y DINOv2 como backbones, comparando contra baselines estándar (CE) y otros métodos como SupCon.

• Mejoras en Detección OOD (Fuera de Dominio):
  • TGT logra reducciones significativas en la Tasa de Falsos Positivos al 95% de Recall (FPR@95) para puntuadores basados en distancia.
  • ResNet-50:
    • Mahalanobis (MDS): Mejora de 11.61 puntos porcentuales (pp).
    • ViM: Mejora de 10.78 pp.
    • k-NN: Mejora de 12.87 pp.
  • Estos resultados cierran una gran parte de la brecha con un oráculo que usa solo las características del profesor.
• Mejoras en Detección OOD (Dentro de Dominio):
  • TGT también mejora la detección de clases no vistas dentro del mismo dominio (un escenario más difícil), reduciendo el FPR@95 en MDS de 70.12% a 59.07% en ResNet-50.
• Precisión de Clasificación:
  • La precisión de clasificación se mantiene o mejora ligeramente en la mayoría de los casos, demostrando que la señal auxiliar no degrada la discriminabilidad de clase.
• Análisis Geométrico:
  • Se confirma que TGT aumenta el rango efectivo de las características (de ~5-6 en el baseline a ~12-47 en TGT en algunos casos) y redistribuye la varianza hacia direcciones relevantes para el dominio, corrigiendo la anisotropía extrema causada por el DSC.
• Limitaciones:
  • Los beneficios son menores cuando se usa DINOv2 como estudiante (en lugar de ResNet-50), probablemente debido a la superposición de arquitecturas e inicializaciones que reduce la complementariedad profesor-estudiante.
  • Los métodos basados en logits (MSP, Energy) muestran mejoras menos consistentes que los basados en distancia.

5. Significado e Impacto

Este trabajo es significativo porque cambia el paradigma de la detección OOD en entornos prácticos:

• Cambio de Enfoque: Sugiere que la detección OOD fiable en sistemas de dominio único es principalmente un problema de aprendizaje de representaciones, no solo de diseño de reglas de puntuación (scoring rules).
• Solución Práctica: Ofrece una solución que no requiere datos OOD durante el entrenamiento (un requisito difícil de cumplir en la industria) ni añade costo computacional en la inferencia.
• Generalización: Al utilizar modelos fundacionales congelados como guías, el método es aplicable a diversos dominios (médico, industrial, satelital) donde la diversidad de datos es limitada.

En resumen, el paper demuestra que el entrenamiento supervisado tradicional "ciega" a los modelos a los cambios de dominio, y que inyectar intencionalmente sensibilidad al dominio mediante un profesor fundacional es una estrategia efectiva y eficiente para construir sistemas de visión por computadora más robustos y seguros.