Training a Student Expert via Semi-Supervised Foundation Model Distillation

Resumen Técnico: Entrenamiento de un Experto Estudiante mediante Destilación Semi-Supervisada de Modelos Fundacionales

1. El Problema

Los Modelos Fundacionales de Visión (VFMs) han demostrado capacidades excepcionales en percepción visual, pero enfrentan dos barreras críticas para su despliegue en escenarios del mundo real (como la conducción autónoma o la robótica):

• Costo Computacional: Su gran escala los hace demasiado pesados para entornos con restricciones de latencia, memoria o energía.
• Dependencia de Anotaciones: Adaptar estos modelos genéricos a tareas específicas (como la segmentación de instancias) requiere grandes cantidades de datos etiquetados a nivel de píxel, cuya obtención es extremadamente costosa y laboriosa.

Las soluciones existentes de destilación de conocimiento (KD) o aprendizaje semi-supervisado (SSL) a menudo tratan a los VFMs como extractores de características fijas, se centran en tareas semánticas más gruesas o no aprovechan suficientemente la estructura de los datos no etiquetados para refinar máscaras densas, lo que resulta en una mala separación de instancias adyacentes.

2. Metodología Propuesta

Los autores proponen un marco de Destilación de Conocimiento Semi-Supervisado (SSKD) que comprime un VFM preentrenado (maestro) en un "experto estudiante" compacto utilizando una pequeña cantidad de datos etiquetados y una gran cantidad de datos no etiquetados. El enfoque se basa en tres etapas secuenciales:

1. Adaptación del Maestro (Teacher Adaptation):

   • Se ajusta el VFM preentrenado al dominio objetivo mediante auto-entrenamiento (self-training) utilizando pseudo-etiquetas generadas sobre los datos no etiquetados.
   • Innovación clave: Se introduce un cabezal de calibración contrastiva a nivel de píxel durante esta fase. En lugar de solo usar las pseudo-etiquetas, se fuerza al modelo a aprender representaciones que separen claramente las diferentes instancias, mejorando la consistencia espacial de las máscaras generadas.

2. Transferencia de Conocimiento (Knowledge Transfer):

   • El maestro adaptado se congela y se utiliza para entrenar a un estudiante ligero.
   • Se emplea una función de pérdida unificada que combina:
     • Pérdida supervisada (datos etiquetados).
     • Pérdida semi-supervisada (pseudo-etiquetas de datos no etiquetados).
     • Pérdida Contrastiva Consciente de la Instancia (Instance-Aware Pixel-wise Contrastive Loss): Esta es la contribución central. Fusiona las puntuaciones de máscara y clase para crear una distribución de muestreo de negativos. En lugar de tratar todos los píxeles de otras clases como negativos, el método identifica "negativos informativos" (píxeles que probablemente pertenecen a instancias diferentes pero de la misma clase) para forzar márgenes claros entre instancias.

3. Refinamiento del Estudiante (Student Refinement):

   • Para mitigar el sesgo residual introducido por las pseudo-etiquetas (ruido), el estudiante se ajusta finamente (fine-tuning) solo con los datos etiquetados. Esto afina las fronteras de decisión y corrige desviaciones.

Funcionamiento de la Pérdida Contrastiva:
El método genera embeddings normalizados para vistas débiles y fuertes de la imagen. Para cada píxel ancla, forma un par positivo con la misma ubicación en la vista fuerte. Los negativos se muestrean dinámicamente basándose en una probabilidad conjunta de máscara y clase, favoreciendo píxeles que tienen alta probabilidad de pertenecer a instancias distintas, maximizando así la separación inter-instancia.

3. Contribuciones Clave

• Pérdida Contrastiva Consciente de la Instancia: Un nuevo término de pérdida a nivel de píxel que combina predicciones de máscara y clase para identificar negativos informativos y enforzar una separación robusta entre instancias en entornos de predicción densa.
• Marco de Destilación en Tres Etapas: Un pipeline que integra adaptación de dominio con auto-entrenamiento, transferencia de conocimiento con muestreo de negativos sesgado (debias) y refinamiento final, manteniendo una señal contrastiva consistente a lo largo de todo el proceso.
• Validación Empírica y Teórica: Se demuestra teóricamente que su estrategia de muestreo de negativos aumenta el margen esperado entre instancias, y se valida empíricamente que reduce la tasa de falsos negativos en el muestreo.

4. Resultados Experimentales

El método se evaluó en dos benchmarks estándar de segmentación de instancias: Cityscapes y ADE20K, utilizando solo el 10% de los datos etiquetados.

• Eficiencia: El modelo estudiante es aproximadamente 11 veces más pequeño que el maestro (52M parámetros vs. 568M parámetros).
• Rendimiento en Cityscapes:
  • El estudiante supera al maestro VFM "zero-shot" en +11.9 AP.
  • Supera al maestro adaptado (sin destilación) en +3.4 AP.
  • Supera a los métodos actuales de estado del arte (SOTA) en destilación semi-supervisada.
• Rendimiento en ADE20K:
  • Mejora sobre el maestro zero-shot en +8.6 AP.
  • Mejora sobre el maestro adaptado en +1.5 AP.
• Eficiencia Computacional: El estudiante logra una aceleración de velocidad de aproximadamente 356x en comparación con el maestro, manteniendo una alta precisión.
• Robustez: El método mantiene su superioridad incluso con fracciones de datos etiquetados muy bajas (5% y 30%).

5. Significancia e Impacto

Este trabajo es significativo porque cierra la brecha entre la alta capacidad de los modelos fundacionales y la necesidad de modelos eficientes y especializados para el despliegue en el borde (edge).

• Democratización del Despliegue: Permite utilizar la potencia de modelos masivos como Grounding-DINO y SAM2 en dispositivos con recursos limitados sin sacrificar el rendimiento.
• Reducción de Costos de Etiquetado: Al aprovechar eficazmente datos no etiquetados mediante una señal contrastiva inteligente, reduce drásticamente la dependencia de anotaciones manuales costosas.
• Calidad de Máscaras: La introducción de la pérdida contrastiva consciente de la instancia resuelve un problema fundamental en la segmentación: la confusión entre instancias adyacentes de la misma clase, logrando máscaras más limpias y precisas.

En resumen, el artículo presenta un pipeline robusto que transforma modelos fundacionales pesados en expertos ligeros y de alto rendimiento, estableciendo un nuevo estándar para la adaptación eficiente de modelos de visión en escenarios con pocos datos etiquetados.