Resumen Técnico: Self-Soupervision: Cocinando Sopas de Modelos sin Etiquetas

1. Planteamiento del Problema

Las sopas de modelos son una técnica para mejorar la precisión de la predicción mediante el promedio de los parámetros de múltiples modelos (ingredientes) inicializados desde un único modelo preentrenado (stock). Aunque es efectiva, los métodos de sopa existentes dependen enteramente del aprendizaje supervisado. Requieren datos etiquetados para generar ingredientes diversos, típicamente variando los hiperparámetros de optimización o realizando un ajuste fino (fine-tuning) en diferentes conjuntos de datos etiquetados. Esta dependencia limita el "menú" de posibles sopas, impidiendo la utilización de la vasta cantidad de datos no etiquetados disponibles en el mundo real. Además, los métodos existentes tienen dificultades para aprovechar los cambios de distribución o los datos objetivo no etiquetados para mejorar la robustez sin etiquetas explícitas.

El artículo plantea: ¿Podemos generalizar las sopas de modelos al Aprendizaje Auto-Supervisado (SSL)? Específicamente, ¿podemos crear "ingredientes" diversos entrenando con diferentes algoritmos y pérdidas de SSL utilizando datos no etiquetados, y luego mezclarlos con éxito en un único modelo robusto?

2. Metodología: Self-Soupervision

Los autores introducen Self-Soupervision, un marco que genera ingredientes de sopa de modelos a través de ejecuciones de entrenamiento auto-supervisado independientes antes del ajuste fino supervisado y la mezcla final.

Marco Central

El proceso se define formalmente como:
$$\theta = \frac{1}{N \cdot M} \sum_{j=1}^{N} \sum_{i=1}^{M} \text{Train}(\underbrace{\text{Train}(\theta_{pt}, X_i)}_{\text{Inter-entrenamiento Auto-Supervisado}}, X_j, Y_j)$$
Donde:

• $\theta_{pt}$ es el stock preentrenado.
• $M$ es el número de ejecuciones de inter-entrenamiento en datos no etiquetados $X_i$ utilizando diferentes algoritmos o hiperparámetros de SSL.
• $N$ es el número de ejecuciones de ajuste fino en datos etiquetados $X_j, Y_j$ para la tarea objetivo.
• El modelo final $\theta$ es el promedio de todos los ingredientes resultantes.

Componentes Clave

1. Ingredientes de SSL Diversos: En lugar de variar solo los hiperparámetros supervisados, el método varía las ejecuciones de entrenamiento auto-supervisado. Los ingredientes se crean mediante el inter-entrenamiento en datos no etiquetados utilizando diferentes familias de SSL:
   • Reconstrucción: MAE (Autoencoders de Máscara).
   • Contraste de Instancias: MoCoV3.
   • Contraste de Dimensiones: MMCR y LeJEPA.
   • Variación de Hiperparámetros: Diferentes tasas de aprendizaje y ratios de enmascaramiento dentro del mismo algoritmo.
2. Inter-entrenamiento Consciente del Cambio (Shift-Aware): Para mejorar la robustez, los ingredientes pueden ser inter-entrenados en datos no etiquetados corruptos o desplazados (por ejemplo, ImageNet-C o LAION-C) antes de ser ajustados finamente de nuevo en la distribución de entrenamiento limpia y etiquetada. Esto permite que el modelo "pruebe" el cambio sin requerir etiquetas para dicho cambio.
3. Auto-Sazonado (Self-Seasoning): El mezclado de sopas tradicional a menudo utiliza "sazonado" (selección de los pesos de la mezcla más óptimos) basado en un conjunto etiquetado de pocos ejemplos (few-shot). Los autores proponen el Auto-Sazonado, una variante no supervisada. Este optimiza los coeficientes de la mezcla $\alpha$ minimizando la entropía de las predicciones de los vecinos más cercanos en datos no etiquetados, permitiendo la creación de sopas totalmente no supervisadas para tareas de transferencia.

3. Contribuciones Clave

• Generalización a SSL: El artículo demuestra que las sopas de modelos pueden construirse a partir de ingredientes entrenados con diferentes pérdidas y algoritmos auto-supervisados, no solo con variaciones de ajuste fino supervisado.
• Descubrimiento de la Conectividad de Modo Lineal (LMC): Los autores muestran por primera vez que la LMC —la condición donde la interpolación lineal de los pesos del modelo mantiene una alta precisión— se mantiene entre ingredientes entrenados con algoritmos de SSL fundamentalmente diferentes (por ejemplo, mezclando ingredientes de MAE y MoCoV3).
• Robustez mediante Desplazamientos No Etiquetados: El método permite la creación de ingredientes "conscientes del desplazamiento" mediante el inter-entrenamiento en datos no etiquetados corruptos, impulsando significativamente la robustez en conjuntos de prueba corruptos sin requerir etiquetas para la corrupción.
• Transferencia Totalmente No Supervisada: A través del Auto-Sazonado, el artículo muestra que las sopas pueden mezclarse y optimizarse para nuevas tareas utilizando únicamente datos no etiquetados, eliminando la necesidad de etiquetas específicas de la tarea durante la fase de mezclado.

4. Resultados Experimentales

Los autores evaluaron Self-Soupervision a través de las colecciones ImageNet y VTAB (21 tareas visuales diversas).

Robustez en Datos Corruptos

• ImageNet-C y LAION-C: Las Self-Sopas que inter-entrenan en datos no etiquetados corruptos (ImageNet-C/LAION-C) y luego realizan el ajuste fino en datos limpios lograron ganancias significativas sobre las sopas supervisadas estándar.
  • +3.5% de mejora en ImageNet-C.
  • +7.0% de mejora en LAION-C.
• Comparación: Estas Self-Sopas superaron los ensambles de ingredientes individuales y las líneas base estándar de "SSL Continuado + Sopa Supervisada" (que solo inter-entrenan en datos limpios).

Aprendizaje de Transferencia (VTAB)

• Datos Limpios: Las Self-Sopas lograron ganancias modestas pero consistentes sobre las sopas puramente supervisadas y las líneas base de "SSL Continuado" en 21 tareas de VTAB.
• Datos Corruptos: Las Self-Sopas mostraron una fuerza particular contra desenfoque (blur), clima y corrupciones digitales (+2% de ganancia), aunque funcionaron ligeramente peor en ruido en comparación con las sopas solo supervisadas.
• Comparación con Ratatouille: Las Self-Sopas igualaron el rendimiento de "Model Ratatouille" (que requiere conjuntos de datos etiquetados auxiliares para el inter-entrenamiento) mientras que requirieron ningún conjunto de datos etiquetados adicionales, demostrando la eficacia del uso de datos no etiquetados para la diversidad de los ingredientes.

Rendimiento del Auto-Sazonado

• En escenarios de pocos ejemplos (few-shot) (<500 muestras de entrenamiento), el Auto-Sazonado (optimización de mezcla no supervisada) fue competitivo con el "Sazonado Etiquetado" (optimización supervisada) y superó el ajuste fino estándar en tareas naturales. Esto demuestra que se pueden crear y ajustar sopas de alta calidad sin etiquetas específicas de la tarea.

5. Significado y Reivindicaciones

El artículo afirma que Self-Soupervision "amplía vastamente el menú de posibles sopas" al aprovechar los datos no etiquetados y diversas pérdidas de SSL. Su principal importancia radica en:

1. Democratización de la Robustez: Permite a los profesionales mejorar la robustez de los modelos contra cambios de distribución utilizando únicamente datos desplazados no etiquetados, evitando la necesidad de costosos datos etiquetados del desplazamiento.
2. Diversidad Algorítmica: Demuestra que mezclar modelos entrenados con diferentes objetivos de SSL (por ejemplo, reconstrucción vs. contraste) no solo es posible, sino productivo, desafiando la suposición de que los ingredientes deben ser homogéneos en su objetivo de entrenamiento.
3. Eficiencia de Costos: El método mejora la precisión y la robustez sin aumentar los costos de inferencia (la sopa final es un único modelo) y reduce la dependencia de los datos etiquetados para el proceso de "cocinado".

Los autores concluyen que, si bien las ganancias en datos limpios son modestas, la capacidad de aprovechar los datos no etiquetados para la robustez y la capacidad de mezclar algoritmos de SSL fundamentalmente diferentes representan un paso significativo hacia adelante en la fusión de modelos y el aprendizaje auto-supervisado.