Resumen Técnico: TRACER – Regularización Persistente para el Ajuste Fino Robusto Multimodal

1. Enunciado del Problema

Los modelos multimodales preentrenados, como CLIP, poseen capacidades notables de transferencia cero-shot derivadas de un preentrenamiento a gran escala. Sin embargo, adaptar estos modelos a tareas posteriores mediante un ajuste fino estándar a menudo conduce al olvido catastrófico, donde el modelo sacrifica su robustez general de propósito, fuera de distribución (OOD), para optimizar patrones específicos de la tarea. Aunque existen diversas estrategias para mitigar esta compensación (por ejemplo, promediado de pesos, regularización L2, autodistilación), a menudo sufren limitaciones fundamentales.

Una limitación crítica, en gran medida pasada por alto en este trabajo, es el comportamiento de los maestros Exponential Moving Average (EMA) estándar utilizados en el ajuste fino robusto. A medida que el entrenamiento converge y el modelo estudiante se acerca al maestro, el maestro EMA colapsa sobre el estudiante, haciendo que la señal de regularización desaparezca precisamente cuando la robustez OOD es más vulnerable. Además, los métodos de autodistilación estáticos introducen un "sesgo de ancla" al fijar al maestro en los pesos preentrenados iniciales, impidiendo que el modelo converja completamente hacia la solución óptima de la tarea dentro del subespacio de la tarea.

2. Metodología: TRACER

Los autores proponen TRACER (Anclaje Robusto de Trayectoria para Regularización de Codificador Contrastivo), un marco de ajuste fino fundamentado en un nuevo análisis teórico del aprendizaje contrastivo.

2.1 Marco Teórico

El artículo desarrolla un marco teórico para el ajuste fino multimodal contrastivo mediante la linealización de los codificadores de imagen y texto. Las ideas teóricas clave incluyen:

• Reformulación de la Matriz Objetivo Contrastiva: El objetivo de aprendizaje contrastivo multimodal (MMCL) linealizado se reformula como un problema de mínimos cuadrados matricial impulsado por una "matriz objetivo contrastiva" ($Y_{FT}$). Esto permite soluciones de forma cerrada para diversas estrategias de ajuste fino.
• Descomposición Geométrica: El análisis revela que el ajuste fino implica dos comportamientos geométricos distintos:
  1. Preservación Ortogonal: Mantener el conocimiento preentrenado en direcciones ortogonales a los datos de ajuste fino.
  2. Mezcla de Subespacio de Tarea: Adaptar o mezclar conocimiento dentro del subespacio abarcado por los datos de ajuste fino.
• Limitaciones de los Métodos Existentes:
  • El Ajuste Fino Directo descarta el conocimiento preentrenado en el subespacio de la tarea.
  • La Regularización L2 crea una mezcla compleja y no quirúrgica de pesos antiguos y nuevos.
  • La Autodistilación Estática preserva el conocimiento ortogonal pero introduce un sesgo en el subespacio de la tarea, impidiendo la convergencia hacia la solución óptima de la tarea.
  • Los Maestros EMA sufren un colapso de la señal a medida que el maestro y el estudiante convergen.

2.2 El Maestro WMA

Para abordar el colapso de los maestros EMA y el sesgo de los maestros estáticos, TRACER introduce un maestro de Media Móvil Ponderada (WMA).

• Mecanismo: A diferencia del EMA, que pondera la historia basándose en la recencia, el maestro WMA pondera toda la trayectoria del estudiante basándose en un kernel de tiempo normalizado (por ejemplo, una distribución Beta).
• Regularización Persistente: Al utilizar un kernel que coloca peso tanto en estados tempranos (preentrenados) como tardíos (convergidos), el maestro WMA mantiene una fuerza regularizadora persistente a lo largo de horizontes de entrenamiento finitos. Evita que la brecha maestro-estudiante desaparezca demasiado pronto.
• Convergencia Libre de Sesgo: Los autores demuestran que el maestro WMA permite que el estudiante converja hacia la solución de tarea de norma mínima dentro del subespacio de la tarea (eliminando el sesgo de ancla estático) mientras preserva estrictamente el conocimiento en el subespacio ortogonal.

2.3 Objetivo de Entrenamiento

TRACER combina la pérdida InfoNCE simétrica estándar con una pérdida de autodistilación dinámica guiada por el maestro WMA:
$$L_{TRACER} = L_{MMCL} + \lambda_{SD} L_{SD-WMA}$$
La pérdida de distilación ($L_{SD-WMA}$) es una composición de cuatro perspectivas para operacionalizar los principios geométricos:

1. Distilación de Características (FD): Alinea las incrustaciones del estudiante y el maestro.
2. Distilación Relacional Contrastiva (CRD): Coincide con las distribuciones de similitud por lote.
3. Aprendizaje Contrastivo Interactivo (ICL): Fomenta la alineación cruzada de modalidades entre estudiante y maestro.
4. Distilación de Conocimiento Cruzado (Cross-KD): Alinea los logits cruzados de modalidades para transferir la estructura relacional.

3. Contribuciones Clave

1. Reformulación Teórica: Introducción de la "matriz objetivo contrastiva" para reformular la pérdida contrastiva linealizada como un problema de mínimos cuadrados, permitiendo soluciones de forma cerrada y una descomposición geométrica de las estrategias de ajuste fino.
2. Identificación del Colapso del Maestro: Demostración de que los maestros EMA estándar sufren un colapso inherente, debilitando la regularización exactamente cuando la robustez OOD es más frágil.
3. Maestro WMA y Convergencia Libre de Sesgo: Demostración de que un maestro de Media Móvil Ponderada mantiene una señal de regularización persistente y logra una convergencia libre de sesgo en el subespacio de la tarea mientras preserva el conocimiento ortogonal.
4. Implementación de TRACER: Instanciación de estos principios en un método práctico que combina el aprendizaje contrastivo con una distilación multi-perspectiva guiada por WMA.

4. Resultados Experimentales

Los autores evaluaron TRACER en modelos CLIP (ViT-B/16, ViT-L/14, ResNet50) ajustados finamente en ImageNet-1K y probados en cinco desplazamientos de distribución OOD (IN-V2, IN-R, IN-A, IN-S, ObjectNet).

• Rendimiento OOD: TRACER superó consistentemente a las líneas base de última generación (incluyendo LP-FT, FLYP, Lipsum-FT, CaRot y Model Stock) en la precisión OOD promedio. Por ejemplo, en ViT-B/16, TRACER logró una precisión OOD promedio del 64.07% en comparación con el 62.54% de CaRot y el 59.91% de LP-FT.
• Calibración: TRACER logró el Error de Calibración Esperado (ECE) más bajo en los conjuntos de datos OOD, indicando una mayor fiabilidad probabilística bajo desplazamientos de distribución.
• Preservación Geométrica: El análisis de similitud representacional por capas (CKA y SVCCA) mostró que, mientras que el Ajuste Fino Directo causó una deriva significativa en capas más profundas (olvido), TRACER mantuvo una similitud > 0.97 con el modelo preentrenado en todas las capas.
• Estudios de Ablación: Ablaciones integrales confirmaron que:
  • Los componentes de distilación multi-perspectiva son complementarios.
  • Una fuerza de distilación moderada ($\lambda_{SD} \approx 1.0-2.0$) ofrece la mejor compensación ID-OOD.
  • El método es robusto a las frecuencias de actualización del maestro (a diferencia de CaRot, que requiere una programación frágil).
  • La ponderación tipo arcseno (Beta(0.5, 0.5)) es la más efectiva para el kernel.
• Eficiencia: TRACER es computacionalmente más eficiente que CaRot, evitando el costo de regularización espectral $O(d^3)$, con una sobrecarga de solo $O(B^2)$ para la distilación.

5. Significado y Afirmaciones

El artículo afirma que TRACER cierra la brecha entre la geometría del ajuste fino y el diseño práctico de métodos robustos. Al demostrar teóricamente que la regularización de trayectoria con un maestro WMA previene el colapso de la señal de regularización, el método ofrece una solución principista al olvido catastrófico en modelos multimodales.

Los autores enfatizan que su trabajo es puramente defensivo, destinado a mejorar la fiabilidad de los modelos fundamentales en aplicaciones del mundo real donde las entradas pueden diferir de los datos de entrenamiento (por ejemplo, imágenes médicas, sistemas autónomos). Declaran explícitamente que el método no acelera capacidades dañinas, sino que mitiga el sobreajuste y mejora la generalización. El análisis teórico se desarrolla actualmente en un régimen linealizado, sugiriendo trabajo futuro para extensiones al Kernel Tangente Neuronal (NTK) y configuraciones de características aleatorias para modelos no lineales más grandes.