Resumen Técnico: Los Autoencoders Dispersos permiten un Ajuste Fino Robusto e Interpretable de los modelos CLIP

Enunciado del Problema

Los modelos de visión y lenguaje preentrenados a gran escala, como CLIP, exhiben un rendimiento notable en situaciones de cero disparos (zero-shot) y robustez frente a cambios de distribución. Sin embargo, el ajuste fino de estos modelos para mejorar el rendimiento dentro de la distribución (ID) en tareas posteriores a menudo conduce a una degradación de la robustez fuera de la distribución (OOD). Este fenómeno, conocido como "deriva representacional" o "supresión de características", ocurre porque el ajuste fino estándar distorsiona el espacio de representaciones preentrenado, sobrescribiendo características semánticamente significativas con ruido específico de la tarea o direcciones arbitrarias.

Los métodos existentes de ajuste fino robusto intentan mitigar esta compensación, pero enfrentan limitaciones significativas:

• WiSE-FT: Promedia los pesos entre los modelos de cero disparos y los ajustados finamente. Aunque es efectivo, a menudo ignora el codificador de texto y depende de una interpolación simple, ofreciendo un control limitado sobre qué características se preservan.
• Enfoques Guiados por Texto (por ejemplo, FLYP, StarFT): Estos métodos ajustan finamente tanto los codificadores de visión como de texto o inyectan características sintéticas y priores externos en las indicaciones de texto. Estos enfoques introducen complejidad computacional y dependen de la ingeniería de datos externa, complicando el pipeline de ajuste fino.

El desafío central es lograr un ajuste fino robusto que mejore el rendimiento ID sin sacrificar la generalización OOD, mientras se hace de manera computacionalmente eficiente, operando exclusivamente sobre la modalidad visual y proporcionando interpretabilidad sobre cómo se adapta el modelo.

Metodología: SAE-FT

Los autores proponen SAE-FT (Ajuste Fino con Autoencoder Disperso), un marco de regularización que restringe el proceso de ajuste fino al rango de características interpretables del modelo preentrenado. El método se basa en la Hipótesis de Representación Lineal, que postula que los conceptos de alto nivel se codifican como direcciones lineales en el espacio de activación.

Componentes Principales

1. Entrenamiento del Autoencoder Disperso (SAE):

   • Un SAE Top-k se entrena de forma no supervisada sobre las representaciones visuales congeladas ($r_0$) del modelo CLIP de cero disparos preentrenado.
   • El SAE descompone representaciones densas y polisémicas en una base dispersa y sobredeterminada de características semánticamente significativas ($s$).
   • Los pesos del SAE se congelan después del entrenamiento y sirven como un diccionario fijo de características interpretables.

2. Estrategia de Regularización:
   Durante el ajuste fino del codificador de visión ($f_{ft}$), el modelo se restringe para asegurar que las actualizaciones a las representaciones ($r_{ft}$) permanezcan dentro del rango semántico del SAE preentrenado. La función de pérdida total combina la pérdida estándar de entropía cruzada ($L_{CE}$) con dos términos de regularización específicos:

   • Penalización de Alineación de Residuos ($L_{resid}$): Asegura que el cambio en la representación ($\Delta r = r_{ft} - r_0$) pueda ser reconstruido por el decodificador del SAE. Esto fuerza a que las actualizaciones sean expresables como una combinación lineal de las características semánticas aprendidas, evitando que el modelo derive hacia direcciones geométricas arbitrarias ortogonales al diccionario.
     $$L_{resid} := \|\Delta r - W_d(\Delta s)\|_2^2$$
   • Penalización de Preservación de Características ($L_{add}$): Penaliza explícitamente la activación de características que estaban inactivas en el modelo de cero disparos. Esto previene la "adición" de nuevos conceptos semánticos, potencialmente espurios.
     $$L_{add} := \lambda_{add} \sum_{k=1}^{p} (1 - m_k)|s_{ft}^k|$$
     donde $m_k$ es un indicador para las características activas en el modelo de cero disparos.

3. Entrenamiento e Inferencia:

   • El SAE no se actualiza durante el ajuste fino y no se utiliza durante la inferencia. Solo sirve como una restricción geométrica durante el bucle de entrenamiento.
   • El método opera exclusivamente sobre el codificador de visión utilizando una configuración de entropía cruzada con cabeza lineal, evitando la complejidad de la ingeniería de datos del lado del texto.

Contribuciones Clave

1. Marco SAE-FT: Una estrategia de ajuste fino novedosa que restringe las actualizaciones de representaciones al rango de características interpretables de una columna vertebral preentrenada. Garantiza que la adaptación ocurra mediante la reponderación de conceptos semánticos existentes en lugar de sobrescribirlos, evitando el olvido catastrófico del conocimiento general.
2. Rendimiento y Eficiencia: Experimentos extensivos demuestran que SAE-FT iguala o supera la robustez del estado del arte (SOTA) en ImageNet y en benchmarks de cambios de distribución. Crucialmente, logra esto sin aumentos del lado del texto o priores inyectados, lo que lo hace computacionalmente eficiente y más fácil de desplegar que los métodos guiados por texto.
3. Perspectiva Mecanística: El marco proporciona un análisis granular de la preservación de características. Demuestra explícitamente que el ajuste fino robusto implica reponderar características existentes (por ejemplo, amplificando "escalera" y "pintura roja" para un camión de bomberos) en lugar de aprender representaciones completamente nuevas, ofreciendo una visión transparente del proceso de adaptación.

Resultados Experimentales

Los autores evaluaron SAE-FT en el modelo ViT-B/16 de OpenAI a través de múltiples benchmarks:

• ImageNet y Cambios de Distribución: SAE-FT logró una precisión en ImageNet del 82.9% (igualando al SOTA) y la mayor precisión promedio (64.6%) en los benchmarks de cambios de distribución (ImageNet-R, A, S, V2). Superó a otros métodos que solo utilizan el codificador de visión, como CAR-FT y WiSE-FT.
• Transferencia Posterior: Cuando se evaluó en CIFAR-10, CIFAR-100, Caltech-101 y STL-10 sin un ajuste fino adicional, SAE-FT logró la mayor precisión promedio de transferencia (87.8%), lo que indica que sus representaciones se generalizan eficazmente a diversas tareas.
• Benchmarks iWilds: En conjuntos de datos OOD del mundo real (iWildCam y FMoW), SAE-FT logró el mejor rendimiento o uno cercano al mejor, particularmente en la precisión del grupo peor y en las puntuaciones macro F1 OOD, superando a la regularización L2 y otros métodos de ajuste fino robusto.
• Comparación con Líneas Base: Mientras que los métodos de regularización genérica (L1, L2, PCA) también mejoraron la robustez al limitar la deriva geométrica, SAE-FT proporcionó un control superior sobre cambios específicos de características. Logró una precisión promedio ligeramente superior a estas líneas base, pero ofreció la ventaja distintiva de operar en una base de características aprendida y semánticamente significativa.

Significado y Afirmaciones

El artículo afirma que SAE-FT representa un paso significativo hacia adelante en hacer que el ajuste fino sea tanto robusto como interpretable.

• Interpretabilidad: A diferencia de la regularización de norma estándar, que trata todas las direcciones por igual, SAE-FT permite a los investigadores analizar directamente qué características semánticas se preservan, reponderan o suprimen. Los autores muestran que el modelo corrige clasificaciones erróneas (por ejemplo, distinguir un barco pirata de una goleta) amplificando características relevantes para la tarea mientras retiene el vocabulario original de características.
• Eficiencia: Al operar exclusivamente sobre la modalidad visual y evitar manipulaciones complejas del lado del texto o datos externos de LLM, SAE-FT ofrece un pipeline simplificado para el ajuste fino robusto.
• Mecanismo de Éxito: Los autores argumentan que el éxito de SAE-FT se debe a su capacidad para forzar al modelo a centrarse en un subconjunto más disperso y relevante de características preexistentes. Esto previene el "parálisis" de las características del modelo fundacional que típicamente ocurre durante el ajuste fino estándar, preservando así el conocimiento general del modelo mientras se agudizan las distinciones específicas de la tarea.

El trabajo concluye que la regularización interpretable puede permitir un ajuste fino eficiente sin borrar los conceptos aprendidos de los modelos preentrenados, ofreciendo una alternativa viable a estrategias complejas de ajuste fino robusto dependientes del texto.