SeMoBridge: Semantic Modality Bridge for Efficient Few-Shot Adaptation of CLIP

Resumen Técnico: SeMoBridge

1. El Problema: Desalineación Intra-Modo en CLIP

Aunque el modelo CLIP (Contrastive Language-Image Pretraining) destaca en tareas zero-shot gracias a su alineación inter-modal (imagen-texto), su rendimiento en clasificación few-shot (pocos ejemplos) se ve limitado por un problema crítico: la desalineación intra-modal.

• La Brecha de Modalidad (Modality Gap): Existe una separación inherente entre los espacios de embeddings de imágenes y textos desde la inicialización. El entrenamiento de CLIP se centra en unir pares imagen-texto, pero deja la estructura semántica interna de cada modalidad (especialmente la de imágenes) sin calibrar.
• Consecuencia: Las comparaciones directas de imagen a imagen (intra-modal) son poco fiables. Un ejemplo de la imagen de un perro puede quedar más cerca del centroide de "gato" que del de "perro" en el espacio de embeddings, lo que provoca errores de clasificación.
• Limitaciones de Métodos Existentes: Las soluciones actuales o bien evitan la comparación imagen-imagen (usando solo prompts de texto, perdiendo detalles visuales finos) o requieren optimización computacionalmente costosa por muestra (optimización por muestra), lo que las hace ineficientes.

2. Metodología: SeMoBridge

Los autores proponen SeMoBridge, un enfoque ligero y eficiente que soluciona la desalineación mapeando las representaciones de imágenes directamente al espacio de texto, preservando su contenido semántico.

Concepto Central:
En lugar de comparar imágenes con imágenes, SeMoBridge convierte las imágenes en "tokens pseudo-texto" (pseudo-EOS tokens) que pueden compararse de manera robusta dentro del espacio compartido de CLIP.

Componentes Clave:

• Transformación de Cierre (Closed-Form):

  • Se basa en la premisa de que, tras el entrenamiento contrastivo, la dirección de un embedding de imagen ($f_{img}$) y su embedding de texto correspondiente ($\hat{f}_{txt}$) son aproximadamente iguales.
  • Utiliza la pseudo-inversa de Moore-Penrose ($W^+_{txt}$) de la capa de proyección de texto de CLIP para "retro-proyectar" la imagen al espacio de tokens de texto.
  • La fórmula clave estima el token pseudo-EOS ($\hat{f}_{eos}$) y luego lo proyecta al espacio compartido:
    $$\hat{f}_{txt} \approx \frac{\|T_{eos}\|}{\|W^+_{txt} f_{img}\|} f_{img}$$
  • Esto permite realizar comparaciones inter-modales confiables (Imagen Puente vs. Imagen) en lugar de intra-modales.

• Inferencia sin Entrenamiento (SeMoBridge):

  • No requiere entrenamiento. Utiliza la pseudo-inversa precalculada de la matriz de proyección de texto.
  • Combina tres señales de logits para la predicción final:
    1. Prior Zero-Shot: Similaridad clásica CLIP (Imagen vs. Texto).
    2. Imagen Puente vs. Few-Shots: La imagen de consulta convertida a texto se compara con las imágenes de soporte originales.
    3. Imagen Original vs. Few-Shots Puente: La imagen de consulta original se compara con las imágenes de soporte convertidas a texto.
  • Los pesos de estas señales se optiman en un conjunto de validación.

• Versión Entrenada (SeMoBridge-T):

  • Una variante que se entrena mediante supervisión multimodal para mejorar la alineación semántica.
  • Pérdidas (Loss Functions):
    • $L_{img}$: Alineación con las imágenes originales.
    • $L_{txte}$ y $L_{txtp}$: Alineación con los tokens de texto y su proyección.
    • $L_{cons}$: Consistencia intra-clase (que todas las imágenes de una clase sean similares tras el puente).
    • $L_{bias}$: Regularización de la norma de los sesgos específicos por clase (CSB) para evitar que ciertas clases dominen el espacio.
  • Eficiencia: Solo se actualizan los parámetros del puente y los sesgos; los encoders de CLIP permanecen congelados.

3. Contribuciones Clave

1. SeMoBridge: Un puente de modalidad semántica ligero y sin entrenamiento que elimina la necesidad de optimización por muestra, resolviendo la desalineación intra-modal mediante una proyección de cierre.
2. Estrategia de Supervisión Multimodal: Un método de entrenamiento eficiente (SeMoBridge-T) que combina pérdidas de alineación de imagen y texto, mejorando la retención de conocimiento semántico sin retropropagar a través de los encoders pesados de CLIP.
3. Rendimiento Superior en Escenarios de Pocos Datos: Demostración experimental de que el método supera a los métodos actuales (SOTA) con tiempos de entrenamiento mínimos, especialmente en configuraciones de 1, 2 y 4 ejemplos (shots).

4. Resultados Experimentales

Los autores evaluaron el método en 11 conjuntos de datos (incluyendo ImageNet, OxfordPets, Flowers102, etc.) con diferentes arquitecturas (ViT-B/16 y ResNet-50).

• Precisión vs. Tiempo: SeMoBridge-T logra una precisión superior a métodos como APE, Tip-Adapter-F y LDC, pero utilizando una fracción del tiempo de entrenamiento (ej. 27 segundos vs. horas o minutos de otros métodos).
• Escenarios de Muy Pocos Datos: El rendimiento es particularmente notable en configuraciones de 1-shot y 2-shot, donde la desalineación intra-modal es más crítica.
• Robustez (Out-of-Distribution): En pruebas con variantes de ImageNet (V2, Sketch), SeMoBridge-T mostró una mayor generalización y robustez frente a cambios de distribución en comparación con otros métodos entrenados.
• Análisis de Distribución: Los histogramas de similitud coseno muestran que SeMoBridge reduce drásticamente la superposición entre muestras de la misma clase y de clases diferentes, corrigiendo la mala calibración de CLIP.
• Transferencia: Un modelo entrenado en ImageNet puede transferirse a otros dominios sin reentrenamiento, manteniendo mejoras significativas, lo que sugiere que el puente captura una relación geométrica general entre modalidades.

5. Significado e Impacto

• Eficiencia Computacional: SeMoBridge demuestra que no es necesario realizar costosas optimizaciones por muestra para adaptar CLIP a tareas few-shot. La transformación de cierre ofrece una solución elegante y rápida.
• Superación de la Brecha de Modalidad: Proporciona una solución práctica al problema fundamental de la desalineación intra-modal, permitiendo comparaciones imagen-imagen fiables dentro del ecosistema de CLIP.
• Versatilidad: El método no solo mejora la clasificación, sino que también se ha demostrado efectivo en tareas de recuperación (Image-to-Image y Text-to-Text), indicando que la corrección de la desalineación beneficia a múltiples tareas multimodales.
• Accesibilidad: Al ser ligero y de código abierto, facilita la adopción de modelos CLIP en aplicaciones del mundo real donde los recursos computacionales y los datos etiquetados son limitados.

En conclusión, SeMoBridge representa un avance significativo en la adaptación de modelos de visión-lingüística, ofreciendo un equilibrio óptimo entre precisión, eficiencia computacional y facilidad de implementación.