t-gems: text-guided exit modules for decreasing clip image encoder

Resumen Técnico: T-GEMS – Módulos de Salida Guiados por Texto para Reducir el Codificador de Imágenes de CLIP

Enunciado del Problema
Los modelos multimodales (MM) como CLIP alinean las entradas de imagen y texto en un espacio latente compartido utilizando aprendizaje contrastivo. Aunque son efectivos, su inferencia es estática: cada entrada atraviesa toda la pila de transformadores independientemente de su complejidad, lo que genera altos costos computacionales. Los métodos de Salida Temprana (EE, por sus siglas en inglés), que permiten a los modelos detener el cálculo en capas intermedias cuando tienen confianza, se han explorado en modelos unimodales y multimodales basados en fusión. Sin embargo, EE sigue siendo poco explorado en modelos de codificadores duales contrastivos como CLIP. El desafío principal radica en la separación de los codificadores de modalidades; los enfoques dinámicos existentes a menudo dependen del procesamiento conjunto o del recorte de tokens, fallando en utilizar la información del codificador de texto para guiar las salidas en el codificador visual. Además, desarrollar métodos de EE estáticos para estos modelos requiere una forma de estimar las distribuciones de contenido semántico en capas intermedias derivadas de descripciones textuales sin depender exclusivamente de datos de imagen.

Metodología
Los autores proponen Módulos de Salida Guiados por Texto (T-GEMs), un marco diseñado para realizar salidas tempranas estáticas en el codificador de imágenes de un modelo de codificadores duales utilizando información del codificador de texto. El objetivo central es estimar la distribución de probabilidad posterior de las activaciones de neuronas intermedias ($\ell_{ij}$) para una clase específica $c$, dada una imagen $x$ y una descripción textual $d$.

1. Estimación de Distribución: El método asume que las activaciones intermedias siguen una distribución Gaussiana. El objetivo es calcular la media ($\mu$) y la varianza ($\sigma^2$) para cada clase y capa.
2. Dos Enfoques de Estimación:
   • Basado en Muestreo: Un enfoque ingenuo que utiliza un conjunto de calibración $S$ para calcular empíricamente $\mu$ y $\sigma^2$ para cada clase. Esto evita entrenar nuevos parámetros pero falla en establecer una conexión entre los mapas de activación de texto e imagen.
   • Basado en Aprendizaje (T-GEMs): Una red aprendible $\Psi_i$ (el T-GEM) estima los parámetros de la distribución directamente a partir de las incrustaciones de texto ($d_t$), evitando la necesidad de imágenes de muestra durante la inferencia. Este módulo se optimiza para minimizar la "tasa" (sorpresa) de la señal de activación.
3. El Módulo Jumper: Para mejorar la discriminación, un módulo de proyección $J^i$ (Jumper) mapea las activaciones de imagen intermedias a un espacio de menor dimensión $\tilde{\ell}^i$. Esto facilita una mejor estimación de la tasa y permite la integración de la similitud cruzada de modalidades.
4. Métrica de Clasificación (Tasa por Clase): En lugar de la similitud coseno estándar, el método introduce una métrica de tasa por clase ($R^i_c$). Esta métrica calcula la "sorpresa" de una activación dada una suposición de clase. La clase predicha es aquella que minimiza esta tasa (Ecuación 3), seleccionando efectivamente la clase que comprime la señal de manera más eficiente.
5. Objetivo de Entrenamiento: Los módulos se entrenan utilizando una función de pérdida combinada $L = L_r + L_s$:
   • $L_r$: Un regularizador basado en tasa que minimiza el logaritmo negativo de la verosimilitud de la distribución Gaussiana, mejorando la capacidad de discriminar contenido semántico.
   • $L_s$: Una pérdida de similitud cruzada de modalidades (Similitud Coseno) entre la incrustación de texto y la representación de imagen proyectada.

Contribuciones Clave
El artículo afirma cuatro contribuciones principales:

1. Análisis de Representaciones Intermedias: Una investigación sobre cómo las representaciones intermedias en CLIP varían entre clases con respecto a las incrustaciones de texto, revelando que estas capas contienen información discriminativa adecuada para salidas tempranas.
2. Regularizador de Tasa por Clase: La introducción de una estadística derivada de mapas de activación que se correlaciona con la similitud coseno pero sirve como un regularizador entrenable para mejorar la discriminación.
3. Módulos de Salida Guiados por Texto (T-GEMs): El diseño de un módulo que predice las activaciones del codificador de imágenes intermedias únicamente a partir de incrustaciones de texto, demostrando una relación acotada entre modalidades.
4. Marco de Salida Temprana Estática: El entrenamiento de módulos de EE estáticos que aprovechan mapas de activación intermedios para tareas como la clasificación de imágenes, representando el primer estudio que explora la explotación de capas intermedias de ambos codificadores de texto y visual en modelos de codificadores duales contrastivos para EE estático.

Resultados Experimentales
Se realizaron experimentos en CIFAR-10 utilizando las arquitecturas CLIP ViT-B-32 y ViT-L-14.

• Rendimiento vs. CLIP Completo: El enfoque T-GEMs + Jumper logró una precisión competitiva en comparación con el modelo CLIP completo. Por ejemplo, con ViT-B-32, el método alcanzó un 92% de precisión en la capa final (RB12), comparable a la línea base de cero disparos del 91.3%.
• Impacto de la Regularización: Incorporar el regularizador basado en tasa ($L_r$) mejoró significativamente el rendimiento, particularmente en capas anteriores (RB3–RB5), obteniendo ganancias de hasta un 6% sobre los métodos que utilizan solo similitud coseno.
• Eficiencia de Parámetros: Los parámetros adicionales introducidos por T-GEMs y Jumper son insignificantes (cientos de miles), representando aproximadamente el 4% de un solo bloque residual. Esto permite una compresión significativa del modelo; por ejemplo, salir en la quinta capa reduce el tamaño del codificador en aproximadamente 52 millones de parámetros mientras mantiene una alta precisión.
• Tasa por Clase vs. Coseno: La métrica de tasa por clase demostró ser un proxy confiable para la similitud coseno, superándola a menudo cuando se utiliza como métrica de inferencia, especialmente cuando se combina con el regularizador de tasa.
• Sensibilidad a la Muestra: El enfoque basado en muestreo requirió un número razonable de muestras (por ejemplo, $S \ge 100$) para ser efectivo, mientras que el enfoque basado en aprendizaje se estabilizó con una dimensión de proyección $K=128$, lo que indica que los modelos grandes no son estrictamente necesarios para los T-GEMs.

Significado y Afirmaciones
El artículo posiciona este trabajo como un paso fundamental hacia una inferencia multimodal eficiente. Afirma ser el primer estudio que explora salidas tempranas estáticas en modelos de codificadores duales contrastivos aprovechando la relación entre las capas intermedias de texto y visual. Los autores enfatizan que su método reduce el tamaño del codificador de imágenes sin comprometer el rendimiento de similitud imagen-texto.

El significado radica en demostrar que:

1. Las activaciones intermedias en las capas iniciales del codificador son suficientemente discriminativas para tareas de clasificación.
2. La regularización basada en tasa puede extraer representaciones más discriminativas que las métricas de similitud estándar por sí solas.
3. Las incrustaciones de texto pueden guiar efectivamente la estimación de las distribuciones de activación de imágenes, permitiendo una estrategia de salida temprana estática que no requiere toma de decisiones dinámica por muestra durante la inferencia.

Los autores permanecen modestos respecto al alcance, señalando que, aunque no implementan actualmente una estrategia de salida dinámica (donde cada muestra sale en una capa diferente), su marco estático proporciona una base prometedora para futuras implementaciones dinámicas y entrenamiento de codificadores multimodales ligeros.