Resumen Técnico: Atención Dispersa para la Predicción de Vocabulario Abierto Densa en CLIP

Declaración del Problema

El preentrenamiento de Lenguaje-Imagen Contrastivo (CLIP) y sus variantes a gran escala (por ejemplo, EVA-CLIP, SigLIP) sobresalen en la semántica global a nivel de imagen debido a sus objetivos de entrenamiento contrastivos. Sin embargo, cuando se aplican a tareas de predicción densa como la segmentación semántica o la recuperación de regiones de grano fino, sufren de una localización espacial deficiente. El problema central reside en el mecanismo de auto-atención de softmax denso utilizado en las últimas capas del codificador visual.

El softmax asigna una masa de probabilidad estrictamente positiva a cada par de tokens, incluyendo tokens de fondo semánticamente irrelevantes. Aunque esto es efectivo para reunir un contexto amplio durante el preentrenamiento, esta distribución "densa" dispersa la atención a través de tokens de baja saliencia, creando ruido que oscurece las pistas espaciales finas y localizadas necesarias para tareas a nivel de píxel o de región. Los métodos existentes que no requieren entrenamiento que modifican la fuente de la atención (por ejemplo, cambiando de query-key a autocorrección como $Q-Q$ o $V-V$) mejoran la localización, pero no logran abordar el papel fundamental del normalizador softmax al dispersar la masa globalmente entre todos los tokens.

Metodología

Los autores proponen una sustitución en tiempo de inferencia y sin entrenamiento del normalizador softmax por filas en las últimas capas de auto-atención visual de un codificador CLIP congelado, utilizando la transformación $\alpha$-entmax.

La Transformación $\alpha$-entmax

A diferencia de softmax, que es la solución a un objetivo regularizado por la entropía de Shannon, $\alpha$-entmax se deriva de un regularizador de entropía de Tsallis $\alpha$ ($\alpha \in (1, 2]$).

• Mecanismo: Aplica un umbral $\tau$ dependiente de los datos a las puntuaciones de atención. Las puntuaciones por debajo de este umbral se mapean exactamente a cero, mientras que las puntuaciones restantes se renormalizan para sumar uno.
• Efecto: Esto actúa como un eliminador de ruido implícito, anulando las dependencias contextualmente irrelevantes (la "cola larga" de tokens de fondo de baja relevancia) y redistribuyendo la masa de probabilidad hacia los tokens más relevantes.
• Parámetros: El método no introduce parámetros aprendibles y deja intactos la arquitectura y los pesos preentrenados. Generaliza suavemente a softmax (recuperándolo conforme $\alpha \to 1$).

Configuración Experimental

El estudio evalúa esta sustitución en dos tareas principales:

1. Segmentación Semántica Densa: Predicción a nivel de píxel en Pascal VOC, Pascal Context y ADE20K.
2. Detección de Vocabulario Abierto de Grano Fino (FG-OVD): Reconocimiento a nivel de región centrado en la discriminación de atributos (color, material, patrón).

Los autores prueban varios orígenes de la puntuación de atención:

• Estándar ($QK^\top$): Atención nativa de query-key.
• Autocorrección ($SS^\top$): Reemplazo del producto query-key por productos de sí mismos de las proyecciones de Query ($Q$), Key ($K$) o Value ($V$) (por ejemplo, $Q-Q$, $K-K$, $V-V$, y sus combinaciones).

Los experimentos se realizan sobre backbones congelados CLIP ViT-B/16 y ViT-L/14.

Contribuciones Clave

1. Dispersión sin Entrenamiento: El artículo evalúa empíricamente la sustitución de softmax por $\alpha$-entmax en las últimas capas de codificadores CLIP congelados, aislando la densidad de la atención como una única variable sin modificar la arquitectura o los pesos del modelo.
2. Análisis de la Dispersión de la Atención: Los autores establecen un hallazgo central: la ganancia de rendimiento de la dispersión es proporcional a la difusión de la atención base.
   • Si la atención base ya está concentrada en la clase objetivo, entmax ofrece poca ventaja o puede degradar el rendimiento al descartar masa útil.
   • Si la atención base es difusa (dispersando la masa sobre tokens no pertenecientes a la clase), entmax mejora significativamente el rendimiento al podar la cola irrelevante.
3. Escalado de Resolución y Backbone: El estudio demuestra que los beneficios de la dispersión aumentan con resoluciones de entrada más altas y backbones más grandes (por ejemplo, ViT-L/14), ya que estas condiciones incrementan el recuento de tokens y la extensión de la "cola ruidosa" que entmax puede podar.

Resultados

La evaluación revela comportamientos distintos a través de diferentes distribuciones de atención:

• Autocorrección + Entmax: La combinación de la atención de autocorrección (por ejemplo, $Q-Q$, $K-K$, $V-V$) con $\alpha$-entmax produce ganancias consistentes y significativas.
  • En ADE20K (ViT-B/16, $Q-Q$), el mIoU mejoró de 5.69 a 12.90.
  • En FG-OVD (ViT-B/16, $Q-Q$), el mHME mejoró de 9.96 a 17.50.
  • Las ganancias son monotónicas a través de los conjuntos de datos y las escalas de los modelos.
• Atención Estándar $QK$: Aunque entmax mejora la atención $QK$ estándar, las puntuaciones absolutas siguen siendo inferiores a los métodos de autocorrección. Esto se debe a que la atención $QK$ estándar es difusa por naturaleza; entmax solo puede reducir la cola de una distribución ya ruidosa, pero el operador de agrupación subyacente sigue siendo subóptimo para la localización.
• Anomalía de Solo Valor ($V-V$): En el backbone más pequeño ViT-B/16, la distribución $V-V$ ya concentra bien la masa en los tokens relevantes. Aplicar entmax aquí degrada el rendimiento (por ejemplo, -2.8 mIoU en VOC) porque el umbral de corte descarta masa útil. Sin embargo, en el más difuso ViT-L/14, $V-V$ se beneficia de entmax, confirmando la hipótesis de "ganancia proporcional a la difusión".
• Escalado de Resolución: A medida que la resolución aumenta (224 $\to$ 448), la brecha entre softmax y entmax se amplía de forma monótona para las distribuciones de autocorrección, ya que el aumento en el recuento de tokens expande la cola ruidosa que entmax elimina.

Significado y Reivindicaciones

El artículo afirma que la dispersión de la atención es un factor relevante, aunque ampliamente pasado por alto, para abordar las limitaciones de CLIP en la predicción densa.

• Eliminación de Ruido vs. Dispersión: Los autores enfatizan que el beneficio no proviene simplemente de dispersar la distribución, sino de una eliminación de ruido consciente del contenido. Una máscara aleatoria con el mismo nivel de dispersión no produce ganancias similares; el umbral específico dependiente de los datos de entmax es crucial para identificar y anular los tokens irrelevantes.
• Separación de Variables: Al mantener la arquitectura congelada y cambiar únicamente el normalizador, el estudio separa el efecto de la fuente de la puntuación (por ejemplo, $QK$ vs. $VV$) de la función de normalización (softmax vs. entmax). Esto aclara que, si bien la autocorrección mejora la localización, el normalizador softmax aún dispersa la masa globalmente, y se requiere de entmax para realizar plenamente el potencial de las características localizadas.
• Alcance Modesto: Los autores posicionan este trabajo como un análisis sistemático más que como un nuevo flujo de trabajo de estado del arte. El método es estrictamente de tiempo de inferencia y sin entrenamiento, diseñado para explicar dónde y por qué ayuda la dispersión de la atención, en lugar de proponer un nuevo paradigma de entrenamiento.