Steerable Visual Representations

1. El Problema

Los Representantes Visuales Preentrenados (como DINOv2, MAE o SigLIP) generan características visuales genéricas de alta calidad que son útiles para tareas de recuperación, clasificación y segmentación. Sin embargo, presentan una limitación fundamental: tienden a enfocarse exclusivamente en los objetos más salientes o prominentes de una imagen debido a sesgos en los conjuntos de datos de entrenamiento (sesgo del fotógrafo). No existe una forma de dirigir estas representaciones hacia conceptos visuales menos obvios o específicos sin reentrenar el modelo.

Por otro lado, los Modelos de Lenguaje Multimodal (MLLMs) pueden ser guiados por texto, pero sus representaciones suelen ser centradas en el lenguaje, perdiendo fidelidad visual y calidad para tareas visuales genéricas. Además, la fusión de texto e imagen en estos modelos suele ocurrir de forma "tardía" (late fusion), es decir, después de que el codificador visual ha procesado la imagen, lo que impide que el texto influya en el proceso de extracción de características visuales en sí mismo.

2. Metodología: SteerViT

El paper propone SteerViT, una nueva clase de representaciones visuales que pueden ser "dirigidas" (steered) mediante lenguaje natural, tanto a nivel global como local. La arquitectura invierte el paradigma tradicional de los MLLMs: en lugar de adaptar el lenguaje a la visión, condicionan la visión al lenguaje.

Los componentes clave son:

• Codificador Visual Congelado: Utiliza un Vision Transformer (ViT) preentrenado (ej. DINOv2, MAE, SigLIP) cuyos parámetros permanecen congelados durante el entrenamiento.
• Codificador de Texto: Utiliza un codificador de texto preentrenado (RoBERTa-Large) que también permanece congelado.
• Fusión Temprana (Early Fusion) mediante Cross-Attention:
  • Se insertan capas ligeras de atención cruzada (cross-attention) entrenables dentro de los bloques del ViT congelado (intercaladas cada dos capas).
  • Las queries son los tokens de parche visuales ($Z_v$) y las keys/values son los tokens de texto adaptados ($H_t$).
  • Esto permite que el proceso de codificación visual sea influenciado directamente por el prompt de texto en las capas intermedias.
• Mecanismo de Puerta (Gating): Se utiliza una puerta con función tangente hiperbólica ($\tanh$) con un escalar aprendible $\alpha_\ell$ inicializado en cero.
  • Al inicio, el modelo es idéntico al ViT original (sin condicionamiento).
  • Durante el entrenamiento, la puerta se abre gradualmente, permitiendo que la información lingüística se integre en el flujo residual de la visión.
• Objetivo de Entrenamiento (Pretext Task): Se utiliza una tarea de segmentación referencial. Dada una imagen y un prompt de texto que describe un objeto, el modelo debe predecir qué parches de la imagen corresponden a ese objeto. Esto fuerza al ViT a alinear sus características visuales con las pistas lingüísticas.
• Eficiencia: Solo se entrenan aproximadamente 21 millones de parámetros (las capas de cross-attention y proyección), una cantidad insignificante comparada con los miles de millones de parámetros de los MLLMs.

3. Contribuciones Clave

1. Introducción de Representaciones Visuales Dirigibles: SteerViT es el primer marco que equipa a cualquier codificador visual preentrenado con la capacidad de dirigir sus características mediante texto, sin sacrificar la calidad de la representación base.
2. Mejora de Pareto: Logra un equilibrio superior (frente de Pareto) entre dirigibilidad (capacidad de cambiar el enfoque según el texto) y calidad de representación (rendimiento en tareas visuales estándar). Mientras otros métodos sacrifican una por la otra, SteerViT mantiene ambas.
3. Generalización Zero-Shot: Demuestra que los prompts de texto permiten una generalización a dominios y tareas no vistos durante el entrenamiento (como discriminación de objetos personalizados o detección de anomalías industriales) sin necesidad de ajuste fino (fine-tuning) específico para la tarea.
4. Benchmark CORE: Introducen un nuevo benchmark (COnditional REtrieval) para medir cuantitativamente la capacidad de los modelos para dirigir sus características globales hacia objetos no salientes.

4. Resultados Principales

Los experimentos validan que SteerViT supera a las aproximaciones existentes en múltiples frentes:

• Recuperación Condicional (CORE): En la tarea de recuperar imágenes basadas en objetos específicos dentro de una escena (ej. encontrar "un tazón de fruta" en una cocina), SteerViT alcanza un 96% de precisión, superando drásticamente a DINOv2 (44%) y a los MLLMs (que rondan el 47-65%). Los codificadores unimodales fallan porque se enfocan en la escena general ("cocina") y no en el objeto específico.
• Calidad de Representación: A diferencia de los MLLMs, SteerViT preserva la capacidad de transferencia del ViT base. En tareas de clasificación fina y segmentación, iguala o supera a los modelos base, demostrando que la inyección de texto no degrada las características visuales.
• Control de Granularidad Semántica: Se demuestra que la especificidad del texto controla la granularidad de las características.
  • Prompts generales ("animal") agrupan clases semánticas.
  • Prompts específicos ("taza blanca con puntos negros") permiten discriminar instancias individuales, superando incluso a modelos DINOv2 ajustados específicamente para cada objeto.
• Atención Dirigida: Los mapas de atención muestran que SteerViT puede redirigir la atención del token [CLS] hacia objetos pequeños o de fondo ignorados por DINOv2, basándose en el prompt.
• Detección de Anomalías: En el conjunto de datos industrial MVTec AD, SteerViT logra un rendimiento (PRO 82.1) comparable a métodos especializados de detección de anomalías, a pesar de no haber sido entrenado específicamente para esa tarea (zero-shot).

5. Significado e Impacto

SteerViT representa un cambio de paradigma en la comprensión visual multimodal:

• Eficiencia: Ofrece capacidades multimodales avanzadas con una fracción de los parámetros entrenables (21M vs. miles de millones), haciéndolo viable para despliegue en entornos con recursos limitados.
• Flexibilidad: Permite adaptar un modelo visual genérico a necesidades específicas de una tarea simplemente cambiando el prompt de texto, sin reentrenamiento.
• Inspiración Biológica: La arquitectura imita la atención visual humana guiada por tareas (top-down), donde el contexto lingüístico influye en cómo el cerebro procesa la información visual desde etapas tempranas, no solo al final del proceso.
• Futuro: Sugiere que condicionar la visión al lenguaje (en lugar de al revés) es una vía más eficiente para construir sistemas de visión robustos, dirigibles y generalizables.

En resumen, SteerViT demuestra que es posible crear representaciones visuales que sean a la vez de alta calidad (transferibles) y altamente controlables mediante lenguaje natural, cerrando la brecha entre los modelos visuales puros y los modelos de lenguaje multimodal masivos.