Resumen Técnico: C-REX para el Conteo de Expresiones de Referencia

Planteamiento del Problema

El Conteo de Expresiones de Referencia (REC, por sus siglas en inglés) requiere que los modelos cuenten subconjuntos específicos de objetos dentro de una imagen basándose en descripciones textuales detalladas (por ejemplo, "persona montando una motocicleta" frente a "persona caminando"). El desafío central radica en distinguir objetos visualmente similares que difieren solo por sutiles pistas contextuales o de atributos.

Los métodos actuales de vanguardia en REC abordan esto mediante el aprendizaje contrastivo (CL) de imagen-texto. Estos enfoques entrenan a los modelos para alinear tokens visuales con prompts de texto positivos mientras los alejan de los prompts de texto negativos. Sin embargo, los autores identifican dos limitaciones críticas en esta estrategia:

1. Escasez de Negativos: El número de expresiones de referencia negativas disponibles para una sola imagen es limitado (típicamente menos de 5), mientras que el aprendizaje contrastivo teóricamente se beneficia de grandes lotes de muestras negativas diversas para aprender representaciones robustas.
2. Desalineación de Embeddings: La efectividad del CL de imagen-texto depende fuertemente de la alineación entre los espacios de embedding de imagen y texto. Los autores argumentan que esta alineación suele ser imperfecta, lo que conduce a embeddings visuales que entrelazan objetos semánticamente distintos pero visualmente similares, dificultando así la discriminación de grano fino.

Metodología: C-REX

Para superar estas limitaciones, los autores proponen C-REX (Contrastive Learning for Referring Expression Counting), un marco que traslada el aprendizaje contrastivo enteramente al espacio de embedding visual, eliminando la dependencia de los embeddings de texto para el objetivo contrastivo.

Mecanismo Central

En lugar de contrastar tokens de imagen contra tokens de texto, C-REX contrasta tokens de imagen contra otros tokens de imagen dentro de la misma imagen.

1. Definición de Muestras: Para una imagen y una expresión de referencia (RE) dadas, el modelo predice las ubicaciones de los objetos. Utilizando Emparejamiento Bipartito (Bipartite Matching), los tokens predichos se emparejan con puntos de verdad fundamental (ground-truth).
   • Positivos ($I^+$): Tokens de imagen emparejados con objetos de verdad fundamental correspondientes a la RE específica.
   • Negativos ($I^-$): Todos los demás tokens de imagen en la imagen (incluyendo objetos de la misma clase con diferentes atributos, clases diferentes o tokens de fondo).
2. Modificación de la Función de Pérdida: Los autores adaptan la pérdida contrastiva supervisada estándar [35]. Una modificación clave es que solo se utilizan muestras positivas como anclas.
   • El CL supervisado estándar suele atraer todas las muestras de la misma clase hacia sí. Sin embargo, en C-REX, el conjunto negativo ($I^-$) es heterogéneo (contiene coches, peatones, fondo, etc.). Agrupar estos diversos negativos sería contraproducente.
   • Por lo tanto, la función de pérdida se formula para atraer los tokens positivos entre sí mientras los aleja de todos los tokens negativos, sin forzar a los negativos a agruparse.
   • El objetivo se define como:
     $$\mathcal{L}^*_{\text{sup}} = \sum_{i \in I^+} -\log \left( \frac{1}{|I^+|-1} \sum_{p \in I^+ - \{i\}} \frac{\exp(z_i \cdot z_p / \tau)}{\sum_{\alpha \in I - \{i\}} \exp(z_i \cdot z_\alpha / \tau)} \right)$$
3. Integración: C-REX actúa como un módulo plug-in. Reemplaza la pérdida contrastiva de imagen-texto en arquitecturas REC existentes (GroundingREC, CAD-GD) o se añade junto a las pérdidas de conteo estándar para baselines basados en detección (GroundingDINO). La entrada de texto todavía se utiliza para condicionar el backbone visual mediante atención cruzada (cross-attention), pero la señal de supervisión para la discriminación proviene únicamente del espacio visual.

Extensión al Conteo Agnóstico a la Clase

El marco se adapta para el conteo agnóstico a la clase definiendo los positivos basados en una clase objetivo en lugar de una RE específica. Aunque la mejora es menos pronunciada que en REC (ya que las distinciones a nivel de clase son más fáciles de aprender), aun así produce mejoras en el rendimiento.

Contribuciones Clave

1. Cambio al CL en el Espacio de Imagen: El artículo demuestra que realizar el aprendizaje contrastivo enteramente dentro del espacio de embedding de la imagen es superior al CL de imagen-texto para REC, proporcionando una señal más estable y evitando problemas de alineación.
2. Muestreo de Negativos Escalable: Al utilizar tokens visuales no emparejados como negativos, C-REX aumenta el grupo de muestras negativas de un puñado de prompts de texto a cientos de tokens visuales por imagen, mejorando significativamente la estabilidad de la supervisión.
3. Marco Plug-and-Play: C-REX está diseñado para ser agnóstico a la arquitectura, integrándose sin problemas en modelos REC existentes sin cambios estructurales.
4. Rendimiento de Vanguardia (State-of-the-Art): El método logra nuevos resultados de vanguardia en el conjunto de datos REC-8K a través de múltiples backbones y arquitecturas.

Resultados Experimentales

Los autores evaluaron C-REX en los conjuntos de datos REC-8K y FSC-147 utilizando tres arquitecturas: GroundingREC, CAD-GD y GroundingDINO.

• Ganancias de Rendimiento: En el conjunto de datos REC-8K, C-REX mejoró el rendimiento hasta en un 28% en el Error Absoluto Medio (MAE) (observado en el conjunto de validación para GroundingREC con backbone Swin-T) y un 24.5% en el Error Cuadrático Medio (RMSE) (observado en el conjunto de prueba para GroundingDINO con Swin-T backbone) en comparación con los baselines.
• Consistencia: Se observaron mejoras en todos los rangos de densidad de objetos (0–20, 21–50, 51–100, 100+), con ganancias particulares en tareas de discriminación de grano fino (por ejemplo, distinguir un "coche azul" de un "coche negro" o una "persona montando una bicicleta" de una "persona montando una motocicleta").
• Estudios de Ablación:
  • Imagen-Espacio vs. Imagen-Texto: El CL de puro espacio de imagen superó tanto al CL de imagen-texto como a la combinación de ambos, sugiriendo que las señales de imagen-texto son subóptimas o redundantes cuando las señales de espacio de imagen se optimizan.
  • Selección de Positivos: El uso de Emparejamiento Bipartito para seleccionar positivos superó a las estrategias basadas en la similitud de tokens con los prompts de texto.
  • Modificación de la Pérdida: La pérdida modificada (usando solo positivos como anclas) superó significativamente la formulación de la pérdida contrastiva supervisada estándar.
• Robustez: C-REX mostró una mayor robustez ante expresiones de referencia parafraseadas en comparación con los baselines.
• Comparación con VLMs: Los modelos especializados en REC equipados con C-REX superaron significativamente a los Modelos de Lenguaje-Visión de propósito general (Molmo2-4B) en entornos zero-shot y few-shot, resaltando la necesidad de un entrenamiento específico para la tarea.

Significado y Reivindicaciones

El artículo afirma que el "espacio de embedding correcto" para el aprendizaje contrastivo en REC es el espacio de embedding visual, no el espacio de imagen-texto. Al desacoplar el objetivo contrastivo de la modalidad de texto, el modelo aprende representaciones visuales de grano fino más ricas y estables. Los autores enfatizan que este enfoque resuelve la escasez de muestras negativas y la inestabilidad de la alineación cruzada de modalidades, lo que conduce a una generalización superior en escenarios de conteo de mundo abierto. El marco se presenta como una herramienta versátil que puede mejorar no solo el REC sino también otras tareas de conteo que requieren discriminación de grano fino, como el conteo agnóstico a la clase.