Resumen Técnico: SaMer – Fusión de Tokens con Preservación de Evidencia de Objetos para la Recuperación de Visión-Lenguaje

Planteamiento del Problema

Los sistemas de recuperación de visión-lenguaje multi-vectoriales, como ColPali y ColQwen2, logran una recuperación de grano fino mediante la preservación de la evidencia de tokens a nivel de token a través de la interacción tardía de similitud máxima (MaxSim). Sin embargo, este enfoque incurre en costos significativos de almacenamiento y computación porque requiere almacenar y comparar cientos o miles de incrustaciones (embeddings) de parches del lado de la imagen para cada imagen.

Las estrategias de compresión de tokens existentes, como la poda (pruning) o la fusión basada en características, intentan reducir estos costos. No obstante, los autores identifican un modo de falla crítico en estos métodos: el colapso de instancias de objetos. Cuando la compresión depende únicamente de la similitud de características, los parches visualmente similares de diferentes instancias de objetos (por ejemplo, dos personas o coches distintos) pueden fusionarse en una única representación. Esto colapsa la evidencia distintiva que futuros tokens de consulta podrían necesitar seleccionar. Además, la poda descarta la evidencia visual antes de que se conozca la consulta, lo que puede eliminar los tokens específicos requeridos para una coincidencia. El desafío central es comprimir los tokens del lado de la imagen sin perder la evidencia a nivel de objeto y de región necesaria para una coincidencia seleccionable por la consulta.

Metodología: SaMer

Los autores proponen SaMer (Semantic-aware Merging), un marco de fusión de tokens consciente de los objetos, diseñado para comprimir los tokens visuales post-proyector en $K$ centroides representativos preservando la interfaz de interacción tardía original.

1. Asignación Suave Espacial-Característica

SaMer comprime $N$ tokens visuales post-proyector en $K$ tokens fusionados ($K \ll N$). Emplea un mecanismo de asignación suave espacial-característica donde cada token visual $v_i$ se asigna a un representante $k$ basado en una métrica de distancia que combina:

• Similitud de Características: $1 - v_i^\top \mu_k$, agrupando tokens semánticamente similares.
• Coherencia Espacial: $\gamma \|p_i - s_k\|_2^2$, evitando que regiones visualmente similares pero espacialmente distantes se fusionen agresivamente.

Los representantes se forman como centroides ponderados normalizados ($r_k$) en lugar de tokens descartados, asegurando que la representación comprimida siga siendo compatible con la puntuación MaxSim.

2. Prior de Fusión Consciente de Objetos (Solo durante el Entrenamiento)

Para evitar la mezcla de instancias, SaMer utiliza anotaciones de objetos únicamente durante el entrenamiento como un prior de fusión, no como una pérdida de fundamentación (grounding loss) auxiliar.

• Mecanza: El sistema estima la distribución de etiquetas de la caja delimitadora (bbox) para cada representante utilizando una asignación dura con parada de gradiente (stop-gradient).
• Penalización: Se añade una penalización de inconsistencia de instancia ($P_{inst}$) a la métrica de distancia. Si la asignación de un token a un representante resultara en la mezcla de evidencia de diferentes instancias de objetos (es decir, si la etiqueta de la bbox del token difiere de la etiqueta dominante del representante), el peso de la asignación se reduce.
• Inferencia: En el tiempo de inferencia, SaMer no requiere cajas delimitadoras reales ni detectores de objetos. Realiza una asignación suave espacial-característica libre de anotaciones, confiando en la capa de proyección adaptada durante el entrenamiento para preservar implícitamente la estructura de los objetos.

3. Adaptación de Solo Proyección Consciente de la Compresión

Para alinear la representación comprimida con el espacio de recuperación, SaMer adapta únicamente la capa de proyección compartida mientras mantiene congelados el codificador de visión y el backbone de lenguaje.

• La capa de proyección se entrena utilizando una pérdida de recuperación InfoNCE multi-positiva sobre las puntuaciones MaxSim comprimidas ($S_K$).
• Esto asegura que los tokens fusionados sigan siendo efectivos para la puntuación de interacción tardía sin alterar las representaciones del backbone ni requerir una nueva arquitectura de recuperación.

Contribuciones Clave

1. Encuadre del Problema: Los autores redefinen la compresión de tokens visuales para la recuperación de interacción tardía como un problema de preservación de evidencia, identificando el colapso de instancias de objetos como un modo de falla primario de la fusión basada en características.
2. Marco SaMer: Proponen un método de fusión de tokens consciente de los objetos que utiliza anotaciones de objetos en el tiempo de entrenamiento como un prior de fusión para desalentar la fusión entre instancias, requiriendo ninguna anotación o detector en la inferencia.
3. Eficiencia y Rendimiento: Demuestran que SaMer, con $K=64$, elimina más del 93% de los tokens del lado de la imagen y reduce el almacenamiento de ColPali en 16.09×, mientras mejora simultáneamente el rendimiento de recuperación (R@1) y la fundamentación a nivel de frase en comparación con las líneas base de poda y agrupación (pooling).

Resultados Experimentales

Los autores evaluaron SaMer en Flickr30K, MSCOCO, ImageCoDe y DocVQA.

• Rendimiento de Recuperación:
  • En Flickr30K, SaMer mejoró el R@1 de ColPali de 77.0 a 82.4 y el de ColQwen2 de 73.6 a 79.3.
  • En MSCOCO, el R@1 de ColPali mejoró de 47.4 a 51.6.
  • SaMer superó consistentemente a las líneas base de compresión (H-Pool, HPC, SAP) bajo presupuestos de tokens iguales ($K=64$) y configuraciones de adaptación.
• Calidad de Fundamentación (Grounding):
  • SaMer demostró una fundamentación de frase superior. Métricas como BoxMass (concentración de relevancia dentro de las regiones anotadas) aumentaron de 47.8 a 54.2, y CoverageIoU mejoró de 13.1 a 16.4.
  • Esto indica que SaMer preserva mejor la evidencia de objetos seleccionable por la consulta que la poda o el pooling simple, que a menudo dispersan la relevancia hacia el fondo o hacia objetos cercanos.
• Eficiencia:
  • Para ColPali, SaMer redujo el almacenamiento en 16.09× y las operaciones MaxSim en 16.1×.
  • El rendimiento de consultas (QPS) aumentó 4.3× en Flickr30K y 9.1× en MSCOMSCO.
  • Para ColQwen2, el almacenamiento se redujo en 3.73× (Flickr30K) y 1.99× (MSCOCO), con las correspondientes ganancias de rendimiento.

Significado y Reivindicaciones

El artículo argumenta que la efectividad de la compresión de recuperación no depende meramente de reducir el número de tokens, sino de preservar la evidencia que los futuros tokens de consulta necesitan seleccionar.

Los autores afirman que:

1. La fusión consciente de objetos es superior al pooling basado solo en características: Simplemente fusionar parches similares puede colapsar distintas instancias de objetos, mientras que el prior de objetos de SaMer mantiene la distinción necesaria para la recuperación de grano fino.
2. Los priors en el tiempo de entrenamiento permiten la eficiencia en el tiempo de inferencia: Al utilizar las anotaciones de objetos solo como un prior de fusión durante el entrenamiento, SaMer logra una compresión consistente con los objetos sin la sobrecarga computacional de ejecutar detectores durante la inferencia.
3. La adaptación de solo la proyección es suficiente: Alinear el espacio de recuperación únicamente a través de la capa de proyección permite que el sistema mantenga un alto rendimiento con backbones congelados, haciendo que el método sea plug-and-play para los recuperadores multi-vectoriales existentes.

Los resultados sugieren que la recuperación multi-vectorial eficiente requiere un equilibrio entre la compresión y la preservación de la evidencia a nivel de objeto, seleccionable por la consulta.