LITTA: Late-Interaction and Test-Time Alignment for Visually-Grounded Multimodal Retrieval

Resumen Técnico: LITTA

1. Problema Definido

La recuperación de evidencia relevante en documentos visualmente ricos (como libros de texto, informes técnicos y manuales) presenta desafíos significativos en la recuperación multimodal. Los principales obstáculos identificados son:

• Complejidad Visual y de Diseño: La información crítica a menudo reside en regiones estructuradas visualmente (tablas, diagramas, figuras) en lugar de en pasajes de texto plano.
• Desalineación Léxica: Existe una superposición léxica débil entre la consulta del usuario y el contenido del documento. Los usuarios pueden usar terminología general o describir resultados (ej. "modo de fallo"), mientras que el documento utiliza terminología interna específica (números de pieza, etiquetas de esquemas, jerga regulatoria).
• Fragilidad de la Consulta Única: Los sistemas de recuperación actuales suelen basarse en una única representación de la consulta. Si esta no coincide con la terminología o las convenciones visuales del documento, el sistema falla en recuperar la página correcta, incluso si el recuperador subyacente es potente.
• Necesidad de Recuperación a Nivel de Página: El objetivo no es solo encontrar el documento correcto, sino la página específica que contiene la evidencia (tabla, figura o procedimiento), ya que el razonamiento posterior depende de localizar esta evidencia de manera precisa.

2. Metodología: LITTA

El authors proponen LITTA (Late-Interaction and Test-Time Alignment), un marco de recuperación ligero que mejora la recuperación de documentos multimodales mediante la expansión de consultas en tiempo de prueba (test-time), sin necesidad de reentrenar el recuperador.

El flujo de trabajo se divide en tres etapas principales:

A. Expansión de Consultas (Query Expansion)

• Dada una consulta de usuario $q$, un Modelo de Lenguaje Grande (LLM) genera un conjunto pequeño de variantes de consulta complementarias ($Q$ variantes, donde $q^{(0)} = q$).
• Estas variantes preservan la intención original pero introducen diversidad léxica y semántica (sinónimos, abreviaturas, nombres de partes, terminología específica del dominio) para cubrir posibles desajustes con el documento.
• Se utiliza un LLM ligero (Gemma 3N e4b en los experimentos) para esta generación.

B. Recuperación con Interacción Tardía (Late-Interaction Retrieval)

• Cada variante de consulta se utiliza para recuperar páginas candidatas de un índice precomputado.
• Codificación de Documentos: Las páginas se codifican mediante un codificador de visión congelado (Nemotron ColEmbed V2) que produce un conjunto de embeddings de tokens visuales (multi-vector), preservando la información granular de regiones visuales (celdas de tabla, regiones de diagramas).
• Puntuación MaxSim: Se utiliza una puntuación de interacción tardía (estilo ColBERT). La similitud se calcula sumando la máxima similitud entre cada token de la consulta y el conjunto de tokens visuales de la página. Esto permite un alineamiento fino entre la consulta y regiones específicas de la página.

C. Agregación de Candidatos (Reciprocal Rank Fusion - RRF)

• Dado que cada variante de consulta genera su propia lista clasificada de páginas candidatas, LITTA fusiona estas listas para producir un ranking unificado.
• Se emplea la Fusión de Rangos Recíprocos (RRF). Esta técnica es robusta frente a diferencias en la escala de puntuación entre variantes y prioriza las páginas que aparecen consistentemente en las posiciones superiores de múltiples listas de consultas.
• La fórmula de fusión es: $RRF(p) = \sum \frac{1}{k_{RRF} + r_i(p)}$, donde $r_i(p)$ es el rango de la página $p$ en la lista de la variante $i$.

D. Generación de Respuesta

• Las páginas finales seleccionadas (Top-K) se pasan a un Modelo de Lenguaje Multimodal (MLLM, ej. Qwen3-VL) para generar la respuesta final, condicionada a la consulta y a la evidencia visual recuperada.

3. Contribuciones Clave

1. Marco LITTA: Un enfoque simple y efectivo para mejorar la recuperación multimodal mediante la expansión de consultas en tiempo de prueba, sin modificar ni reentrenar el recuperador subyacente.
2. Estrategia Multi-Consulta: Una metodología que agrupa candidatos de múltiples variantes de consulta utilizando puntuación de interacción tardía y agregación robusta de rangos (RRF), mejorando la cobertura de evidencia.
3. Evaluación Exhaustiva: Demostración de mejoras consistentes en tres dominios visualmente ricos (Ciencias de la Computación, Farmacéutica y Manuales Industriales), destacando la viabilidad del equilibrio entre precisión y costo computacional.

4. Resultados Experimentales

Los experimentos se realizaron sobre el benchmark ViDoRe V3 en tres dominios:

• Libros de texto de Ciencias de la Computación (C.S.)
• Informes Farmacéuticos (Phar.)
• Manuales de Mantenimiento Industrial (Ind.)

Hallazgos Principales:

• Mejora en Métricas: La recuperación multi-consulta ($Q > 1$) supera consistentemente a la recuperación de consulta única ($Q=1$) en métricas de Top-k (Hit@k), Recall (Recall@5, Recall@10) y MRR.
• Impacto por Dominio:
  • Los mayores beneficios se observaron en Manuales Industriales, donde la heterogeneidad terminológica y la evidencia en gráficos/tablas hacen que la consulta única falle frecuentemente.
  • En libros de texto, las mejoras fueron menores pero positivas, debido a una mayor consistencia léxica.
• Configuración Óptima: Un número pequeño de variantes ($Q=3$) ofrece el mejor equilibrio entre precisión y costo. Aumentar a $Q=5$ mejora casos difíciles pero con retornos decrecientes y mayor costo computacional.
• Eficiencia: El costo en línea escala linealmente con el número de variantes ($Q$), pero como los embeddings de las páginas están precomputados, el sistema es práctico y controlable.

5. Significado e Impacto

• Robustez sin Reentrenamiento: LITTA demuestra que es posible mejorar significativamente la recuperación de evidencia visualmente anclada simplemente diversificando la entrada (la consulta) en lugar de modificar el modelo de recuperación o el índice.
• Mecanismo de Robustez: Actúa como un mecanismo de defensa contra la variabilidad terminológica y de diseño. Al emitir un conjunto de variantes diversas pero fieles, el sistema reduce la sensibilidad a cualquier formulación única, agregando señales de recuperación consistentes.
• Viabilidad de Despliegue: Al ser una estrategia puramente de tiempo de prueba compatible con índices de embeddings existentes, LITTA es fácil de integrar en sistemas de RAG (Retrieval-Augmented Generation) multimodales actuales, ofreciendo una mejora inmediata en la localización de evidencia crítica para el razonamiento posterior.

En conclusión, el artículo establece que la diversidad de consultas es una palanca práctica y efectiva para mejorar la recuperación multimodal en documentos complejos, superando las limitaciones de la superposición léxica débil típica de los manuales técnicos y documentos visuales.