Resumen Técnico: MINER - Minería de Representación Interna Multimodal para Recuperación Eficiente

Enunciado del Problema

La recuperación de documentos visuales (VDR) tiene como objetivo recuperar páginas relevantes de documentos visualmente ricos (por ejemplo, diapositivas, informes, pósters) directamente desde sus imágenes renderizadas, evitando las frágiles tuberías de OCR y fragmentación. Los enfoques actuales enfrentan un compromiso fundamental entre la calidad de la recuperación y la eficiencia:

1. Recuperadores de Interacción Tardía (por ejemplo, ColPali): Estos métodos representan consultas y documentos como conjuntos de incrustaciones a nivel de token, permitiendo una coincidencia detallada. Aunque logran una alta calidad de recuperación, generan huellas de índice masivas (cientos a miles de vectores por página) y altos costos de servicio.
2. Recuperadores Densos de Vector Único: Estos comprimen un documento completo en una única incrustación de la capa final, ofreciendo índices compactos y baja latencia. Sin embargo, consistentemente se quedan atrás en calidad porque la compresión en un solo vector crea un cuello de botella de información, descartando señales relevantes para la recuperación presentes en las capas intermedias de la red.

Estudios recientes en PLN y visión sugieren que las representaciones internas de las redes profundas a menudo contienen información más rica relevante para la tarea que las salidas finales por sí solas. Esto plantea la pregunta: ¿Pueden las representaciones internas de los recuperadores de vector único ser aprovechadas para recuperar señales de recuperación perdidas sin sacrificar la eficiencia del paradigma de vector único?

Metodología: MINER

Los autores proponen MINER (Minería de Representación Interna Multimodal para Recuperación Eficiente), un módulo ligero tipo enchufe diseñado para extraer y fusionar señales relevantes para la recuperación desde las capas internas del transformador. MINER opera sin modificar el modelo base, preservando la eficiencia de almacenamiento y servicio de la recuperación densa. Consiste en dos etapas principales:

1. Diagnóstico y Análisis por Capas

Antes de diseñar el módulo, los autores realizaron un análisis sistemático de recuperadores de vector único (Jina, Eager, MoCa) utilizando dos métricas:

• Alineación de Núcleo Centrada Normalizada (CKA): Mide la similitud estructural entre el espacio de representación de una capa y el espacio final de recuperación multimodal. Esto identifica un conjunto candidato de capas ($S_{cand}$) que están estructuralmente lo suficientemente cerca del espacio final para ser susceptibles a una extracción ligera.
• Ratio de Alineación (AR): Definido como la relación entre la similitud coseno a nivel de muestra y la puntuación CKA. Esto distingue entre capas que son meramente estructuralmente similares y aquellas que están alineadas directamente con el espacio final.
  • Resultado: El análisis reveló dos regímenes distintos dentro de las capas candidatas. Las capas anteriores exhiben un AR bajo (estructuralmente similares pero desalineadas), mientras que las últimas pocas capas exhiben un AR alto (directamente alineadas). Este hallazgo motiva estrategias de extracción diferenciadas para diferentes capas.

2. La Arquitectura MINER

MINER opera en dos etapas:

Etapa 1: Sondeo de Capas Alineadas a la Recuperación
Se adjunta una sonda ligera a cada capa en el conjunto candidato $S_{cand}$. La parametrización de la sonda está determinada por el régimen de alineación de la capa:

• Sonda Base (para capas de alto AR): Aplica una reponderación elemento a elemento ($p_l \odot x$) para preservar el sistema de coordenadas original.
• Sonda de Proyección Normalizada (para capas de bajo AR): Aplica una reponderación elemento a elemento seguida de una proyección lineal normalizada por filas ($\tilde{W}_l(p_l \odot x)$) para realinear el subespacio desalineado al espacio de referencia sin reescalar.
• Entrenamiento: Todas las sondas se entrenan utilizando un objetivo siamés multimodal (pérdida InfoNCE) para alinear las lecturas de texto/visión sondeadas con sus anclajes de la capa final multimodal.

Etapa 2: Fusión Adaptativa Esparsa de Múltiples Capas
Las señales sondeadas se agregan en una única incrustación densa:

• Enmascaramiento a Nivel de Neurona Adaptativo al Rendimiento: Se calcula un ratio de retención específico por capa ($P_l$) basado en el rendimiento de validación independiente (nDCG@5) de cada capa. Una máscara binaria dura retiene solo las neuronas superiores-$P_l$ (basadas en el vector de importancia aprendido $p_l$) para cada capa, suprimiendo dimensiones irrelevantes.
• Fusión Inter-Capas: Las señales enmascaradas de todas las capas seleccionadas se combinan mediante una suma ponderada aprendida con un sesgo global:
  $$e = \sum_{l \in S_{cand}} u_l \odot h^{(l)} + b$$
  donde $h^{(l)}$ es la lectura procesada (ya sea enmascarada directamente o enmascarada después de la proyección).

Contribuciones Clave

1. Insight Diagnóstico: Los autores revelan que las señales relevantes para la recuperación en los recuperadores de vector único están distribuidas de manera desigual a través de las capas del transformador y requieren estrategias de extracción cualitativamente diferentes (reponderación simple frente a proyección) basadas en un diagnóstico de ratio de alineación.
2. Módulo MINER: Una arquitectura tipo enchufe que comprende el Sondeo de Capas Alineadas a la Recuperación y la Fusión Adaptativa Esparsa de Múltiples Capas. Mejora la calidad de la recuperación sin modificar el modelo base ni aumentar los costos de almacenamiento/servicio.
3. Rendimiento Empírico: MINER supera consistentemente a los recuperadores densos de vector único existentes en múltiples modelos base y en la suite de benchmarks ViDoRe.

Resultados Experimentales

Los experimentos se realizaron en los benchmarks ViDoRe V1, V2 y V3 utilizando Jina-Embeddings-v4, Eager-Embed-v1 y MoCa-3B como modelos base.

• Calidad de Recuperación: MINER logró una mejora de hasta un 4.5% en nDCG@5 sobre su modelo base denso correspondiente (por ejemplo, MINER-Eager mejoró de 56.0 a 58.5 en ViDoRe V2). En varios escenarios, redujo sustancialmente la brecha de rendimiento con bases de referencia fuertes de interacción tardía (reduciendo la brecha a 0.2 nDCG@5 en algunos casos).
• Eficiencia:
  • Almacenamiento: MINER mantiene exactamente la misma huella de almacenamiento que la línea base densa (índice de vector único), que es 42.4 veces más pequeña que los métodos de interacción tardía.
  • Latencia: MINER incurre en solo un sobrecosto de latencia de consulta de 1.07× en comparación con la línea base densa, mientras permanece 5.3 veces más rápido que los métodos de interacción tardía.
• Estudios de Ablación: Eliminar la partición del ratio de alineación (usando solo sondas Base o solo Norm) o eliminar el enmascaramiento esparso resultó en un rendimiento inferior, confirmando que tanto el sondeo diferenciado como el enmascaramiento adaptativo son componentes necesarios.
• Robustez: El método es robusto ante hiperparámetros clave, específicamente el umbral CKA para la selección de capas y el límite inferior de esparsidad para el enmascaramiento.

Significado y Afirmaciones

El artículo afirma que MINER cierra exitosamente la brecha entre la alta calidad de la recuperación de interacción tardía y la alta eficiencia de la recuperación densa de vector único. Al minar representaciones internas, MINER recupera información perdida por el cuello de botella de la capa final sin las penalizaciones de almacenamiento y latencia asociadas con los enfoques de múltiples vectores.

Los autores posicionan a MINER como una solución práctica para sistemas de recuperación de documentos visuales que requieren tanto alta precisión como bajos costos operativos. Señalan que el método se evalúa actualmente en modelos donde los estados ocultos internos y los datos de entrenamiento son accesibles, sirviendo como una mejora ligera para las tuberías de recuperación densa existentes en lugar de un reemplazo de la arquitectura base en sí misma.