Structural Anchor Pruning: Training-Free Multi-Vector Compression for Visual Document Retrieval

Resumen Técnico: Poda de Anclajes Estructurales (SAP)

Enunciado del Problema
Los Modelos Visuales-Lingüísticos (VLM) recientes, como ColPali, han permitido la Recuperación de Documentos Visuales (VDR) de granularidad fina representando documentos como bolsas de incrustaciones de parches visuales. Si bien este enfoque de "interacción tardía" multi-vectorial captura detalles estructurales ricos, incurre en una sobrecarga de almacenamiento prohibitiva, con índices que escalan linealmente con el número de parches (a menudo alcanzando terabytes para corpus realistas). Las soluciones existentes a este cuello de botella caen en dos categorías:

1. Métodos basados en entrenamiento (por ejemplo, Light-ColPali): Efectivos pero requieren re-entrenamiento completo y modificaciones del modelo, limitando la aplicabilidad zero-shot.
2. Métodos libres de entrenamiento (por ejemplo, DocPruner, Poda Aleatoria, Agrupamiento Semántico): Ofrecen soluciones modulares pero sufren una degradación severa del rendimiento bajo ratios de compresión agresivos (≥80% de reducción). Trabajos anteriores han argumentado que la poda efectiva de alta compresión es inherentemente dependiente de la consulta, haciendo insuficientes las estrategias estáticas y libres de entrenamiento.

Metodología: Poda de Anclajes Estructurales (SAP)
Los autores proponen la Poda de Anclajes Estructurales (SAP), un marco de poda en tiempo de índice auto-calibrante, libre de entrenamiento y agnóstico a la consulta. SAP opera en tres etapas:

1. Diagnóstico de Retención de Puntuación (SR):
   Los autores introducen SR, una métrica de caja blanca que cuantifica la fidelidad de las representaciones podadas midiendo la preservación de las puntuaciones MaxSim crudas entre una consulta y un documento. A diferencia de NDCG, que depende del corpus y confunde la pérdida de información con los desplazamientos en la clasificación, SR aísla la pérdida intrínseca de información por par (consulta, documento).

2. Selección de Ventana Guiada por SR:
   Utilizando SR como señal de diagnóstico, el marco localiza automáticamente una "ventana de poda estructural" dentro del núcleo del VLM sin ajuste de hiperparámetros por modelo. El procedimiento identifica una Divergencia de Alineación-Agregación:

   • Fase de Agregación (Meseta Estructural): Un bloque contiguo de capas intermedias donde los tokens visuales agregan información en "parches ancla" de alta centralidad, preservando la estructura visual del documento.
   • Fase de Alineación (Capas Finales): Las capas finales remodelan las representaciones en una forma dispersa y alineada a la consulta, optimizada para la recuperación contrastiva (MaxSim). Este proceso "dispersa" el mapa de atención, destruyendo las señales estructurales densas requeridas para una poda efectiva.
     El procedimiento guiado por SR detecta el límite donde las puntuaciones de retención caen por debajo de la mediana global, colocando la ventana de poda inmediatamente antes de esta región de alineación.

3. Puntuación de Centralidad de Grado de Entrada Visual:
   Dentro de la ventana seleccionada automáticamente, SAP identifica los parches ancla calculando la centralidad de grado de entrada visual de los tokens. Tratando el mecanismo de auto-atención como un grafo dirigido (restringido a la atención de visual a visual), el método suma los pesos de atención recibidos por cada parche a través de todas las cabezas y capas en la ventana. Los parches con alto grado de entrada actúan como centros de información y se retienen como el núcleo semántico del documento.

Contribuciones Clave

• Desafío a la Hipótesis de Dependencia de la Consulta: El documento demuestra que la poda efectiva de alta compresión no requiere entrenamiento dependiente de la consulta. Al dirigirse a la "Meseta Estructural" en lugar de las capas finales de alineación, SAP logra alta compresión sin adaptación por consulta.
• Selección Automática de Ventana: Un procedimiento libre de etiquetas y libre de entrenamiento que determina automáticamente las capas de poda óptimas para cualquier arquitectura de núcleo (probado en modelos de 18, 28 y 36 capas) sin ajuste manual.
• Perspectiva Mecanística: La identificación de la Divergencia de Alineación-Agregación explica por qué los métodos de poda de capa final (como la atención EOS) fallan bajo compresión agresiva: las capas finales optimizan la clasificación de recuperación a costa de la información estructural necesaria para la selección de tokens.
• Eficiencia: SAP introduce una sobrecarga computacional insignificante (<0.03% de la latencia del paso hacia adelante) en comparación con los métodos basados en agrupamiento, que incurren en una sobrecarga de ~6%.

Resultados Experimentales
Evaluado en los puntos de referencia ViDoRe v1 y v2 a través de tres arquitecturas (ColPali, ColQwen2 y Jina Embeddings v4), SAP demuestra:

• Alta Retención bajo Compresión Agresiva: Con un ratio de retención de $\gamma = 0.10$ (90% de poda), SAP retiene más del 90% de NDCG@5 en ViDoRe v1 y >76% en el más difícil ViDoRe v2.
• Superioridad sobre Líneas Base: SAP supera consistentemente a las líneas base libres de entrenamiento (Aleatoria, Agrupamiento Semántico, EOS-Adaptativa) y iguala o supera el rendimiento del método entrenado Light-ColPali en ratios de compresión moderados. En $\gamma = 0.05$, SAP mantiene una ventaja de 22–25 puntos porcentuales sobre EOS-Adaptativa.
• Escalabilidad: Podar el 90% de los tokens reduce el almacenamiento del índice en 10 veces (por ejemplo, de 751 MB a 75 MB) y acelera la latencia de recuperación de extremo a extremo en 7.9 veces (de 6.1 ms a 0.78 ms) manteniendo una alta fidelidad.
• Robustez: La selección de ventana guiada por SR identifica consistentemente el rango de capas óptimo a través de diferentes profundidades de núcleo, sin requerir ajuste por arquitectura.

Significado y Afirmaciones
El documento afirma que SAP proporciona una solución práctica y escalable para desplegar RAG Visual en escenarios a gran escala al eliminar el cuello de botella de almacenamiento de los índices multi-vectorial sin el costo operativo de re-entrenar. Los autores afirman que la "Divergencia de Alineación-Agregación" es una propiedad fundamental de los núcleos de VLM que, cuando se explota, permite una poda agnóstica a la consulta que anteriormente se consideraba imposible. El trabajo desafía la visión predominante de que la poda de alta compresión requiere entrenamiento dependiente de la consulta, ofreciendo en su lugar una alternativa estructural y auto-calibrante que preserva la semántica del documento mientras reduce drásticamente el tamaño del índice.

Limitaciones
Los autores reconocen que su evaluación se limita al paradigma de VDR de interacción tardía multi-vectorial. La aplicabilidad a recuperadores densos de un solo vector, la coincidencia genérica de imagen-texto o pipelines de RAG de extremo a extremo permanece inexplorada. Además, el conjunto de calibración se extrae de corpus específicos de documentos; los autores notan que la ubicación de la "Meseta Estructural" podría desplazarse bajo cambios más agresivos en el dominio visual (por ejemplo, imágenes naturales o imágenes satelitales), dejando la robustez del dominio para trabajos futuros.