Resumen Técnico: Un Token por Evidencia Multimodal: Memoria Latente para QA con Restricciones de Recursos

Declaración del Problema

Los Grandes Modelos de Lenguaje (LLMs) y los Modelos de Lenguaje-Visión (VLMs) dependen de la memoria externa para fundamentar sus salidas en evidencia multimodal relevante para tareas como la Respuesta a Preguntas (QA). Sin embargo, el paradigma de memoria prevalente es computacionalmente costoso e intensivo en almacenamiento. Los sistemas de Generación Aumentada por Recuperación (RAG) existentes recuperan texto e imágenes en bruto, pasando la información sin comprimir al generador. Este enfoque incurre en un consumo sustancial de tokens y latencia, particularmente para la evidencia multimodal donde una sola imagen puede expandirse en cientos de tokens visuales durante la generación. Estos costos dificultan el despliegue de sistemas aumentados por memoria en entornos con restricciones de recursos, como dispositivos de borde (edge devices) y asistentes en línea, donde el almacenamiento y la latencia son restricciones críticas.

Metodología: Memoria Latente

El artículo propone la Memoria Latente, un paradigma que reemplaza los elementos de evidencia multimodal en bruto por tokens latentes compactos y de alta dimensión. La idea central es comprimir cada unidad de evidencia (texto o imagen) en un único token latente que cumple un doble propósito: recuperación y generación.

Arquitectura y Pipeline

1. Compresión de Memoria: Un LLM/VLM compresor pequeño y entrenable ($\theta$) codifica cada elemento de evidencia $x_i$ en un único token latente $z_i$. Esto se logra añadiendo un token aprendible [MEM] a la entrada y extrayendo su estado oculto final.
2. Espacio de Recuperación Unificado: Los tokens latentes se proyectan en un espacio de recuperación de menor dimensión mediante un MLP. En el momento de la consulta, la pregunta se incrusta en el mismo espacio, y los tokens latentes relevantes se recuperan mediante búsqueda de similitud (por ejemplo, producto interno).
3. Generación Condicionada por el Latente: Los tokens latentes recuperados se proyectan en la dimensión oculta de un generador LLM/VLM congelado ($\phi$) utilizando un proyector aprendible. El generador produce la respuesta basada en estos tokens latentes, evitando la necesidad de procesar la evidencia en bruto o los tokens visuales expandidos.
4. Reconstrucción Opcional: Para mantener la interpretabilidad, un decodificador puede reconstruir el texto original o los subtítulos de las imágenes a partir de los tokens latentes, aunque esto no es requerido para la generación.

Objetivos de Entrenamiento

El compresor y los proyectores asociados se entrenan de extremo a extremo utilizando una función de pérdida unificada que combina tres objetivos:

• Pérdida de Reconstrucción ($L_{Recon}$): Asegura que el token latente preserve suficiente información para reconstruir el texto original o la incrustación de la imagen (utilizando un enfoque de teacher-forcing para texto y predicción de la incrustación de CLIP para imágenes).
• Pérdida de Recuperación Contrastiva ($L_{Contrast}$): Alinea la incrustación de la consulta con la evidencia latente positiva de soporte mientras la aleja de la evidencia negativa, dando forma a un espacio de recuperación unificado para modalidades mixtas.
• Pérdida de Destilación ($L_{Distill}$): Alinea el comportamiento de generación del generador congelado cuando se le solicita con tokens latentes frente a su comportamiento cuando se le solicita con evidencia en bruto. Esto asegura que el generador pueda interpretar los tokens latentes como evidencia válida sin necesidad de realizar el ajuste fino (fine-tuning) del gran generador en sí mismo.

Contribuciones Clave

1. Paradigma de Memoria Latente: Los autores proponen un nuevo paradigma de memoria que compila cada elemento de evidencia multimodal en un único token latente de alta dimensión, reduciendo significativamente el almacenamiento y el consumo de tokens.
2. Objetivo de Entrenamiento Unificado: Demuestran que un único token latente puede soportar simultáneamente la recuperación, la preservación de información y la generación a través de un objetivo de entrenamiento que combina reconstrucción, aprendizaje contrastivo y destilación.
3. Relación Eficiencia-Rendimiento: El método logra un rendimiento de QA competitivo en comparación con bases de referencia de RAG avanzadas, mientras consume significativamente menos tokens del generador (reducción de 3× a 10×).

Resultados Experimentales

El método fue evaluado en siete benchmarks de QA solo de texto (ej. HotpotQA, 2WikiMultihopQA, MuSiQue) y benchmarks multimodales (WebQA).

• QA Solo de Texto: Utilizando un generador Meta-Llama-3-8B-Instruct congelado, la Memoria Latente de 1 token logró puntuaciones competitivas de Exact Match (EM) y F1 en comparación con las bases de referencia de RAG (BM25, Dense Retrieval, Qwen3-Embedding) mientras utilizaba aproximadamente 3× menos tokens. Por ejemplo, en promedios fuera de dominio, utilizó 71 tokens con $k=5$ comparado con 209 para BM25 y 208 para Dense Retrieval.
• QA Multimodal (WebQA): Utilizando un generador LLaVA-1.5-13B congelado, la Memoria Latente entregó el rendimiento más fuerte de QA basado en imágenes. Con $k=5$, logró un F1 de imagen de 69.4 con solo 82 tokens, mientras que la mejor base de referencia (Nemo-Emb) requirió 1,885 tokens para lograr un F1 inferior de 53.0.
• Escalabilidad: El enfoque escala linealmente con el número de elementos de evidencia durante la compilación y mantiene una baja complejidad durante la inferencia, evitando el crecimiento cuadrático asociado con el prompting de contexto completo.
• Generalización: La Memoria Latente entrenada en HotpotQA se transfirió eficazmente a conjuntos de datos fuera de dominio (2WikiMultihopQA, MuSiQue) sin ajustes adicionales, demostrando capacidades de recuperación robustas.

Significado y Reivindicaciones

El artículo afirma que la Memoria Latente ofrece una solución viable para aplicaciones con restricciones de recursos al cambiar fundamentalmente la forma en que se representa la memoria externa. Al comprimir la evidencia multimodal en tokens únicos, aborda los cuellos de botella duales de la presión de almacenamiento (especialmente para imágenes) y el consumo de tokens durante la generación.

Los autores enfatizan que este enfoque permite el despliegue de sistemas aumentados por memoria en dispositivos con restricciones estrictas de almacenamiento o latencia (ej. IA de borde) sin requerir el ajuste fino de modelos generadores grandes y costosos. El espacio de representación latente unificado simplifica el pipeline de recuperación-generación, permitiendo el manejo eficiente de contextos largos e interacciones de múltiples turnos. Si bien el diseño actual asume que la evidencia puede descomponerse en unidades atómicas de texto o imagen, el artículo posiciona a la Memoria Latente como un paso fundacional hacia sistemas agentes multimodales más eficientes.