Resumen Técnico: MemoryDocDataSet

Planteamiento del Problema

Los benchmarks de IA actuales evalúan la memoria conversacional y el razonamiento en documentos largos de forma aislada, sin capturar las demandas de los asistentes de IA del mundo real que deben operar simultáneamente en ambos dominios. Los benchmarks de memoria existentes (p. ej., LoCoMo, LongMemEval) utilizan diálogos de múltiples sesiones pero carecen de documentos largos, lo que permite que los sistemas tengan éxito mediante una memorización perfecta de la conversación sin capacidad de lectura. Por el contrario, los benchmarks de documentos largos (p. ej., L-Eval, ZeroSCROLLS) proporcionan textos de la longitud de un libro pero carecen de estructura conversacional, lo que permite que los sistemas tengan éxito mediante ventanas de contexto grandes sin navegación de memoria.

Existe una brecha crítica en la evaluación de la capacidad conjunta requerida para:

1. Navegar por el historial de conversaciones de múltiples sesiones para identificar el contexto.
2. Determinar qué documento específico es relevante basándose en ese contexto.
3. Realizar una comprensión de lectura profunda dentro de ese documento identificado para extraer una respuesta.

Este "gap de recuperación conjunta" se ejemplifica en escenarios como el de un asistente legal que recuerda qué contrato discutió un cliente en una sesión previa y luego navega a través de 40,000 tokens de ese contrato para encontrar una cláusula específica.

Metodología

El Benchmark MemoryDocDataSet

Los autores presentan MemoryDocDataSet, un benchmark sintético compuesto por 50 micro-mundos y 1,000 pares de pregunta-respuesta (QA): Cada micro-mundo es un escenario autónico definido por la tupla $M = (P, G, D, C, Q)$:

• Personas ($P$): 3–5 entidades con roles, experiencia y relaciones definidas.
• Grafo de Eventos ($G$): Un Grafo Acíclico Dirigido (DAG) temporal de 5–10 eventos con marcas de tiempo que abarcan al menos seis meses, codificando dependencias causales.
• Documentos ($D$): 3–5 documentos reales largos (20,000–50,000 tokens cada uno) extraídos del Caselaw Access Project (opiniones judiciales de EE. UU.).
• Conversaciones ($C$): 5 sesiones de diálogo de múltiples sesiones ancladas a eventos específicos, con al menos un 40% de las sesiones haciendo referencia explícita a documentos.
• Pares QA ($Q$): 20 pares por micro-mundo a través de cinco categorías de razonamiento (Salto único, Salto múltiple, Temporal, Actualización de conocimiento, Adversarial).

La Dimensión de la Fuente:
La innovación definitoria es la anotación de la etiqueta de fuente para cada par QA, categorizando la fuente de información requerida:

• Solo-Chat (Chat-only): Respuesta derivable únicamente del historial de la conversación.
• Solo-Doc (Doc-only): Respuesta derivable únicamente de los documentos largos.
• Híbrida (Hybrid): Requiere un proceso de dos pasos: (1) usar el contexto de la conversación para identificar el documento relevante, y (2) leer ese documento para extraer la respuesta.
• Distribución: Las preguntas híbridas constituyen el 75.1% del conjunto de datos, con un suelo de diseño del 30% por micro-mundo.

Pipeline de Generación

El conjunto de datos se genera mediante un pipeline totalmente automatizado y dirigido por configuración de siete etapas utilizando LLMs (Claude Sonnet 4.6):

1. Recolección de Documentos: Obtención y agrupación de textos legales reales.
2. Generación de Personas y Grafo de Eventos: Creación de roles sintéticos y eventos temporales.
3. Generación de Conversaciones: Generación de diálogos fundamentados en el grafo de eventos.
4. Generación de QA: Creación de preguntas con referencias de evidencia.
5. Verificación de Calidad: Un protocolo de LLM-como-juez utilizando prompts estrictos y permisivos para medir la consistencia de sensibilidad al prompt (mediana de Cohen's $\kappa = 0.634$).
6. Empaquetado del Dataset: División en entrenamiento/validación/prueba (70/14/16) con aislamiento de documentos.
7. Evaluación de Baselines.

Experimentos de Referencia (Baselines)

Se evaluaron seis configuraciones de referencia en la división de prueba (160 pares QA, 8 micro-mundos) utilizando F1 a nivel de token y Coincidencia Exacta (EM):

1. LLM Base: Contexto truncado (4,096 tokens).
2. LLM de Contexto Largo: Contexto completo (60,000 tokens).
3. RAG-Conv: Recuperación sobre fragmentos de conversación únicamente.
4. RAG-Doc: Recuperación sobre fragmentos de documentos únicamente.
5. RAG-Both: Recuperación conjunta sobre ambas modalidades.
6. Sistema de Memoria: Extracción de hechos basada en grafos a partir de las conversaciones.

Resultados Clave

Rendimiento en Preguntas Híbridas

Los resultados revelan un significativo "gap de recuperación conjunta":

• RAG-Doc logró un sólido 0.453 F1 en preguntas Solo-Doc, pero colapsó a 0.267 F1 en preguntas Híbridas. Esto demuestra que la recuperación de documentos sin la navegación conversacional es insuficiente para el razonamiento conjunto.
• RAG-Both logró el mayor rendimiento general (0.358 F1) y mejoró el rendimiento Híbrido a 0.342 F1, confirmando que la incorporación de la recuperación de la conversación recupera gran parte de la brecha.
• LLM de Contexto Largo (0.323 general) funcionó solo marginalmente mejor que el LLM Base (0.317) a pesar de un aumento de 15 veces en el contexto. Exhibió la menor precisión de abstención (0.844), lo que sugiere que expandir las ventanas de contexto sin una recuperación estructurada conduce a un aumento de las alucinaciones en preguntas no contestables (efecto "perdido en el medio").

Asimetría de Especialización

Se observó una clara asimetría de especialización: los sistemas fuertes en una etiqueta de fuente (p. ej., RAG-Doc en Solo-Doc) eran débiles en la etiqueta complementaria (Híbrida). Incluso el mejor baseline (RAG-Both) tuvo un rendimiento significativamente inferior a las expectativas humanas, lo que indica que las arquitecturas actuales no soportan de forma nativa la estrategia de navegación de dos pasos requerida para las tareas Híbridas.

Significancia y Reivindicaciones

El artículo reclama las siguientes contribuciones y significancia:

1. Primer Benchmark Conjunto: MemoryDocDataSet es el primer benchmark que evalúa simultáneamente el historial de conversación de múltiples sesiones y el razonamiento en documentos largos, formalizado a través de la etiqueta de fuente Híbrida.
2. Brecha Medible: El benchmark cuantifica un gap arquitectónico específico: la incapacidad de los sistemas actuales para navegar primero la conversación para identificar un documento, y luego recuperar de ese documento específico.
3. Implicaciones de Diseño de Sistemas: Los resultados sugieren que simplemente aumentar el tamaño de la ventana de contexto o usar RAG estándar es insuficiente. La próxima generación de asistentes de IA requiere arquitecturas que unifiquen la memoria conversacional con la navegación de documentos largos, implementando específicamente una estrategia de recuperación de dos etapas (conversación $\to$ identificación de documento $\to$ recuperación de documento).
4. Liberación de Recursos: Los autores liberan el dataset, el pipeline de generación y todas las implementaciones de los baselines para facilitar la investigación sobre esta capacidad conjunta.

El artículo mantiene un tono modesto respecto al rendimiento humano, señalando que no se ha medido un límite superior humano formal y que la verificación actual de LLM-como-juez sirve como un proxy para la consistencia más que para la corrección absoluta. Las limitaciones reconocidas incluyen la especificidad del dominio (texto legal de EE. UU.), la naturaleza sintética de las conversaciones y el alcance exclusivo en inglés.