Resumen Técnico: GRASP (Búsqueda Agente sobre Gráficos de Proposiciones)

Declaración del Problema

La respuesta a preguntas de múltiples saltos (QA) requiere que los modelos recopilen evidencia de forma iterativa para resolver dependencias que la similitud semántica por sí sola no puede abordar. Aunque los sistemas recientes de recuperación agente mejoran la precisión al otorgar autonomía a los modelos de lenguaje (LLM) para buscar y razonar, enfrentan un cuello de botella crítico: la eficiencia de tokens.

Los enfoques basados en gráficos existentes, como HippoRAG y GeAR, utilizan gráficos de conocimiento (KG) construidos a partir de triples relacionales (sujeto-relación-objeto) para permitir una navegación estructurada. Sin embargo, esto introduce costos significativos:

1. Costo de Indexación: Extraer y construir KGs basados en triples es computacionalmente costoso y a menudo poco fiable, degradando en ocasiones la calidad de la recuperación por debajo de la RAG ingenua.
2. Costo de Inferencia: Los sistemas agente suelen sufrir un uso acumulativo de tokens debido a llamadas repetidas al LLM, ventanas de contexto en expansión y navegación redundante por agentes paralelos.

Los métodos actuales no logran optimizar conjuntamente la alta precisión y el uso mínimo de tokens en las fases de indexación e inferencia.

Metodología: GRASP

Los autores proponen GRASP (Búsqueda Agente sobre Gráficos de Proposiciones), un sistema de recuperación agente diseñado para optimizar tanto la precisión de la QA como la eficiencia de tokens. GRASP opera a través de tres componentes principales:

1. Construcción de un Gráfico Jerárquico de Tres Capas

A diferencia de los KGs basados en triples, GRASP construye un gráfico $G = (V_E, V_P, V_D, E)$ con tres capas distintas:

• Capa de Entidades ($V_E$): Entidades tipificadas (por ejemplo, "Persona", "Ubicación") extraídas del texto. Estas sirven como puertas de entrada dirigidas para la navegación.
• Capa de Proposiciones ($V_P$): La unidad central de recuperación. En lugar de triples atómicos, el sistema extrae proposiciones de lenguaje natural atómicas y autocontenidas (por ejemplo, "El Conejo de Pascua fue registrado en el suroeste de Alemania en 1678").
• Capa de Pasajes ($V_D$): Los documentos fuente originales vinculados a sus proposiciones constituyentes.

Proceso de Extracción: Las entidades y las proposiciones se extraen conjuntamente en una sola llamada al LLM. Las entidades se vinculan a sus proposiciones fuente mediante referencias de índice, formando las aristas del gráfico. Esto evita la compresión con pérdida del contexto en triples relacionales.

2. Pipeline de Inferencia Basado en Planificación

GRASP descompone preguntas complejas de múltiples saltos en planes conscientes de las dependencias:

• Planificador: Un módulo genera un esquema de razonamiento en lenguaje natural y una secuencia ordenada de subpreguntas. Crucialmente, utiliza marcadores numéricos (por ejemplo, #1) para referenciar explícitamente las respuestas de subpreguntas anteriores, reflejando la estructura de dependencias de conjuntos de datos como MuSiQue.
• Ejecución de Sub-Agente: Cada subpregunta es manejada por un sub-agente independiente. El agente mantiene un estado de observación compacto ($O_i$) en lugar de un historial completo de conversaciones, limitando el crecimiento del contexto.
  • Búsqueda Híbrida: El agente reformula la subpregunta en una declaración de búsqueda declarativa y una lista de palabras clave. Realiza una búsqueda híbrida (vector denso + BM25) sobre la capa de proposiciones para recuperar entidades candidatas.
  • Puntuación RankVote: Las proposiciones recuperadas se agregan a entidades candidatas. Para la recuperación de pasajes, el sistema utiliza RankVote, un mecanismo de votación por rango recíproco que puntúa los pasajes basándose en los rangos de sus proposiciones constituyentes, priorizando el contexto altamente relevante.
  • Refinamiento Iterativo: El agente evalúa si la evidencia es suficiente. Si no lo es, reescribe la declaración de búsqueda y reinicia la navegación (hasta un límite), evitando la relectura redundante de la evidencia.

3. Métrica de Economía de Éxito

El artículo introduce la Economía de Éxito ($C_w$), una métrica inspirada en la teoría de la información para evaluar la eficiencia. Amortiza el costo total de tokens sobre las respuestas correctas ponderadas por dificultad:
$$C_w = \frac{\sum T_i}{\sum w_i \cdot \mathbb{1}[EM_i = 1]}$$
donde $w_i = -\log_2(r_i)$ es la sorpresa (autoinformación) de una respuesta correcta, estimada mediante la solicitud al LLM base múltiples veces. Esto penaliza el desperdicio de tokens y recompensa la resolución eficiente de preguntas difíciles.

Contribuciones Clave

1. Sistema GRASP: Un sistema de recuperación agente potenciado por gráficos que optimiza conjuntamente la precisión y la eficiencia de tokens, evaluado competitivamente tanto en entornos de recuperación abierta como de contexto extendido.
2. Indexación Basada en Proposiciones: Un gráfico jerárquico novedoso de tres capas que utiliza proposiciones como unidad central de recuperación. Los autores demuestran que esto logra una mayor recuperación de pasajes que los gráficos basados en triples (HippoRAG2) mientras utiliza 69% menos tokens de indexación.
3. Inferencia Compartimentada: Un pipeline basado en planificación con sub-agentes aislados que compartimentan el contexto tanto a través de saltos como dentro de la ejecución individual del agente, evitando un crecimiento ilimitado del contexto.
4. Economía de Éxito: Una nueva métrica de evaluación que aboga por una evaluación consciente de la eficiencia en la QA agente, yendo más allá de los benchmarks de precisión únicamente.

Resultados Experimentales

GRASP fue evaluado en MuSiQue, 2WikiMultihopQA y HotpotQA bajo dos configuraciones:

Configuración de Recuperación de Corpus Abierto

• Rendimiento: GRASP logró la mayor Exact Match (EM), F1 y puntuaciones de Juez en MuSiQue y 2Wiki, superando a IRCoT+HippoRAG2.
• Eficiencia: Utilizó 40–50% menos tokens que IRCoT+HippoRAG2 mientras lograba una precisión superior. En HotpotQA, aunque IRCoT+HippoRAG2 tuvo una precisión ligeramente mayor, lo hizo con más del doble del costo de tokens.
• Calidad de Recuperación: En la recuperación agente simulada, GRASP logró una recuperación de 0.904 en comparación con el 0.817 de HippoRAG2, validando las proposiciones como una unidad de recuperación superior.

Configuración de Contexto Extendido (LongBench)

• Rendimiento: GRASP lideró en EM y F1 en los tres conjuntos de datos. En 2Wiki, mejoró la EM en 12 puntos sobre GraphReader mientras utilizaba aproximadamente el 70% del costo de tokens.
• Eficiencia: GRASP utilizó 30% menos tokens que el siguiente método más preciso (GraphReader) mientras mantenía puntuaciones de Juez competitivas o superiores.
• Ablación: Eliminar el gráfico de proposiciones o la capa de selección de entidades degradó significativamente el rendimiento o aumentó el uso de tokens, confirmando la necesidad de la estructura de tres capas.

Significado y Afirmaciones

El artículo afirma que GRASP se sitúa en la frontera de Pareto para las compensaciones entre precisión y costo en la QA de múltiples saltos. Al tratar la eficiencia de tokens como un objetivo de diseño de primera clase junto con la precisión, GRASP aborda la tensión fundamental en los sistemas agente donde la profundidad del razonamiento típicamente conduce a un crecimiento exponencial de tokens.

Los autores enfatizan que:

• Las proposiciones son superiores a los triples: Preservan el matiz semántico perdido en la extracción de triples y sirven como unidades más discriminativas para la recuperación basada en incrustaciones.
• La descomposición estructurada es vital: La descomposición basada en planificación combinada con la recuperación estructurada (el gráfico) es más efectiva que intercalar la recuperación con el pensamiento en cadena únicamente.
• La eficiencia es un requisito estándar: La introducción de la "Economía de Éxito" aboga para que la comunidad adopte la evaluación consciente de la eficiencia como una práctica estándar, reconociendo que el costo de inferencia escala directamente con la complejidad del razonamiento.

El trabajo sugiere que las mejoras futuras podrían centrarse en refinar la precisión de la descomposición del planificador (actualmente un cuello de botella para preguntas de 3 y 4 saltos) mediante ajuste fino supervisado o aprendizaje por refuerzo, pero la arquitectura actual ya demuestra un salto significativo en el equilibrio entre rendimiento y costo.