HopWeaver: Cross-Document Synthesis of High-Quality and Authentic Multi-Hop Questions

1. El Problema

La Respuesta a Preguntas Multi-Hop (MHQA) es fundamental para evaluar la capacidad de los Modelos de Lenguaje Grandes (LLMs) y los sistemas de Generación Aumentada por Recuperación (RAG) para integrar información de múltiples fuentes. Sin embargo, existen dos desafíos principales en la creación de conjuntos de datos de alta calidad para MHQA:

• Costo y Escalabilidad: La anotación manual es extremadamente costosa y difícil de escalar para cubrir diversas rutas de razonamiento.
• Limitaciones de los Métodos Actuales: Los métodos de síntesis automática existentes a menudo generan preguntas "pseudo multi-hop" (que pueden responderse con un solo documento), requieren intervención humana extensa o dependen de conocimientos estructurados (como grafos de conocimiento) que tienen brechas de cobertura y sesgos. Además, los conjuntos de datos actuales pueden no exponer completamente las limitaciones de los sistemas RAG avanzados, ya que estos pueden sobreajustarse a patrones de razonamiento prevalentes.

2. Metodología: HopWeaver

HopWeaver es el primer marco de trabajo cross-document (entre documentos) que sintetiza preguntas multi-hop auténticas sin ninguna intervención humana. El sistema opera sobre un corpus de texto crudo y se centra en dos tipos principales de preguntas: Puente (Bridge) y Comparación (Comparison).

El proceso se divide en las siguientes etapas clave:

A. Síntesis de Preguntas de Puente (Bridge Questions)

Estas preguntas conectan hechos a través de documentos mediante entidades intermedias.

1. Identificación de la Entidad Puente: Se selecciona un documento fuente ($d_s$) y un LLM identifica una entidad puente ($e_b$) dentro de un segmento de texto que sirve como conector.
2. Recuperación en Dos Etapas (Coarse-to-Fine):
   • Recuperación Gruesa: Se utiliza una estrategia modificada de Relevancia Marginal Máxima (MMR) para recuperar documentos candidatos que sean relevantes para la consulta pero disímiles al documento fuente, promoviendo la diversidad y la complementariedad.
   • Reordenamiento Fino (Reranking): Un clasificador reordenador (reranker) afinado mediante aprendizaje contrastivo (ver abajo) refina la lista para seleccionar los documentos verdaderamente complementarios.
3. Construcción de la Pregunta: Se generan dos sub-preguntas secuenciales (una basada en $d_s$ con respuesta $e_b$, y otra basada en el documento complementario $d_t$ usando $e_b$). Estas se fusionan en una sola pregunta coherente que oculta la entidad puente, obligando al razonamiento multi-hop.
4. Validación y Pulido: Un módulo de validación verifica que la pregunta requiera realmente múltiples documentos y que no existan atajos. Un módulo de "pulido" (Polisher) refina la fluidez y la estructura.

B. Síntesis de Preguntas de Comparación (Comparison Questions)

Estas preguntas contrastan atributos entre dos entidades similares.

1. Identificación y Filtrado: Se extraen entidades y atributos de un documento fuente. Un mecanismo de filtrado evalúa la "concreción" de la entidad y la "comparabilidad" de los atributos (puntuación 1-5) para asegurar que sean factibles de comparar.
2. Generación de Consulta y Recuperación: El LLM decide entre una "Recomendación Directa" (buscar una entidad comparable específica) o una "Búsqueda Diversificada" (generar múltiples consultas para encontrar entidades del mismo tipo).
3. Construcción: Se identifica un par de atributos comparables en documentos distintos y se genera la pregunta de comparación.

C. Componentes Críticos de Aprendizaje

• Reranker Ajustado (Fine-Tuned Reranker): El sistema entrena un modelo de reordenamiento utilizando señales de supervisión simuladas. Si la síntesis de una pregunta multi-hop falla con un documento candidato, este se marca como negativo; si tiene éxito, como positivo. Esto permite al modelo aprender a distinguir documentos verdaderamente complementarios.
• Módulo de Pulido (Polisher): Actúa como un filtro de calidad que reestructura, ajusta o rechaza preguntas que no cumplen con los criterios de razonamiento cruzado o fluidez.

3. Sistema de Evaluación

Los autores proponen un sistema de evaluación multidimensional para garantizar la calidad de los datos sintetizados:

1. LLM-as-Judge: Utiliza múltiples LLMs (incluyendo modelos propietarios y de código abierto) como jueces para puntuar la calidad en una escala Likert, priorizando la auto-consistencia del juez sobre la alineación humana para mayor estabilidad.
2. Evaluación de Respuesta y Dificultad: Compara el rendimiento de los modelos en modo "Solo Pregunta" (Q-Only) vs. "Pregunta + Documentos Dorados" (Q+Docs). Un aumento significativo en el rendimiento con los documentos confirma que la pregunta es difícil y requiere evidencia contextual.
3. Evaluación de Accesibilidad de Evidencia: Mide qué tan fácil es recuperar los documentos correctos utilizando métricas de recuperación (MAP, Recall@K, NDCG) y la precisión de la recuperación del conjunto completo (Support F1).

4. Resultados Principales

Los experimentos se realizaron utilizando el corpus de Wikipedia en inglés y compararon HopWeaver con conjuntos de datos anotados por humanos (HotpotQA, 2WikiMultiHopQA, MuSiQue).

• Calidad Superior: Las preguntas sintetizadas por HopWeaver (especialmente con LLMs potentes como Gemini-2.5-flash) alcanzaron o superaron la calidad de los datos anotados por humanos.
  • Tasa Multi-Hop: HopWeaver logró tasas de autenticidad multi-hop de 96.4% - 98.9% para preguntas de puente y 93.9% - 98.6% para preguntas de comparación, superando a los benchmarks humanos (que rondan el 91-95%).
  • Puntuación de Calidad: Obtuvo puntuaciones promedio más altas en dimensiones como sofisticación lógica e integración de información.
• Desafío para Sistemas RAG: Al evaluar sistemas RAG avanzados en el conjunto de datos de HopWeaver, se observó que muchos métodos sofisticados no superaron al RAG estándar e incluso mostraron caídas de rendimiento significativas. Esto demuestra que HopWeaver expone limitaciones en los patrones de razonamiento de los sistemas actuales que los benchmarks tradicionales no logran revelar.
• Eficiencia: El estudio de ablación confirmó que el uso del reranker afinado y el módulo de pulido mejora drásticamente la tasa de éxito y reduce el número de intentos necesarios para generar preguntas válidas.

5. Contribuciones Clave

1. Primer Marco Automático: Presenta HopWeaver, el primer sistema capaz de sintetizar preguntas multi-hop auténticas a partir de corpus crudos sin intervención humana ni dependencias de grafos de conocimiento estructurados.
2. Calidad Validada: Demuestra mediante un sistema de evaluación riguroso que los datos sintetizados son de calidad comparable o superior a los datos humanos, ofreciendo una alternativa escalable y económica.
3. Nuevos Patrones de Razonamiento: Genera conjuntos de datos diversos que revelan limitaciones en los sistemas RAG avanzados, abriendo nuevas vías para la evaluación robusta y el entrenamiento dirigido de modelos de razonamiento, especialmente en dominios con recursos escasos.

6. Significado e Impacto

HopWeaver representa un cambio de paradigma en la creación de benchmarks para IA. Al eliminar la dependencia de la anotación manual y los conocimientos estructurados predefinidos, permite a la comunidad de investigación generar conjuntos de datos ilimitados y desafiantes a partir de cualquier corpus de texto. Esto es crucial para:

• Evaluación Realista: Probar la verdadera capacidad de razonamiento de los LLMs y sistemas RAG más allá de los sesgos de los conjuntos de datos existentes.
• Dominios Especializados: Facilitar la creación de datos de entrenamiento y evaluación en áreas donde la anotación humana es prohibitiva (ej. medicina, derecho, ciencias específicas).
• Desarrollo de Modelos: Proporcionar un "campo de entrenamiento" diverso para mejorar la robustez y la generalización de los modelos de razonamiento avanzado.

El código de HopWeaver es de acceso público, fomentando su adopción y extensión en la comunidad científica.