MARCH: Evaluating the Intersection of Ambiguity Interpretation and Multi-hop Inference

Título: MARCH: Evaluando la Intersección entre la Interpretación de la Ambigüedad y la Inferencia Multi-paso

1. El Problema

La pregunta y respuesta (QA) multi-paso en el mundo real enfrenta un desafío doble:

1. Inferencia Multi-paso: Requiere conectar piezas de información dispersas en múltiples documentos para construir una cadena lógica.
2. Ambigüedad: Una sola consulta puede tener múltiples interpretaciones válidas (debido a términos polisémicos, contexto insuficiente o estructuras sintácticas ambiguas).

El problema central es que en las consultas multi-paso, la ambigüedad a menudo es latente. Una ambigüedad en el primer paso (ej. "Mustang" como coche vs. guitarra) determina qué entidades puente se deben buscar en el siguiente paso. Si el modelo se compromete prematuramente con una interpretación incorrecta (ej. asumir que "Mustang" es solo un coche), descarta la rama válida (guitarra), lo que lleva a una propagación de errores en cascada a lo largo de toda la cadena de razonamiento. Los benchmarks existentes se han centrado principalmente en ambigüedad de un solo paso o en razonamiento multi-paso sin ambigüedad, dejando esta intersección crítica sin explorar.

2. Metodología

El paper introduce dos contribuciones principales: un nuevo benchmark (MARCH) y un nuevo marco de trabajo agéntico (CLARION).

A. MARCH (Multi-hop Ambiguity Reasoning CHain)
Es un benchmark diseñado específicamente para evaluar la capacidad de los modelos para manejar la intersección de ambigüedad y razonamiento multi-paso.

• Construcción: Derivado del dataset MuSiQue, se filtraron y refinaron 2,209 preguntas ambiguas.
• Proceso de 4 etapas:
  1. Detección y Clarificación: Uso de múltiples LLMs (GPT-4.1, Llama-4, Qwen3, Claude) en consenso para detectar ambigüedad y generar preguntas aclaratorias (clarified questions) para cada interpretación.
  2. Recopilación de Documentos: Descomposición de las preguntas aclaratorias en sub-preguntas atómicas para recuperar evidencia de Wikipedia.
  3. Generación de Respuestas: Creación de respuestas cortas (factual) para cada interpretación y una respuesta larga que sintetiza todas las interpretaciones.
  4. Filtrado: Validación rigurosa mediante consenso de LLMs y anotación humana (5 anotadores) para asegurar alta calidad y acuerdo inter-anotador (Kappa de Fleiss hasta 0.95).
• Tipos de Ambigüedad:
  • Semántica: Colisión de entidades (ej. "Mustang" = Coche vs. Guitarra).
  • Sintáctica: Múltiples análisis gramaticales válidos (ej. alcance de preposiciones).
  • Restricción: Consultas sobre-específicas que prueban prematuramente la recuperación de evidencia (ej. fechas exactas que no existen en el corpus).

B. CLARION (CLarifying Ambiguity with a Reasoning and InstructiON)
Un marco de trabajo agéntico de dos etapas diseñado para resolver el problema de la poda prematura de ramas de razonamiento.

• Agente de Planificación (Planning Agent): Analiza la consulta antes de cualquier recuperación.
  • Detecta si hay ambigüedad.
  • Clasifica el tipo (Semántica, Sintáctica, Restricción).
  • Genera un plan de ejecución con versiones aclaradas de la pregunta.
• Agente de Ejecución (Acting Agent): Ejecuta el plan mediante un bucle ReAct (Pensamiento → Acción → Observación).
  • Desacoplamiento: Separa la enumeración de interpretaciones de la recuperación de evidencia.
  • Recuperación por Interpretación: Realiza búsquedas y razonamientos independientes para cada interpretación aclarada antes de sintetizar la respuesta final.
  • Mecanismo de Autocorrección: Si una rama falla o no tiene evidencia, el agente puede re-planificar o solicitar confirmación, evitando que el error se propague.

3. Resultados Clave

• Rendimiento de Modelos de Estado del Arte: Los modelos LLM más avanzados (Qwen3-235b, Gemini-2.5, DeepSeek-v3.1) mostraron un rendimiento muy bajo en MARCH.
  • Caída de Rendimiento: Incluso modelos con capacidades de razonamiento sólidas en tareas individuales (solo multi-paso o solo ambigüedad) fallaron estrepitosamente cuando se combinaron ambos desafíos.
  • Métricas: En la métrica Disambig-F1 (que mide la capacidad de cubrir todas las ramas válidas), los modelos base obtuvieron puntuaciones muy bajas (alrededor de 21-24%), mientras que CLARION logró mejoras significativas.
• Eficacia de CLARION:
  • CLARION superó consistentemente a todos los baselines (NaiveRAG, CoT, ReAct, DIVA) en todas las métricas (STR-EM, Disambig-F1 y juicio de LLM).
  • Ablación: La eliminación del módulo de "Clarificación" causó la mayor caída de rendimiento, demostrando que la reescritura explícita de la consulta es crucial para evitar el compromiso prematuro con una sola interpretación.
  • Comparación Humana: Aunque CLARION es el mejor sistema, aún existe una brecha significativa con el rendimiento humano (Human STR-EM: 73.0 vs. CLARION: 38.7), indicando que el problema sigue siendo un desafío abierto.
• Análisis por Tipo de Ambigüedad: Los modelos tienen más dificultades con la ambigüedad Semántica y Sintáctica (que cambian la estructura de la cadena de razonamiento) que con la de Restricción (que a menudo permite recuperar evidencia superpuesta).

4. Contribuciones Clave

1. MARCH: El primer benchmark de gran escala (2,209 ejemplos) que evalúa específicamente la intersección de la interpretación de ambigüedad y el razonamiento multi-paso, con anotaciones humanas de alta calidad y validación rigurosa.
2. Descubrimiento de la Naturaleza Latente: Demostración empírica de que la ambigüedad en QA multi-paso es a menudo latente y dependiente de la ruta; un error en la interpretación inicial bloquea la recuperación de evidencia para pasos posteriores.
3. CLARION: Una arquitectura agéntica novedosa que desacopla la planificación (resolución de ambigüedad) de la acción (recuperación de evidencia), demostrando que separar estos procesos es esencial para el razonamiento robusto.
4. Análisis de Fallos: Identificación de que los métodos actuales fallan porque "poda" prematuramente ramas de razonamiento válidas al comprometerse con una sola interpretación dominante en el primer paso.

5. Significado e Impacto

• Avance en la Evaluación: MARCH establece un nuevo estándar para evaluar la robustez de los sistemas de IA en escenarios del mundo real, donde las consultas de los usuarios son inherentemente ambiguas y requieren razonamiento complejo.
• Dirección para Futuras Investigaciones: El paper sugiere que los enfoques de "recuperar y leer" (RAG) estándar son insuficientes para consultas ambiguas multi-paso. Se requiere una planificación explícita y la exploración de múltiples trayectorias de razonamiento en paralelo.
• Aplicabilidad Práctica: CLARION ofrece una hoja de ruta para construir sistemas de búsqueda y QA más fiables que no solo respondan a la interpretación más probable, sino que reconozcan y manejen la incertidumbre inherente a las consultas complejas, reduciendo alucinaciones y respuestas incompletas.

En resumen, el paper demuestra que la combinación de ambigüedad y razonamiento multi-paso es un "punto ciego" crítico para los modelos actuales y propone una arquitectura agéntica que resuelve este problema mediante la planificación explícita de interpretaciones antes de la ejecución.