ViHERMES: A Graph-Grounded Multihop Question Answering Benchmark and System for Vietnamese Healthcare Regulations

Resumen Técnico: ViHERMES

Título original: ViHERMES: A Graph-Grounded Multihop Question Answering Benchmark and System for Vietnamese Healthcare Regulations

1. El Problema (Problem)

El acceso y cumplimiento de las regulaciones sanitarias es crítico para la seguridad pública, pero navegar por estos documentos es extremadamente complejo. El problema central que aborda este trabajo es la naturaleza de las regulaciones de salud, las cuales presentan tres desafíos principales:

• Dependencia Multihop (Multihop Reasoning): Las respuestas correctas no suelen estar en un solo párrafo, sino que requieren conectar información de múltiples documentos (por ejemplo, rastrear una enmienda que modifica un artículo original).
• Estructura Jerárquica y Legal: Los documentos están organizados en unidades estrictas (artículos, cláusulas) y poseen relaciones formales (enmiendas, suplementos, referencias cruzadas).
• Escasez de Recursos (Low-Resource Language): El vietnamita carece de conjuntos de datos (datasets) que combinen el dominio de la salud con el razonamiento multihop sobre textos regulatorios interdependientes. Los sistemas actuales de RAG (Generación Aumentada por Recuperación) suelen tratar los documentos como colecciones planas de texto, ignorando la validez legal y las jerarquías.

2. Metodología (Methodology)

Los autores proponen una solución integral que abarca tanto la creación de un estándar de evaluación como un sistema de respuesta inteligente.

A. Creación del Dataset (ViHERMES):
Implementan un pipeline de generación controlado en cinco pasos:

1. Recolección y Preprocesamiento: Extracción de documentos oficiales del Ministerio de Salud de Vietnam y segmentación según su jerarquía legal.
2. Clustering Semántico: Utilizan K-Means esférico sobre vectores de embeddings para agrupar contextos similares y crear un grafo de similitud latente.
3. Generación Multihop: Utilizan LLMs para generar pares de pregunta-respuesta que obligatoriamente requieran conectar $h$ contextos de diferentes documentos (rastreo de enmiendas, comparación de documentos o síntesis de procedimientos).
4. Validación Estructural: Un proceso de supervisión humana y de modelos para asegurar que las respuestas sean legalmente coherentes y estén fundamentadas en la evidencia.

B. Sistema de QA Basado en Grafos (Graph-Aware System):
Proponen un sistema que no solo busca texto, sino que entiende la estructura legal mediante un Grafo de Conocimiento Regulatorio Basado en Estructura (SRKG):

• Nodos y Relaciones: El grafo modela nodos (documentos, artículos, cláusulas) y relaciones tipificadas (Amends, Replaces, Supplements, Refers_To).
• Recuperación Sembrada y Propagación (Seeded Retrieval & Propagation): En lugar de una búsqueda plana, el sistema identifica "nodos semilla" relevantes y luego "propaga" la búsqueda a través de las relaciones legales (por ejemplo, si encuentra un artículo, busca automáticamente su versión enmendada).
• Arquitectura Multi-Agente (MAS): El sistema utiliza agentes especializados:
  • Interpreter: Analiza la intención de la consulta.
  • Pathfinder: Ejecuta la recuperación en el grafo.
  • Auditor: Verifica la consistencia y evita alucinaciones.
  • Conductor: Orquesta el proceso y genera la respuesta final.

3. Contribuciones Clave (Key Contributions)

1. ViHERMES Dataset: El primer benchmark diseñado específicamente para el razonamiento multihop sobre regulaciones de salud en vietnamita.
2. Pipeline de Construcción de Datos: Un método innovador que utiliza clustering semántico y minería de datos inspirada en grafos para generar datos de alta calidad.
3. Marco de Trabajo Graph-Aware: Un sistema de QA que utiliza un grafo de conocimiento estructurado por reglas legales, superando las limitaciones de los métodos RAG tradicionales.

4. Resultados (Results)

El sistema fue evaluado frente a varios modelos de referencia (Naive RAG, IRCoT, RAPTOR, LightRAG, HippoRAG 2) utilizando métricas de F1, un "LLM-as-a-Judge" (para evaluar la calidad del razonamiento) y Recall@5.

• Superioridad en Calidad: El sistema propuesto superó a todos los baselines, alcanzando un F1 de 0.8334 y un puntaje de LLM Judge de 0.7554.
• Efectividad de Recuperación: Logró un Recall@5 de 0.8461, demostrando que la propagación basada en relaciones legales es mucho más efectiva para encontrar la evidencia necesaria que la búsqueda semántica simple.
• Eficiencia: A pesar de la complejidad del grafo, el sistema mantiene una latencia competitiva (14.74s), siendo más rápido que modelos complejos como HippoRAG 2 y más eficiente en el uso de tokens de contexto que LightRAG.
• Análisis de Ablación: Se demostró que el agente Interpreter y el Pathfinder son los componentes más críticos para el rendimiento del sistema.

5. Significancia (Significance)

Este trabajo es significativo porque establece un nuevo estándar para el procesamiento de lenguaje natural (NLP) en dominios de alta responsabilidad (como la salud y el derecho) para idiomas con pocos recursos. Al demostrar que modelar la estructura formal de la ley dentro de un grafo es superior a la simple recuperación de texto, el estudio ofrece una hoja de ruta para construir sistemas de IA que sean no solo lingüísticamente plausibles, sino legalmente válidos y confiables.