ViHERMES: A Graph-Grounded Multihop Question Answering Benchmark and System for Vietnamese Healthcare Regulations

Resumo Técnico: ViHERMES

1. O Problema (Problem)

O desafio central abordado é a dificuldade de realizar Question Answering (QA) — sistemas de perguntas e respostas — sobre documentos regulatórios, especificamente no setor de saúde no Vietnã. Diferente de textos médicos descritivos, as regulamentações de saúde são documentos jurídicos complexos que apresentam:

• Dependências Multihop: As respostas corretas raramente estão em um único parágrafo; elas exigem o encadeamento de informações de múltiplos documentos (ex: uma lei principal + uma emenda + um decreto complementar).
• Estrutura Hierárquica e Dinâmica: Os textos são organizados em artigos e cláusulas e sofrem revisões constantes através de emendas e referências cruzadas.
• Escassez de Recursos (Low-Resource): O idioma vietnamita carece de datasets que combinem o domínio da saúde com o raciocínio jurídico multihop.
• Limitações do RAG Tradicional: Sistemas de Retrieval-Augmented Generation (RAG) comuns tratam documentos como coleções "planas" de texto, falhando em capturar a validade jurídica e as relações de hierarquia e emenda.

2. Metodologia (Methodology)

Os autores propõem uma solução em duas frentes: um novo benchmark e um sistema de QA baseado em grafos.

A. Criação do Dataset ViHERMES:
Para garantir que o dataset exigisse raciocínio real, eles utilizaram um pipeline de cinco etapas:

1. Coleta e Pré-processamento: Raspagem de dados oficiais do Ministério da Saúde do Vietnã e segmentação por unidades legais (artigos/cláusulas).
2. Agrupamento Semântico (Semantic Clustering): Uso de K-Means Esférico para criar um grafo de similaridade semântica latente, permitindo selecionar contextos representativos.
3. Geração Multihop Controlada: Utilização de LLMs para gerar pares de pergunta-resposta que obrigatoriamente exigem o uso de múltiplos contextos de documentos diferentes (evitando o raciocínio de um único salto).
4. Validação Estrutural: Supervisão de especialistas para garantir a consistência jurídica e a precisão das evidências.

B. Sistema de QA Consciente de Grafos (Graph-Aware System):
O sistema utiliza um Grafo de Conhecimento Regulatório Baseado em Estrutura (SRKG), que modela relações formais (como AMENDS [emenda], REPLACES [substitui] e REFERS_TO [refere-se a]) em vez de apenas relações de entidades genéricas. O fluxo de trabalho utiliza um Sistema Multi-Agente (MAS):

• Interpreter: Analisa a intenção da pergunta e decide se precisa de busca no grafo.
• Pathfinder: Realiza a "Recuperação Semelhante a Semente" (Seeded Retrieval) e a Propagação de Contexto. Ele rastreia cadeias de emendas para garantir que a informação recuperada seja a versão legalmente válida e atualizada.
• Auditor: Verifica se a resposta gerada é fiel às evidências recuperadas, evitando alucinações.
• Conductor: Orquestra os agentes e gera a resposta final em linguagem natural.

3. Principais Contribuições (Key Contributions)

• ViHERMES Dataset: O primeiro benchmark de QA multihop focado especificamente em regulamentações de saúde no Vietnã.
• Pipeline de Construção de Dados: Um método inovador que usa agrupamento semântico e mineração de dados inspirada em grafos para gerar dados de alta qualidade.
• Framework de QA Multi-Agente e Baseado em Grafos: Um sistema que integra a estrutura jurídica formal (hierarquia e emendas) diretamente no processo de recuperação de informações.

4. Resultados (Results)

Os experimentos compararam o sistema proposto com baselines de RAG comum (BM25, Dense, Hybrid) e métodos avançados de grafos (RAPTOR, LightRAG, HippoRAG 2).

• Desempenho Superior: O sistema proposto superou todos os baselines em todas as métricas: F1 (sobreposição de texto), LLM Judge (qualidade do raciocínio avaliada por uma IA forte) e Recall@5 (capacidade de recuperar as evidências corretas).
• Eficiência: Embora o uso de grafos aumente a complexidade, o sistema manteve uma latência competitiva (aprox. 14,7s), sendo mais rápido que o HippoRAG 2 e utilizando menos tokens de grafo que o LightRAG, demonstrando um excelente equilíbrio entre eficácia e custo computacional.
• Importância dos Componentes: Testes de ablação mostraram que o agente Interpreter e o uso do Pathfinder (recuperação baseada no grafo) são cruciais para o sucesso do sistema.

5. Significância (Significance)

Este trabalho é significativo por demonstrar que, para domínios de alta precisão como o jurídico e o de saúde, a estrutura do conhecimento é tão importante quanto o conteúdo semântico. Ao modelar explicitamente as relações de emenda e hierarquia, o sistema não apenas encontra informações relacionadas, mas encontra informações legalmente válidas. Além disso, o framework pode ser adaptado para qualquer outro domínio regulatório que possua estruturas de documentos altamente interdependentes.