ViHERMES: A Graph-Grounded Multihop Question Answering Benchmark and System for Vietnamese Healthcare Regulations

Riassunto Tecnico: ViHERMES

1. Il Problema (Problem Statement)

Il paper affronta la sfida del Question Answering (QA) multihop applicato ai documenti normativi nel settore sanitario vietnamita. A differenza dei testi medici descrittivi, le regolamentazioni sanitarie sono caratterizzate da:

• Dipendenze legali complesse: I documenti sono gerarchici (articoli, commi) e interconnessi tramite emendamenti, sostituzioni, integrazioni e riferimenti incrociati.
• Necessità di ragionamento multihop: Per rispondere correttamente, un sistema non può limitarsi a recuperare un singolo passaggio, ma deve tracciare catene di emendamenti e combinare definizioni provenienti da più documenti per garantire la validità legale.
• Limiti delle tecnologie attuali: I sistemi RAG (Retrieval-Augmented Generation) tradizionali trattano i documenti come collezioni piatte di testo, ignorando la struttura legale. Inoltre, il vietnamita è una lingua a basse risorse (low-resource), con una carenza di dataset benchmark specifici per il ragionamento multihop in ambito normativo-sanitario.

2. Metodologia (Methodology)

Il lavoro si articola su due pilastri: la creazione di un nuovo dataset e lo sviluppo di un sistema di QA avanzato.

A. Creazione del Dataset (ViHERMES):
Gli autori propongono una pipeline di generazione controllata in cinque fasi:

1. Raccolta e Preprocessing: Crawling di documenti ufficiali dal Ministero della Salute vietnamita e segmentazione in unità legali (triplette $\langle id, titolo, testo \rangle$).
2. Clustering Semantico: Utilizzo di Spherical K-Means su vettori di embedding $\ell_2$-normalizzati per indurre un grafo di similarità semantica latente, garantendo la coerenza tematica.
3. Generazione Multihop: Campionamento di tuple di contesti da documenti diversi per forzare il ragionamento cross-document. Un LLM genera coppie domanda-risposta che richiedono l'uso di tutti i contesti forniti.
4. Validazione: Supervisione di esperti per garantire la correttezza legale e la coerenza del ragionamento.

B. Sistema di QA Graph-Aware (SRKG & MAS):
Il sistema proposto si discosta dai grafi basati su entità generiche, introducendo un Structure-driven Regulatory Knowledge Graph (SRKG).

• SRKG: Il grafo modella nodi legali (Documenti, Articoli, Commi) e relazioni formali:
  • Relazioni Strutturali: Has_Article, Has_Clause.
  • Relazioni Semantiche Legali: Amends (emenda), Replaces (sostituisce), Supplements (integra), Refers_To (riferisce a).
• Strategia di Retrieval (Seeded Retrieval & Propagation):
  1. Seeded Retrieval: Identificazione di nodi "ancora" tramite un punteggio ibrido (densità semantica + BM25).
  2. Propagation: Espansione del contesto seguendo i bordi del grafo (es. tracciamento della validità seguendo la catena degli emendamenti).
• Architettura Multi-Agente (MAS): Il sistema utilizza agenti specializzati:
  • Interpreter: Analizza l'intento della query.
  • Pathfinder: Esegue il retrieval sul grafo SRKG.
  • Auditor: Verifica la coerenza e la validità delle prove recuperate (grounding).
  • Conductor: Orchestra il processo e genera la risposta finale tramite LLM.

3. Contributi Chiave (Key Contributions)

1. ViHERMES Dataset: Il primo benchmark vietnamita progettato specificamente per il QA multihop su regolamentazioni sanitarie.
2. Pipeline di Generazione: Un metodo innovativo che combina clustering semantico e generazione guidata da LLM per creare dati di alta qualità con annotazioni di ragionamento esplicite.
3. Framework Graph-Aware: Un sistema che integra la struttura gerarchica e le relazioni legali formali nel processo di recupero, superando i limiti dei grafi basati su entità.

4. Risultati (Results)

Gli esperimenti dimostrano la superiorità del sistema proposto rispetto ai baseline (Naive RAG, IRCoT, RAPTOR, LightRAG, HippoRAG 2):

• Accuratezza: Il sistema proposto ottiene i punteggi più alti in tutte le metriche: F1 (0.8334), LLM Judge (0.7554) e Recall@5 (0.8461).
• Efficienza: Nonostante la complessità del grafo, il sistema mantiene una latenza competitiva (~14.7s), risultando più veloce di HippoRAG 2 e più efficiente nella gestione dei token rispetto ad altri approcci basati su grafi.
• Analisi Ablation: La rimozione dell'agente Interpreter o del Pathfinder degrada significativamente le prestazioni, confermando l'importanza cruciale della comprensione dell'intento e del recupero strutturato.

5. Significato (Significance)

Questo lavoro colma un vuoto critico nella ricerca sul Natural Language Processing per lingue a basse risorse e domini ad alta precisione. Dimostra che, nel settore legale e normativo, la struttura del documento è fondamentale quanto il suo contenuto semantico. L'approccio basato su grafi strutturati (SRKG) fornisce un modello replicabile per altri domini regolamentari (es. finanza, diritto civile) dove la validità temporale e la gerarchia delle norme sono essenziali per evitare risposte errate o obsolete.