Graph Alignment Topology as an Inductive Bias for Grounding Detection

Sintesi Tecnica: Topologia di Allineamento dei Grafi come Bias Induttivo per il Rilevamento dell'Ancoraggio

Enunciato del Problema
I Modelli Linguistici di Grandi Dimensioni (LLM) autoregressivi sono ottimizzati per generare sequenze di token plausibili dal punto di vista distributivo, piuttosto che per verificare esplicitamente se le proposizioni generate siano inferite dalle evidenze sorgente. Sebbene questo bias induttivo faciliti la generalizzazione e la fluidità, non codifica se le risposte siano ancorate ai documenti di riferimento. Di conseguenza, i modelli producono spesso generazioni fluide ma non supportate, un limite critico in domini che richiedono una correttezza fattuale rigorosa, come il supporto alle decisioni cliniche. Gli approcci esistenti per il rilevamento delle allucinazioni, inclusa la Generazione Aumentata dal Recupero (RAG), i controlli di auto-coerenza e la verifica delle affermazioni, operano generalmente su passaggi recuperati, testi campionati o triple estratte. Crucialmente, questi metodi non apprendono direttamente sulla topologia di allineamento—la corrispondenza strutturale tra riferimento e risposta—lasciando un vuoto su come l'ancoraggio sia modellato e rilevato.

Metodologia: CALAMRFLOW
Gli autori propongono CALAMRFLOW, un metodo che introduce un bias induttivo strutturale modellando l'ancoraggio come un problema di classificazione a livello di grafo su rappresentazioni semantiche allineate. L'approccio consta di quattro fasi principali:

1. Costruzione del Grafo Semantico:
   Il metodo utilizza CALAMR (Component ALignment for Abstract Meaning Representation) per analizzare sia il testo di riferimento (evidenza) sia la risposta candidata in grafi di Rappresentazione del Significato Astratto (AMR). Questi grafi rappresentano il significato della frase come strutture predicato-argomento, entità, attributi e relazioni. Ogni nodo nel grafo riceve un embedding semantico derivato da Sentence-BERT (SBERT), informazioni sui ruoli del Proposition Bank (PROPBank) e dal contesto locale del grafo.

2. Costruzione della Topologia di Allineamento:
   I grafi di riferimento e di risposta sono combinati in un singolo grafo bipartito allineato. Gli archi interni preservano la struttura semantica originale all'interno di ciascun testo, mentre gli archi incrociati rappresentano le allineamenti candidati tra i nodi di riferimento e di risposta. Questi archi di allineamento sono ponderati utilizzando un algoritmo di flusso massimo. Nello specifico, le capacità di allineamento sono calcolate a partire dalle similarità coseno consapevoli del vicinato tra gli embedding dei nodi, trasformate tramite una funzione sigmoide limitata per enfatizzare gli allineamenti più forti. Una formulazione di flusso di rete stima quindi il flusso di informazioni attraverso il grafo; gli archi ad alto flusso preservano i link semanticamente informativi, mentre gli archi a basso flusso riducono il peso delle corrispondenze debolmente supportate.

3. Classificazione tramite Rete Neurale su Grafo (GNN):
   La risultante topologia di allineamento ponderata funge da input per una leggera Rete Neurale su Grafo. Il modello impiega una Rete a Convoluzione su Grafo (GCN) multistrato con passaggio di messaggi per aggregare informazioni dai vicinati semantici locali e dagli archi di allineamento incrociati. Le caratteristiche dei nodi includono embedding SBERT a 768 dimensioni e tre attributi strutturali (tipo di nodo, origine del sottografo e stato del concetto). La rete utilizza un pooling su grafo basato sull'attenzione per generare una rappresentazione a livello di grafo, che viene inserita in un classificatore feed-forward per prevedere un'etichetta binaria: supportata ($z=0$) o allucinata/non supportata ($z=1$).

4. Addestramento e Inferenza:
   Il modello è addestrato utilizzando la funzione di perdita di entropia incrociata binaria con l'ottimizzatore ADAMW. Nota bene: il classificatore non genera testo né interroga LLM esterni durante l'inferenza; si basa esclusivamente sulla relazione appresa tra i pattern della topologia di allineamento e la correttezza ancorata al riferimento.

Contributi Chiave
Il documento delinea cinque contributi specifici:

1. Bias Induttivo Strutturale: L'introduzione di un rilevatore di ancoraggio basato su grafi che apprende direttamente sulla topologia di allineamento bipartita, in contrasto con metodi che si basano sulla sovrapposizione di forme superficiali o su conoscenze parametriche.
2. Prestazioni allo Stato dell'Arte: Dimostrazione di prestazioni superiori su quattro benchmark diversificati che coprono allucinazioni generali, allucinazioni controllate, allucinazioni mediche e risposte a domande biomediche.
3. Analisi Topologica: Fornitura di analisi attraverso esperimenti di ricablaggio e perturbazione del grafo per validare il ruolo della struttura di allineamento.
4. Sensibilità alla Struttura: Evidenza empirica che mostra come le perturbazioni alla struttura di allineamento influenzino misurabilmente le prestazioni di ancoraggio, confermando che il modello si basa sulla topologia e non solo sulle caratteristiche a livello di nodo.
5. Riproducibilità: Rilascio del codice sorgente, dei file di configurazione e delle istruzioni per la riproduzione.

Risultati Sperimentali
Il metodo è stato valutato su quattro dataset: HALUEVAL (dominio generale), HDM-BENCH (allucinazione controllata), MEDHALLU (dominio medico) e PUBMEDQA (QA biomedico).

• Prestazioni: CALAMRFLOW ha ottenuto risultati allo stato dell'arte su tutti i benchmark. Ha raggiunto un F1 per le allucinazioni del 94,8% su HALUEVAL e dell'89,2% su MEDHALLU, superando LLM fondamentali come GPT-4o, Qwen2.5 e Llama-3.1.
• QA Biomedico: Su PUBMEDQA, il modello ha superato la baseline umana macro-F1 riportata per un singolo annotatore (75,0% contro 72,2%), sebbene sia rimasto al di sotto dell'accuratezza umana complessiva.
• Analisi delle Interventi: Gli esperimenti di perturbazione hanno rivelato che la rimozione o il ricablaggio degli archi di allineamento ha degradato costantemente le prestazioni (F1 per le allucinazioni), confermando che il modello utilizza la struttura del grafo e non si basa esclusivamente sulla similarità semantica grezza. L'analisi della distanza coseno ha inoltre mostrato che il modello rimodella le distribuzioni di distanza di allineamento attraverso il passaggio di messaggi, distinguendosi dalla semplice soglia degli embedding di input.

Significato e Affermazioni
Il documento sostiene che la topologia di allineamento fornisce un bias induttivo strutturale distinto ed efficace per il rilevamento dell'ancoraggio. Modellando esplicitamente la corrispondenza tra riferimento e risposta come un grafo ponderato dal flusso, il metodo offre un'alternativa verificabile alla critica automatica in scatola nera degli LLM o a metriche puramente lessicali di sovrapposizione. Gli autori affermano che questo approccio è particolarmente rilevante per le applicazioni cliniche e biomediche in cui i contenuti non supportati devono essere tracciati fino a evidenze specifiche. Sebbene il metodo dipenda dalla costruzione a monte di grafi semantici e dalle fasi di allineamento, i risultati suggeriscono che l'apprendimento sulla topologia indotta consente un rilevamento robusto delle allucinazioni attraverso domini diversificati, superando sia le baseline automatiche sia, in metriche specifiche, gli annotatori umani. Il lavoro conclude che la dipendenza del rilevatore dalla struttura del grafo, piuttosto che solo dalle caratteristiche a livello di nodo, è un fattore chiave del suo successo.