Factual and Edit-Sensitive Graph-to-Sequence Generation via Graph-Aware Adaptive Noising

1. Enunciato del Problema

Il paper affronta due limitazioni critiche nelle attuali attività di generazione da Grafo a Sequenza (G2S), dove l'obiettivo è convertire dati grafici strutturati (ad esempio, Grafi di Conoscenza, grafi molecolari) in testo in linguaggio naturale:

• Fondazione Fattuale: I modelli autoregressivi fine-tunati (come T5 o GPT) soffrono spesso di allucinazioni (introduzione di fatti non supportati) o omissioni fattuali (mancanza di entità/relazioni). Le metriche standard a livello superficiale (BLEU, chrF++) non riescono a penalizzare efficacemente questi errori perché si concentrano sulla sovrapposizione di n-grammi piuttosto che sulla fedeltà strutturale.
• Sensibilità alle Modifiche: In contesti dinamici in cui il grafo di input viene modificato (ad esempio, aggiungendo un nodo o cambiando una relazione), i modelli autoregressivi spesso non riescono a produrre cambiamenti localizzati nel testo. A causa del loro impegno di decodifica da sinistra a destra, piccole modifiche all'input possono causare spostamenti globali imprevedibili nel testo generato.

I modelli di diffusione non autoregressivi esistenti offrono una migliore coerenza globale ma utilizzano tipicamente programmi di rumore uniformi e agnostici rispetto ai dati. Questa corruzione uniforme tratta i token sintattici e i token fattuali critici (entità/relazioni) in modo identico, degradando la capacità del modello di preservare la struttura del grafo durante il processo di denoising.

2. Metodologia: DLM4G

Gli autori propongono DLM4G (Diffusion Language Model for Graphs), un framework di diffusione non autoregressivo progettato per generare testo attraverso affinamento iterativo preservando i fatti del grafo.

Componenti Principali:

1. Allineamento Grafo-Sequenza:

   • Il grafo di input (specificamente i Grafi di Conoscenza) viene serializzato in una sequenza di token utilizzando marcatori speciali (ad esempio, [HEAD], [REL], [TAIL], [SEP]).
   • Durante l'addestramento, un modulo di allineamento identifica quali token di output corrispondono a specifiche entità e relazioni del grafo, creando un insieme di allineamento $A$.

2. Rumore Adattivo Consapevole del Grafo (L'Innovazione Chiave):

   • Invece di applicare un programma di rumore uniforme a tutti i token, DLM4G impiega un programma di rumore adattivo token per token.
   • Meccanismo: Il modello stima l'errore di denoising ($\ell^i_t$) per ogni token allineato $i$ al passo temporale $t$.
     • Alta Difficoltà: Se un token (tipicamente un'entità o una relazione) è difficile da recuperare (alto errore), il modello gli assegna meno rumore (più alto rapporto segnale-rumore) nei passaggi successivi per preservare il segnale fattuale.
     • Bassa Difficoltà: I token più semplici (parole funzionali/sintattiche) seguono il programma di base standard.
   • Processo di Addestramento in Due Fasi:
     • Fase 1: Stima periodica dei profili di difficoltà di denoising token per token.
     • Fase 2: Mappatura di questi profili di difficoltà su nuovi programmi di rumore cumulativi ($\bar{\alpha}^i_t$) utilizzando una funzione di mappatura lineare, garantendo che i token più difficili conservino più informazioni lungo tutta la traiettoria di diffusione.

3. Adattamento al Momento dell'Inferenza:

   • Poiché l'insieme di allineamento ground-truth $A$ non è disponibile durante l'inferenza, DLM4G utilizza l'attenzione incrociata da decoder a grafo come proxy.
   • Calcola un peso $w^t_i$ che rappresenta la massa di attenzione da un token generato ai token del grafo serializzato.
   • Il programma di rumore finale è una miscela lineare tra il programma di base e un programma "ancora" (appreso dai token allineati durante l'addestramento), pesato da $w^t_i$.

4. Obiettivo di Addestramento:

   • Il modello ottimizza un Limite Inferiore Variazionale (VLB) adattato per G2S, includendo un termine di coerenza (corrispondenza con il latente pulito $z_0$) e un termine di arrotondamento (mappatura dei latenti continui di nuovo al vocabolario discreto).

3. Contributi Chiave

1. Nuovo Framework: Introduzione di DLM4G, un modello G2S basato su diffusione che integra la struttura del grafo tramite un pregiudizio induttivo morbido (rumore adattivo) piuttosto che vincoli architetturali rigidi.
2. Rumore Adattivo Consapevole del Grafo: Una strategia che modula dinamicamente i livelli di rumore in base alla difficoltà del token, proteggendo specificamente entità e relazioni fattuali da una corruzione eccessiva.
3. Metriche Basate sul Compito: La proposta di due nuove metriche di valutazione per colmare le lacune nei benchmark standard:
   • Metrica di Fondazione Fattuale (FGT): Misura la precisione della realizzazione delle entità e penalizza le allucinazioni.
   • Tasso di Sensibilità alle Modifiche (ESR): Quantifica quanto bene le modifiche localizzate del grafo si riflettano come cambiamenti localizzati nel testo.
4. Generalizzazione: Dimostrazione dell'applicabilità del metodo oltre i grafi di conoscenza fino a domini scientifici, specificamente la descrizione di molecole.

4. Risultati Sperimentali

Il modello è stato valutato su tre dataset: WikiOFGraph, GenWiki e TekGEN, più un compito di descrizione di molecole.

• Prestazioni vs Baseline Autoregressive:
  • DLM4G (63M parametri) ha superato i modelli T5-Large (770M) e GPT-2 fine-tunati su metriche superficiali (BLEU, METEOR) e metriche basate su embedding (BERTScore, MAUVE).
  • Ha raggiunto fino a 12 volte di efficienza parametrica rispetto a T5-Large fornendo risultati superiori.
• Prestazioni vs Baseline di Diffusione:
  • DLM4G ha costantemente superato altri modelli di diffusione (DiffuSeq, FlowSeq) addestrati su split identici.
  • Ha mostrato guadagni significativi nel Tasso di Sensibilità alle Modifiche (ESR) (+23,6% rispetto alla migliore baseline di diffusione) e nella Fondazione Fattuale (FGT).
• Confronto Zero-Shot:
  • DLM4G è stato competitivo con LLM zero-shot (LLaMa-3, GPT-o4-mini) che sono 127 volte più grandi, eccellendo in particolare nel dataset TekGEN.
• Studi di Ablazione:
  • Rimuovere il programma consapevole del grafo o applicarlo a tutti i token (non solo a quelli allineati) ha portato a cali di prestazioni, confermando la necessità di una modulazione del rumore selettiva e basata sulla difficoltà.
  • La funzione di mappatura lineare per la conversione difficoltà-rumore si è dimostrata superiore alle alternative polinomiali o cosinusoidali.
• Descrizione di Molecole:
  • Sul dataset M3-20M, DLM4G-2.o ha raggiunto nuovi risultati all'avanguardia (SOTA), superando modelli specializzati come MolT5 e GitMol pur essendo significativamente più piccolo (63M vs 700M+ parametri).

5. Significato

Questo lavoro rappresenta un cambiamento significativo nel modo in cui i dati strutturati vengono verbalizzati in testo:

• Affidabilità: Proteggendo esplicitamente i token fattuali durante il processo di diffusione, DLM4G mitiga i problemi di allucinazione comuni nei modelli autoregressivi, rendendolo più adatto ad applicazioni ad alto rischio come la reportistica scientifica o la QA.
• Modificabilità: La capacità intrinseca del modello di eseguire aggiornamenti localizzati lo rende ideale per sistemi interattivi in cui i grafi di conoscenza evolvono nel tempo.
• Efficienza: Dimostra che modelli di diffusione specializzati e più piccoli possono superare i massicci LLM generici in compiti di generazione strutturata, offrendo un percorso più efficiente dal punto di vista computazionale per la generazione di testo fattuale.
• Applicabilità Scientifica: L'estensione riuscita alla descrizione di molecole suggerisce che il framework è abbastanza robusto per domini scientifici complessi dove l'accuratezza strutturale è fondamentale.

In sintesi, DLM4G colma il divario tra la flessibilità dei modelli di diffusione e la rigidità strutturale richiesta per i compiti da grafo a testo, offrendo un nuovo paradigma per generare testo fedele, modificabile e fondato fattualmente a partire da dati strutturati.