Factual and Edit-Sensitive Graph-to-Sequence Generation via Graph-Aware Adaptive Noising

1. Declaração do Problema

O artigo aborda duas limitações críticas nas tarefas atuais de geração Gráfico-para-Sequência (G2S), onde o objetivo é converter dados de gráfico estruturado (por exemplo, Grafos de Conhecimento, grafos moleculares) em texto de linguagem natural:

• Fundamentação Factual: Modelos autoregressivos ajustados (como T5 ou GPT) frequentemente sofrem de alucinações (introdução de fatos não suportados) ou omissões factuais (falta de entidades/relações). Métricas superficiais padrão (BLEU, chrF++) falham em penalizar efetivamente esses erros porque focam na sobreposição de n-gramas em vez da fidelidade estrutural.
• Sensibilidade a Edições: Em cenários dinâmicos onde o gráfico de entrada é editado (por exemplo, adicionar um nó ou alterar uma relação), modelos autoregressivos frequentemente falham em produzir mudanças localizadas no texto. Devido ao seu compromisso de decodificação da esquerda para a direita, pequenas edições de entrada podem causar deslocamentos globais imprevisíveis no texto gerado.

Modelos de difusão não autoregressivos existentes oferecem melhor consistência global, mas tipicamente utilizam cronogramas de ruído uniformes e agnósticos aos dados. Essa corrupção uniforme trata tokens sintáticos e tokens factuais críticos (entidades/relações) de forma idêntica, degradando a capacidade do modelo de preservar a estrutura do gráfico durante o processo de remoção de ruído.

2. Metodologia: DLM4G

Os autores propõem o DLM4G (Diffusion Language Model for Graphs), um framework de difusão não autoregressivo projetado para gerar texto por meio de refinamento iterativo, preservando fatos do gráfico.

Componentes Principais:

1. Alinhamento Gráfico-Sequência:

   • O gráfico de entrada (especificamente Grafos de Conhecimento) é serializado em uma sequência de tokens usando marcadores especiais (por exemplo, [HEAD], [REL], [TAIL], [SEP]).
   • Durante o treinamento, um módulo de alinhamento identifica quais tokens de saída correspondem a entidades e relações específicas do gráfico, criando um conjunto de alinhamento $A$.

2. Ruído Adaptativo Consciente de Gráfico (A Inovação Chave):

   • Em vez de aplicar um cronograma de ruído uniforme a todos os tokens, o DLM4G emprega um cronograma de ruído adaptativo token a token.
   • Mecanismo: O modelo estima o erro de remoção de ruído ($\ell^i_t$) para cada token alinhado $i$ no passo de tempo $t$.
     • Alta Dificuldade: Se um token (tipicamente uma entidade ou relação) for difícil de recuperar (alto erro), o modelo atribui a ele menos ruído (maior relação sinal-ruído) nos passos subsequentes para preservar o sinal factual.
     • Baixa Dificuldade: Tokens mais fáceis (palavras sintáticas/funcionais) seguem o cronograma de base padrão.
   • Processo de Treinamento em Duas Etapas:
     • Etapa 1: Estimar periodicamente perfis de dificuldade de remoção de ruído token a token.
     • Etapa 2: Mapear esses perfis de dificuldade para novos cronogramas de ruído cumulativos ($\bar{\alpha}^i_t$) usando uma função de mapeamento linear, garantindo que tokens mais difíceis retenham mais informações ao longo da trajetória de difusão.

3. Adaptação no Momento da Inferência:

   • Como o conjunto de alinhamento ground-truth $A$ não está disponível na inferência, o DLM4G usa atenção cruzada decodificador-para-gráfico como um proxy.
   • Calcula-se um peso $w^t_i$ representando a massa de atenção de um token gerado para os tokens serializados do gráfico.
   • O cronograma de ruído final é uma mistura linear entre o cronograma de base e um cronograma "âncora" (aprendido a partir de tokens alinhados no treinamento), ponderado por $w^t_i$.

4. Objetivo de Treinamento:

   • O modelo otimiza um Limite Inferior Variacional (VLB) adaptado para G2S, incluindo um termo de consistência (correspondendo ao latente limpo $z_0$) e um termo de arredondamento (mapeando latentes contínuos de volta ao vocabulário discreto).

3. Contribuições Principais

1. Novo Framework: Introdução do DLM4G, um modelo G2S baseado em difusão que integra estrutura de gráfico via um viés indutivo suave (ruído adaptativo) em vez de restrições arquiteturais rígidas.
2. Ruído Adaptativo Consciente de Gráfico: Uma estratégia que modula dinamicamente os níveis de ruído com base na dificuldade do token, protegendo especificamente entidades e relações factuais de corrupção excessiva.
3. Métricas Fundamentadas na Tarefa: A proposta de duas novas métricas de avaliação para abordar lacunas em benchmarks padrão:
   • Métrica de Fundamentação Factual (FGT): Mede a precisão da realização de entidades e penaliza alucinações.
   • Taxa de Sensibilidade a Edições (ESR): Quantifica o quão bem edições localizadas no gráfico são refletidas como mudanças localizadas no texto.
4. Generalização: Demonstração da aplicabilidade do método além de grafos de conhecimento para domínios científicos, especificamente legendagem de moléculas.

4. Resultados Experimentais

O modelo foi avaliado em três conjuntos de dados: WikiOFGraph, GenWiki e TekGEN, além de uma tarefa de legendagem de moléculas.

• Desempenho vs. Bases Autoregressivas:
  • O DLM4G (63M de parâmetros) superou o T5-Large (770M) ajustado e o GPT-2 em métricas superficiais (BLEU, METEOR) e métricas baseadas em embeddings (BERTScore, MAUVE).
  • Alcançou até 12x de eficiência de parâmetros em comparação com o T5-Large, enquanto entregava resultados superiores.
• Desempenho vs. Bases de Difusão:
  • O DLM4G superou consistentemente outros modelos de difusão (DiffuSeq, FlowSeq) treinados em divisões idênticas.
  • Mostrou ganhos significativos na Taxa de Sensibilidade a Edições (ESR) (+23,6% sobre a melhor base de difusão) e na Fundamentação Factual (FGT).
• Comparação Zero-Shot:
  • O DLM4G foi competitivo com LLMs zero-shot (LLaMa-3, GPT-o4-mini) que são 127x maiores, destacando-se particularmente no conjunto de dados TekGEN.
• Estudos de Ablação:
  • Remover o cronograma consciente de gráfico ou aplicá-lo a todos os tokens (não apenas aos alinhados) resultou em quedas de desempenho, confirmando a necessidade de modulação de ruído seletiva e baseada em dificuldade.
  • A função de mapeamento linear para conversão de dificuldade-para-ruído provou-se superior a alternativas polinomiais ou cosseno.
• Legendagem de Moléculas:
  • No conjunto de dados M3-20M, o DLM4G-2.o alcançou novos resultados de Estado da Arte (SOTA), superando modelos especializados como MolT5 e GitMol, sendo significativamente menor (63M vs. 700M+ parâmetros).

5. Significado

Este trabalho representa uma mudança significativa na forma como dados estruturados são verbalizados em texto:

• Confiabilidade: Ao proteger explicitamente tokens factuais durante o processo de difusão, o DLM4G mitiga os problemas de alucinação comuns em modelos autoregressivos, tornando-o mais adequado para aplicações de alto risco, como relatórios científicos ou QA.
• Editabilidade: A capacidade inerente do modelo de realizar atualizações localizadas torna-o ideal para sistemas interativos onde os grafos de conhecimento evoluem ao longo do tempo.
• Eficiência: Demonstra que modelos de difusão especializados e menores podem superar LLMs massivos e de propósito geral em tarefas de geração estruturada, oferecendo um caminho computacionalmente mais eficiente para a geração de texto factual.
• Aplicabilidade Científica: A extensão bem-sucedida para legendagem de moléculas sugere que o framework é robusto o suficiente para domínios científicos complexos onde a precisão estrutural é primordial.

Em resumo, o DLM4G preenche a lacuna entre a flexibilidade dos modelos de difusão e a rigidez estrutural exigida para tarefas de gráfico-para-texto, oferecendo um novo paradigma para gerar texto fiel, editável e factualmente fundamentado a partir de dados estruturados.