Text Summarization With Graph Attention Networks

Resumo Técnico: Sumarização de Texto com Redes de Atenção em Grafos

1. Problema e Motivação

A sumarização automática de texto, embora estudada há décadas, ainda enfrenta desafios para atingir o desempenho humano, especialmente em tarefas que exigem gerenciamento de dependências de longo prazo e raciocínio sobre a importância das frases.

• Limitações Atuais: Modelos baseados em Transformers (como BERT e BART) são poderosos, mas podem ter dificuldade em capturar relações estruturais complexas e de longo alcance dentro de documentos extensos.
• Oportunidade: A teoria sugere que a incorporação de informações gráficas (como Teoria da Estrutura Retórica - RST e Grafos de Co-referência - Coref) pode melhorar a consistência factual e o desempenho.
• Lacuna: Existe uma escassez de conjuntos de dados anotados com grafos para sumarização de texto, e a eficácia de arquiteturas complexas de Grafos (como GATs) em comparação com métodos mais simples ainda não estava totalmente esclarecida neste domínio.

2. Metodologia

Os autores propuseram um modelo híbrido de duas etapas (extração e abstração) e investigaram diferentes formas de integrar informações de grafos.

• Arquitetura Geral:

  • Codificador (Extração): Classifica Unidades Discursivas Elementares (EDUs) como importantes ou triviais. Utiliza modelos de linguagem pré-treinados (BERT ou Longformer) para gerar representações de tokens, que são agregadas em vetores de representação de EDU.
  • Decodificador (Abstração): Um modelo Seq2Seq (BART) que gera o resumo final a partir das EDUs selecionadas pelo codificador.

• Integração de Grafos (O Foco Principal):

  • Dados de Entrada: O modelo utiliza grafos de RST (relações retóricas entre EDUs) e Coref (co-referências).
  • Abordagem 1 (GAT - Graph Attention Networks): Tentativa inicial de usar Redes de Atenção em Grafos para incorporar a estrutura do grafo nas representações das EDUs.
  • Abordagem 2 (MLP - Perceptron Multicamadas): Substituição do GAT por uma rede MLP simples. A informação do grafo é convertida em vetores one-hot (indicando tipos de arestas RST e porcentagem de arestas de co-referência) e injetada nas camadas finais do codificador antes da classificação.
  • Otimização:
    • Uso de Dropout e ajuste de pesos para classes positivas (devido ao desbalanceamento de dados, onde ~90% das EDUs são triviais).
    • Troca da função de perda de Binary Cross Entropy para Mean Squared Error (MSE), melhorando o F1 de seleção.
    • Uso de Learning Rate Scheduler e Distributed Data Parallel (DDP) para treinamento eficiente.

• Novo Conjunto de Dados:

  • Os autores anotaram manualmente o conjunto de dados XSum com informações de grafos RST, criando um novo benchmark para futuras pesquisas, já que o XSum original não possui essas anotações.

3. Contribuições Principais

1. Análise de Arquiteturas de Grafos: Demonstração empírica de que, para esta tarefa específica, uma arquitetura simples de MLP para incorporar informações de grafos superou a arquitetura complexa de GAT (Graph Attention Networks).
2. Novo Dataset Anotado: Disponibilização da versão anotada do dataset XSum com grafos RST e de co-referência, preenchendo uma lacuna significativa na literatura.
3. Modelo Híbrido de Alta Performance: Desenvolvimento de um modelo que combina extração baseada em grafos com abstração via BART, alcançando resultados superiores ao estado da arte (SOTA) no dataset CNN/DM.
4. Análise de Limitações: Identificação de que a abordagem de extração baseada em "rótulos ótimos" (oracle labels) e seleção gananciosa pode não ser universalmente eficaz, especialmente em datasets altamente abstrativos como o XSum.

4. Resultados

Os experimentos foram conduzidos nos datasets CNN/DM e XSum.

• Desempenho no CNN/DM:

  • O modelo com MLP (Longformer + MLP para RST & Coref) alcançou o melhor desempenho, superando modelos baseados em GAT e modelos sem grafos.
  • Métricas (ROUGE-1, ROUGE-2, ROUGE-L): O modelo proposto atingiu 43.73 / 20.91 / 40.72, superando modelos base line como DiscoBERT, BERTSUMEXTABS e BART-base.
  • A incorporação de grafos via MLP melhorou consistentemente o F1 de seleção de EDUs em comparação com a versão sem grafos.

• Desempenho no XSum:

  • O ganho foi mais modesto e, em alguns casos, o uso de GAT piorou os resultados em comparação com a versão sem grafos.
  • O modelo com MLP para RST obteve os melhores resultados entre as variações testadas (R-1: 36.82), mas ainda ficou abaixo de modelos abstrativos puros como o BART-large.
  • Análise Crítica: A discrepância entre os resultados no CNN/DM (mais extrativo) e no XSum (altamente abstrativo) sugere que a eficácia da extração baseada em grafos depende fortemente da natureza do dataset.

• Comparação GAT vs. MLP:

  • O GAT não conseguiu melhorar o desempenho final, apesar de ajustes extensivos de hiperparâmetros.
  • O MLP, que processa informações estruturais simples (vetores one-hot de arestas), provou ser mais eficiente e computacionalmente leve, sugerindo que a complexidade do GAT pode não ser necessária para capturar essas relações específicas neste contexto.

5. Significado e Direções Futuras

• Implicação Teórica: O trabalho desafia a suposição de que arquiteturas de grafos complexas (GNNs/GATs) são sempre superiores para sumarização. Ele sugere que, para certos tipos de informações estruturais, métodos mais simples (MLP) podem ser mais eficazes e robustos.
• Reprodutibilidade: O código e os dados anotados estão disponíveis publicamente, facilitando a replicação e o avanço da pesquisa.
• Futuro:
  • Desenvolvimento de modelos end-to-end que unam extração e sumarização em um único módulo (inspirado no SimpleTOD).
  • Uso de métricas semânticas (como BERTScore) em vez de apenas ROUGE.
  • Criação de grafos para datasets mais longos e complexos para melhorar a representação de documentos extensos.

Em resumo, o estudo valida a utilidade da informação gráfica para sumarização, mas redefine a melhor maneira de integrá-la, favorecendo a simplicidade (MLP) sobre a complexidade (GAT) em cenários de extração de texto, ao mesmo tempo que fornece recursos valiosos (dataset XSum anotado) para a comunidade.