Resumo Técnico: OARelatedWork

Definição do Problema

A geração de seções de "Trabalhos Relacionados" é um desafio crítico, porém subatendido, no Processamento de Linguagem Natural (PLN). Embora a geração de trabalhos relacionados estenda o resumo multi-documento, ela exige de forma única não apenas o resumo de artigos referenciados, mas também o posicionamento de um trabalho alvo dentro da pesquisa anterior por meio de discurso comparativo. As abordagens existentes enfrentam três limitações primárias:

1. Restrições de Entrada: A maioria dos conjuntos de dados e modelos baseia-se exclusivamente em resumos (abstracts) de artigos devido à dificuldade técnica de processar entradas de texto completo longas. Isso restringe a capacidade do modelo de sintetizar insights profundos e fundamentados em evidências.
2. Granularidade de Saída: Os benchmarks anteriores frequentemente limitam a geração a parágrafos únicos, falhando em avaliar a capacidade de um modelo de produzir capítulos de trabalhos relacionados bem estruturados e de múltiplas seções.
3. Inadequação de Avaliação: Métricas padrão baseadas em referência (ex: ROUGE, BERTScore) são insuficientes para geração de longo formato e estruturada. Elas têm dificuldade em avaliar a fidelidade factual e frequentemente falham em correlacionar-se com o julgamento humano em cenários de contexto longo.

Além disso, o campo carece de um conjunto de dados em larga escala onde cada artigo citado nas divisões de validação e teste esteja disponível em texto completo, impedindo a avaliação controlada de capacidades de síntese de texto completo.

Metodologia

Construção do Conjunto de Dados: OARelatedWork

Os autores introduzem o OARelatedWork, o primeiro conjunto de dados de resumo multi-documento em larga escala projetado para gerar seções inteiras de trabalhos relacionados a partir de fontes de acesso aberto.

• Fonte do Corpus: O conjunto de dados é construído fundindo o corpus CORE (5,4 milhões de documentos em formato XML/TEI) e o corpus do Semantic Scholar (129,2 milhões de documentos, incluindo dados do S2ORC e API).
• Pipeline de Processamento:
  • Vinculação de Bibliografia: Um processo de múltiplos estágios usando o Microsoft Academic Graph (MAG), o grafo de citações do Semantic Scholar e um buscador personalizado para vincular citações a documentos de texto completo. Isso aumentou as entradas bibliográficas identificadas em 0,6% (aprox. 11,6 milhões de links).
  • Filtragem: Os documentos foram filtrados para garantir que as seções de trabalhos relacionados contenham pelo menos três sentenças, citem pelo menos dois documentos e possuam textos completos vinculados para todos os artigos citados nas divisões de validação e teste.
  • Estrutura: Os dados são representados em JSON com uma estrutura de árvore hierárquica (seções, subseções, parágrafos, sentenças) para facilitar usos futuros.
• Estatísticas: O conjunto de dados final contém 94.450 artigos com seções de trabalhos relacionados e 5,8 milhões de artigos citados únicos. Crucialmente, os conjuntos de validação e teste garantem 100% de disponibilidade de texto completo para as referências citadas, um recurso ausente em conjuntos de dados anteriores como S2ORC, Delve e Multi-XSci.

Definição da Tarefa

A tarefa envolve gerar uma seção de trabalhos relacionados $Y$ dado:

1. Uma combinação de tipos de conteúdo de entrada (resumos e/ou textos completos do artigo alvo e dos artigos citados).
2. Um comprimento alvo $L$.
3. Instruções estruturais (se deve usar subseções).

O sistema deve sintetizar informações de múltiplas fontes para produzir uma narrativa coerente e estruturada.

Estrutura de Avaliação

Para abordar a inadequação das métricas tradicionais, os autores propõem uma estrutura de avaliação ao nível de sentença:

• Juízes LLM: Um modelo Gemma 4 31B quantizado (sem raciocínio) é usado como juiz para extrair afirmações factuais do texto gerado e classificá-las em quatro categorias: Verdadeiro, Verdadeiro mas com citação errada, Não verificável e Falso.
• Avaliação Humana: Uma avaliação humana detalhada foi conduzida em 40 artigos (120 seções, 408 sentenças) para validar os juízes LLM e avaliar fidelidade, relevância e qualidade da linguagem.
• Métricas: Além das métricas de fidelidade ao nível de sentença, o estudo reporta pontuações ROUGE, BERTScore e cobertura de citação F1.

Principais Contribuições

1. Conjunto de Dados OARelatedWork: Um recurso de larga escala que permite a transição de apenas resumos para a geração de trabalhos relacionados com texto completo. Ele fornece o primeiro benchmark onde os conjuntos de teste garantem acesso ao texto completo para todas as referências citadas.
2. Análise Empírica da Escrita Humana: Através da avaliação humana, os autores revelam que autores humanos frequentemente introduzem alegações abstrativas que não são fundamentadas em textos de origem localizados (altas taxas de "Não verificável" em avaliações rigorosas).
3. Baselines de LLM vs. Humanos: O estudo demonstra que LLMs avançados (especificamente o GPT-4o-mini) podem superar os baselines humanos em factualidade estrita e fundamentada em evidências quando avaliados contra o contexto fornecido.
4. Meta-Avaliação de Métricas: O artigo prova que as métricas padrão baseadas em referência (ROUGE, BERTScore) são inadequadas para esta tarefa. Ele valida o uso de juízes baseados em LLM para uma avaliação confiável de geração de longo formato e estruturada.

Resultados

Desempenho do Modelo

Os autores testaram um espectro de modelos, incluindo baselines extrativos (LEAD, TextRank), um modelo de resumo multi-documento ajustado (PRIMERA) e LLMs zero-shot (Llama 3.2 3B, GPT-4o-mini).

• Impacto das Entradas de Texto Completo: Fornecer textos completos em vez de resumos desafia significativamente os modelos. Para o GPT-4o-mini, a taxa de "Verdadeiro" fundamentada em evidências caiu de 92,9% (apenas resumos) para 83,8% (textos completos), acompanhada por aumentos nas taxas de "Citação Errada" e "Não Verificável". Isso sugere que sintetizar contextos massivos de texto completo continua sendo um desafio significativo mesmo para LLMs modernos.
• Extrativo vs. Abstrativo: Baselines extrativos alcançaram pontuações de "Verdadeiro" muito altas (95–99%), mas isso é atribuído ao reuso do texto de origem em vez de síntese. Por outro lado, modelos abstrativos mostraram maiores taxas de alucinação ou erros de citação, mas melhor coerência.
• Humano vs. Modelo: Em uma avaliação humana pareada, o GPT-4o-mini dominou amplamente tanto o PRIMERA quanto os autores humanos em Relevância, Linguagem e Ranking Geral. Em Fidelidade, o GPT-4o-mini empatou estatisticamente com o PRIMERA, mas superou os autores humanos em factualidade estrita ao nível de sentença.

Comportamento da Escrita Humana

A análise de 408 sentenças escritas por humanos revelou:

• Alta Não Verificabilidade: Autores humanos apresentaram uma alta taxa de sentenças "Não Verificáveis" (18,5% no conjunto de ouro), muitas vezes devido à integração de informações distribuídas pelo documento em vez de depender de spans de evidência localizados.
• Erros de Citação: Humanos frequentemente introduziram alegações não fundamentadas no texto de origem específico localizado, levando a uma taxa mais alta de classificações como "Verdadeiro mas com citação errada" ou "Não Verificável" sob avaliação estrita.

Validação de Métricas

A meta-avaliação confirmou que métricas baseadas em referência (ROUGE, BERTScore) correlacionam-se mal com o julgamento humano nesta tarefa. Juízes baseados em LLM (especificamente Gemini 3.1 Pro e Gemma 4) mostraram forte correlação com as anotações humanas, validando a estrutura de nível de sentença proposta.

Significância e Alegações

O artigo afirma que o OARelatedWork desloca o campo em direção a um paradigma realista de seção completa, aproveitando contextos abrangentes de texto completo. Sua principal significância reside em:

• Desafiar o Status Quo: Demonstra que ir além dos resumos para a síntese de texto completo é necessário para uma geração realista de trabalhos relacionados, apesar do aumento na dificuldade.
• Reavaliar Baselines Humanos: Desafia a suposição de que a escrita humana é o padrão ouro para a fidelidade factual neste contexto, mostrando que os LLMs podem ser mais estritamente fundamentados na evidência fornecida.
• Padrões de Avaliação: Estabelece que as métricas padrão são insuficientes para saídas estruturadas de longo formato e introduz uma estrutura de avaliação robusta ao nível de sentença como o novo padrão para este domínio.

Os autores concluem que, embora os modelos atuais lutem com o volume massivo de contexto de texto completo, a combinação de dados estruturados, anotações factuais detalhadas e estruturas de avaliação especializadas fornece uma base necessária para pesquisas futuras em escrita científica automatizada.