RWGBench: Evaluating Scholarly Positioning in Related Work Generation

Resumo Técnico: RWGBench

Definição do Problema
O artigo aborda uma lacuna crítica na avaliação da Geração Automática de Trabalhos Relacionados (RWG - Automated Related Work Generation). Embora os Grandes Modelos de Linguagem (LLMs) demonstrem forte fluência na escrita científica, as métricas de avaliação existentes baseiam-se amplamente em abordagens orientadas à sumarização (ex: sobreposição lexical, similaridade semântica com o texto de referência). Os autores argumentam que a RWG é fundamentalmente distinta da sumarização genérica; trata-se de uma tarefa de posicionamento acadêmico. Esta tarefa exige não apenas a síntese de texto, mas uma tomada de decisão complexa ao nível da citação: selecionar trabalhos anteriores relevantes, organizá-los para destacar lacunas e enquadrar a contribuição do artigo alvo em relação à pesquisa existente. As métricas atuais falham em detectar falhas academicamente críticas, como seleção inapropriada de citações, referências mal posicionadas ou a omissão de trabalhos anteriores centrais, mesmo quando o texto gerado parece fluente e coerente.

Metodologia
Para enfrentar essas limitações, os autores introduzem o RWGBench, um benchmark projetado para avaliar a RWG através da lente da tomada de decisão de citação, em vez da similaridade textual superficial.

• Construção do Dataset:

  • Fonte: O benchmark é construído a partir de 40.108 artigos de ciência da computação publicados no arXiv entre 2020 e 2025.
  • Corpus de Recuperação: Um corpus de larga escala com 1,09 milhão de documentos foi construído alinhando as citações dos artigos de origem com o corpus SurGE e suplementando entradas ausentes via API do arXiv.
  • Conjunto de Teste: Um conjunto de teste de alta fidelidade com 100 artigos foi curado. Estes artigos apresentam seções de trabalhos relacionados escritas profissionalmente e possuem uma taxa de cobertura de citação de 97,7% dentro do corpus de recuperação, garantindo restrições de avaliação realistas.

• Estrutura de Avaliação:
  Em vez de depender apenas de ROUGE ou BERTScore, os autores propõem um framework multidimensional que avalia quatro aspectos fundamentais do posicionamento acadêmico:

  1. Apropriação da Citação:
     • Precisão/Recall: Mede o alinhamento entre os conjuntos de citações gerados e o padrão-ouro (gold-standard).
     • Consistência de Alegação-Suporte (CSC): Utiliza Inferência de Linguagem Natural (NLI) para verificar se o resumo do artigo citado suporta a alegação específica na frase gerada.
     • Relevância Tópica (TRT): Mede a similaridade semântica entre o artigo alvo e os artigos citados ao nível do documento.
  2. Organização da Citação:
     • Densidade de Citação (CD): Avalia a taxa de citações por frase para detectar excesso ou falta de citações.
     • Equilíbrio de Distribuição de Citação (CDB): Mede a proporção de citações únicas para avaliar a diversidade versus a dependência repetitiva de um pequeno conjunto de artigos.
  3. Coerência Estrutural:
     • Similaridade de Estrutura de Posicionamento (PSS): Compara a distribuição de papéis de discurso (Contextualização, Lacuna, Posicionamento) no texto gerado contra referências humanas usando a divergência de Jensen–Shannon.
  4. Qualidade do Texto:
     • Inclui métricas padrão (ROUGE-L, BERTScore) e uma pontuação de "LLM-como-Juiz", embora os autores notem que estas são suplementares às métricas centradas em citação.

• Configuração Experimental:
  O estudo avalia quatro paradigmas de geração (RAG, ALCE, TAG, Workflow) através de três LLMs de fronteira (DeepSeek-V3, Llama-3-8B, Qwen-2.5-7B) utilizando métodos de recuperação esparsa (BM25) e densa. Uma configuração "Oráculo" também é empregada, onde os modelos recebem as citações do padrão-ouro para isolar falhas de geração de erros de recuperação.

Resultados Principais
Experimentos no RWGBench revelam limitações sistemáticas nos sistemas atuais de RWG que são obscurecidas pelas avaliações padrão:

1. Gargalos de Recuperação vs. Geração: Embora a recuperação densa melhore a similaridade semântica, ela produz ganhos marginais na precisão das citações. Experimentos de Oráculo mostram que, mesmo com citações perfeitas, os modelos têm dificuldade com o posicionamento e o enquadramento, mas o principal gargalo permanece sendo a recuperação.
2. Desacoplamento de Fluência e Precisão: Os modelos podem gerar textos fluentes e com alta pontuação (segundo o LLM-como-Juiz ou ROUGE) enquanto falham em identificar citações necessárias ou selecionam citações irrelevantes. Métricas de nível superficial falham em detectar esses erros de raciocínio acadêmico.
3. Desvios Organizacionais Sistemáticos: As seções geradas exibem maior densidade de citação e menor equilíbrio de distribuição em comparação com as seções escritas por humanos, indicando uma tendência para ênfase repetitiva e agrupamento de citações.
4. Lacuna de Justificação Contextual: Mesmo quando selecionam os artigos corretos, os modelos têm dificuldade em integrá-los em uma argumentação coerente (posicionamento e enquadramento retórico). Essa lacuna persiste mesmo nas configurações de Oráculo.
5. Alinhamento de Métricas: A avaliação humana confirma que as métricas específicas de citação (CSC, TRT, Recall) alinham-se significativamente melhor com o julgamento de especialistas (60–69% de acurácia pareada) do que métricas de nível superficial como BERTScore (44,4%) ou pontuações de LLM-como-Juiz (35,8%), que frequentemente favorecem saídas fluentes, porém deficientes em citações.

Significância e Contribuições
O artigo reivindica quatro contribuições primárias:

1. Reformulação: Reenquadra a RWG como uma tarefa de posicionamento acadêmico centrada na tomada de decisão de citação, indo além da geração de texto.
2. Benchmark: Fornece o RWGBench, um benchmark realista com alvos curados e um corpus de recuperação massivo para suportar a avaliação de ponta a ponta.
3. Framework: Introduz um framework de avaliação orientado ao comportamento que permite o diagnóstico detalhado de modos de falha na seleção, posicionamento e organização de citações.
4. Insight Empírico: Expõe limitações críticas nos sistemas atuais, demonstrando que a qualidade da recuperação e o raciocínio de citação são desafios distintos que as métricas padrão não conseguem capturar.

Os autores concluem que o RWGBench oferece um campo de testes necessário para o desenvolvimento de sistemas de RWG que se alinhem com as práticas reais de escrita acadêmica, enfatizando que o benchmarking rigoroso é essencial para compreender onde a assistência de LLMs é apropriada e onde ela falha em tarefas acadêmicas consequentes.