Resumo Técnico: Re3: Um Framework Holístico e um Conjunto de Dados para Modelagem de Revisão Colaborativa de Documentos

Declaração do Problema

A revisão e a revisão colaborativa de documentos textuais são centrais para o trabalho de conhecimento, envolvendo ciclos iterativos de redação, feedback (revisões), execução de revisões e respostas dos autores. Apesar do potencial do Processamento de Linguagem Natural (PLN) para auxiliar neste domínio, falta um framework holístico capaz de modelar as complexas relações entre revisões, revisões de texto (edições) e respostas dos autores.

Pesquisas anteriores de PLN concentraram-se amplamente em componentes isolados: relações entre documentos originais e revisados, revisões e documentos originais, ou revisões e respostas. Os conjuntos de dados existentes frequentemente negligenciam o contexto mais amplo do documento, focando em edições ao nível de sentença, ou falham em capturar a intenção subjacente das revisões. Além disso, há uma lacuna em metodologias e conjuntos de dados para modelagem de "escopo total", que abrange edições em vários níveis de granularidade (desde subsentenças até seções) e inclui rótulos qualitativos tanto para a ação (como) quanto para a intenção (por que) da revisão. Esta limitação dificulta o desenvolvimento de aplicações de PLN que possam automatizar efetivamente a análise de edição ou facilitar a colaboração baseada em texto.

Metodologia

O Framework Re3

Os autores introduzem o Re3, um framework holístico que conceitualiza o procedimento de revisão-revisão-resposta como um conjunto de interações entre quatro tipos de documentos: o documento original ($D_t$), o documento revisado ($D_{t+1}$), a revisão ($C$) e a resposta do autor ($A$).

• Representação em Grafo: Os documentos são representados como grafos que preservam estrutura e granularidade. Elementos textuais variam de subsentenças a seções. Relações entre documentos (ex: um pedido de revisão motivando uma edição específica) são tratadas como arestas entre esses grafos de documentos.
• Alinhamento de Edição: O framework vincula elementos das versões nova e antiga ($e_{ij}$), associando cada alinhamento a um Rótulo de Edição ($EL_{ij}$) composto por três dimensões:
  1. Granularidade: O escopo do elemento de texto (subsentência, sentença, parágrafo, seção).
  2. Ação: O método de revisão (Adicionar, Deletar, Modificar, Mesclar, Dividir, Fusão).
  3. Intenção: O propósito subjacente (Gramática, Clareza, Fato/Evidência, Alegação, Outros).

Construção do Conjunto de Dados: Re3-Sci

Para instanciar este framework, os autores criaram o Re3-Sci, um corpus de larga escala, anotado por humanos, no domínio acadêmico.

• Fonte de Dados: 314 pares de documentos (artigos científicos revisados) e suas respectivas revisões por pares foram selecionados aleatoriamente dos datasets F1000RD e NLPeer.
• Processo de Anotação:
  • Pré-alinhamento: Um algoritmo leve usando forma e similaridade semântica (Levenshtein, correspondência difusa, SBERT) pré-identifica candidatos de alinhamento de sentença, alcançando 0,95 de precisão antes da validação humana.
  • Ambiente: Um ambiente de anotação cross-document foi construído usando o INCEpTION para permitir que os anotadores visualizassem o contexto total do documento, crucial para a rotulagem precisa de intenção.
  • Anotadores: Seis estudantes de mestrado com proficiência em inglês nível C1 realizaram a anotação.
  • Controle de Qualidade: Um processo de gestão de qualidade iterativo envolvendo treinamento, estudos piloto e reuniões intermediárias melhorou a Concordância entre Anotadores (IAA).
• Estatísticas: O conjunto de dados contém 11.648 edições ao nível de sentença, 5.064 edições ao nível de parágrafo e 2.008 edições ao nível de seção. Também inclui 560 pedidos de revisão extraídos e 1.364 vínculos entre revisões e resumos de respostas de autores.
• Confiabilidade: O conjunto de dados alcançou um IAA substancial de 0,78 (Krippendorff's $\alpha$) para rotulagem e um IAA perfeito de 1,0 para alinhamento.

Avaliação Experimental

Os autores utilizaram o Re3-Sci para avaliar as capacidades de modelos de linguagem de grande escala (LLMs) de última geração, especificamente o Llama2-70B e o GPT-4, em quatro tarefas:

1. Classificação de Intenção de Edição: Predizer o rótulo de intenção para uma edição de sentença.
2. Sumarização de Edição de Documento: Gerar um resumo coerente de todas as edições em um documento.
3. Alinhamento de Revisão: Determinar se duas sentenças de versões diferentes constituem um par de revisão.
4. Extração de Pedido de Revisão: Identificar sentenças de revisão que motivam revisões.

Os experimentos empregaram Aprendizado em Contexto (ICL) com vários métodos de seleção de demonstração (dinâmico vs. estático) e estratégias de prompting de Cadeia de Pensamento (CoT).

Principais Resultados

Insights da Análise do Conjunto de Dados

A análise do Re3-Sci revelou vários padrões na revisão colaborativa humana:

• Correlação Ação/Intenção: Adições e deleções são primariamente impulsionadas por mudanças de conteúdo factual ou alegações, enquanto modificações são predominantemente usadas para melhorias de gramática e clareza.
• Distribuição: As revisões concentram-se nas partes iniciais e finais dos artigos. O início apresenta mais modificações, enquanto o fim apresenta mais adições/deleções.
• Agrupamento: As edições não são distribuídas uniformemente; elas se agrupam significativamente dentro de parágrafos específicos (Fator de Crest médio de 3,79).
• Impacto da Revisão: Sugestões de edição explícitas dos revisores são implementadas com mais frequência (mais de 50%) do que sugestões implícitas ou comentários de fraquezas gerais.

Desempenho dos LLMs

• Classificação de Intenção de Edição: O Llama2-70B alcançou um F1-score macro-médio de 0,69 no conjunto de teste completo. O melhor desempenho foi alcançado usando uma combinação de demonstrações dinâmicas (selecionadas via similaridade baseada em diferença) e exemplos estáticos com racional de CoT. O modelo teve dificuldade em distinguir entre mudanças de "Fato/Evidência" e "Alegação".
• Alinhamento de Revisão: O Llama2-70B alcançou 0,97 de precisão, melhorando significativamente o recall do algoritmo de pré-alinhamento para alinhamento (0,92 vs. 0,99) e a precisão para não-alinhamento (0,89 vs. 0,99).
• Sumarização de Edição de Documento: O GPT-4 gerou resumos coerentes, mas exibiu problemas de factualidade (4% das sentenças continham erros fatuais) e compreensividade (falhando em abordar 21% das edições). Humanos superaram o GPT-4 em factualidade e especificidade, enquanto o GPT-4 produziu resumos ligeiramente mais compactos.
• Extração de Pedido de Revisão: O modelo alcançou alto recall (0,98) para amostras positivas, mas precisão mais baixa (0,74), indicando dificuldade em distinguir pedidos acionáveis de comentários gerais.

Significância e Contribuições

O artigo reivindica quatro contribuições primárias:

1. Um Framework Holístico: O Re3 fornece o primeiro framework formal para modelar conjuntamente revisões, revisões de texto e respostas, completo com uma taxonomia de rótulos e uma metodologia de anotação robusta.
2. Um Conjunto de Dados de Alta Qualidade: O Re3-Sci é o primeiro corpus de larga escala com anotações de escopo total de alinhamentos de edição, ações e intenções em vários níveis de granularidade na escrita acadêmica.
3. Insights Empíricos: O estudo fornece a primeira análise de larga escala do comportamento de edição humana na revisão por pares acadêmica, revelando relações entre ações de edição, intenções e estrutura de documento.
4. Baselines de Automação: O trabalho estabelece baselines para quatro tarefas de PLN, demonstrando que, embora os LLMs mostrem promessa (particularmente em alinhamento e sumarização), desafios significativos permanecem na compreensão de intenções de edição complexas e na garantia de precisão factual em resumos gerados.

Os autores concluem que seu trabalho pavimenta o caminho para o estudo sistemático e de escopo total da colaboração baseada em texto em PLN, oferecendo uma fundação para pesquisas futuras em assistência de revisão automatizada, geração de edição e o ancoramento de edições a pedidos de revisão. Eles explicitamente observam limitações, incluindo o foco em publicações científicas em língua inglesa e o uso de resumos gerados por humanos em vez de respostas de autores devido à disponibilidade de dados.