Resumo Técnico: Avaliação de Preferência de Especialistas para Geração Automatizada de Trabalhos Relacionados

Declaração do Problema

A escrita científica, particularmente a geração de seções de "Trabalhos Relacionados" (RW - Related Work), exige um vasto conhecimento de domínio e a capacidade de raciocinar sobre informações inéditas em relação à literatura existente. Embora os Grandes Modelos de Linguagem (LLMs) mostrem promessa neste domínio, avaliar a qualidade do texto científico gerado automaticamente continua sendo uma questão aberta crítica. Métricas automáticas convencionais (ex: ROUGE, BERTScore) e sistemas padrão de "LLM-como-juiz" são insuficientes porque carecem de critérios específicos de domínio, falham em capturar preferências de especialistas e frequentemente sofrem de vieses de pré-treinamento e falta de transparência. Estruturas de avaliação existentes não distinguem adequadamente gerações válidas que diferem em léxicos superficiais ou identificam gerações incorretas que compartilham traços léxicos semelhantes com as corretas. Além disso, os conjuntos de dados atuais de geração de RW dependem de contextos limitados (ex: títulos e resumos), falhando em fornecer a profundidade necessária para revisões de literatura abrangentes.

Metodologia

Para abordar essas lacunas, os autores propõem o GREP (Granular Related-work Evaluation based on Preferences), uma estrutura de avaliação de múltiplos turnos projetada para simular a escrita colaborativa entre humano e IA de forma realista.

1. Construção do Conjunto de Dados

Os autores construíram um novo conjunto de dados de geração de RW compreendendo 50 artigos principais de conferências de alto nível em NLP e Visão Computacional, com uma média de 13,5 artigos citados cada um (totalizando 725 artigos). Diferente de conjuntos de dados anteriores que utilizavam apenas títulos e resumos, este conjunto inclui as seções de Introdução dos artigos citados para fornecer a rica informação contextual necessária para compreender as relações entre os trabalhos. Os dados foram curados manualmente para garantir qualidade e completude.

2. Critérios de Avaliação

O GREP decompõe a avaliação em Restrições Rígidas (requisitos essenciais para uma seção de RW válida) e Restrições Flexíveis (que refletem as preferências de especialistas entre múltiplos rascunhos válidos):

• Restrições Rígidas:

  • Verificação de Citação: Mede a "Razão de Ausência" (artigos fornecidos não citados) e a "Razão de Alucinação" (citações que não estão na lista fornecida).
  • Fidelidade (Faithfulness): Avalia o alinhamento factual entre as sentenças de citação e os artigos de origem usando Inferência de Linguagem Natural (NLI). Uma citação é fiel apenas se todas as afirmações forem totalmente suportadas pela fonte.
  • Existência de Posicionamento: Verifica a presença de afirmações que diferenciam as contribuições do artigo principal em relação ao trabalho anterior.

• Restrições Flexíveis:

  • Extensão: Garante que a contagem de tokens esteja dentro de uma razão de tolerância em relação a um padrão de referência (gold standard).
  • Ênfase de Citação: Mede a alocação de conteúdo para citações específicas em comparação com um padrão de referência.
  • Tipo e Razão de Posicionamento: Avalia se as contribuições são destacadas em cada parágrafo ou resumidas no parágrafo final, e a proporção de parágrafos que satisfazem o tipo de expressão esperado.

3. A Estrutura GREP

O GREP opera como um loop iterativo (Figura 1 no artigo):

1. Geração: Um LLM (o gerador) produz um rascunho baseado nos detalhes do artigo principal e em uma lista de artigos citados.
2. Avaliação: Módulos dedicados avaliam o rascunho contra as restrições rígidas e flexíveis.
   • Fidelidade e Posicionamento são avaliados usando LLMs. Para mitigar as limitações dos juízes de LLM padrão, o GREP emprega Julgamento Localizado (avaliando contextos específicos em vez de pontuações holísticas) e Exemplos Contrastivos Manipulados (exemplos de poucos disparos (few-shot) mostrando raciocínios corretos e incorretos para guiar o juiz).
   • As restrições rígidas (como citações ausentes) são verificadas deterministicamente.
3. Geração de Feedback: O relatório de avaliação é convertido em feedback de linguagem natural.
4. Refinamento: O gerador utiliza este feedback para produzir um rascunho revisado na próxima iteração.

A estrutura oferece duas variantes: PreciseGREP (usando modelos proprietários como GPT-4o e o3-mini para maior precisão) e OpenGREP (usando modelos de pesos abertos como Gemma 3 e Llama 3.3 para eficiência de custo).

Principais Contribuições

1. Novo Conjunto de Dados: Um conjunto de dados de geração de RW de alta qualidade, enriquecido com seções de Introdução dos artigos citados, abordando as limitações de contexto de conjuntos de dados anteriores.
2. Rubrica de Avaliação Granular: Um conjunto abrangente de restrições rígidas e flexíveis que capturam tanto a validade quanto as preferências estilísticas de especialistas.
3. Estrutura GREP: Um sistema de avaliação de múltiplos turnos que integra verificações determinísticas com julgamento de LLM localizado e aumentado por exemplos contrastivos. Ele unifica critérios verificáveis com critérios que exigem compreensão profunda de linguagem natural.
4. Validação por Especialistas: Um estudo envolvendo 16 especialistas de domínio (NLP e CV) que avaliaram gerações de LLM em um cenário de comparação pareada e múltiplos turnos. O estudo valida que os julgamentos do GREP alinham-se de perto com as avaliações de especialistas humanos, superando modelos de julgamento padrão.

Resultados

• Alinhamento com Especialistas: Em estudos de especialistas, as variantes do GREP demonstraram concordância significativamente maior com julgamentos humanos do que os modelos de julgamento de base (ex: Self-Taught Evaluator, DeepSeek-GRM). O PreciseGREP alcançou uma taxa de correspondência de 78% em fidelidade de citação em comparação com especialistas, contra 53% de LLMs especializados de estado da arte. O OpenGREP também mostrou forte alinhamento (66%).
• Desempenho do Gerador: LLMs de última geração lutam para gerar seções de RW válidas sem assistência. Mesmo o modelo de melhor desempenho (o3-mini) alcançou fidelidade de citação perfeita em apenas 20% dos rascunhos iniciais.
• Utilização de Feedback: Os LLMs geralmente têm dificuldade em incorporar o feedback de forma eficaz. Embora alguns modelos tenham melhorado em métricas específicas (ex: ajuste de extensão), muitos falharam em rastrear múltiplos aspectos de melhoria simultaneamente ou introduziram inconsistências que degradaram a qualidade.
• Adaptabilidade Dinâmica: Quando as preferências do usuário mudavam dinamicamente (ex: introduzindo novos artigos no meio da interação ou alterando estilos de posicionamento), os modelos mostravam um declínio severo de desempenho. Eles frequentemente falhavam em integrar novas informações ou adaptar-se a mudanças de estilo imediatamente, com o desempenho não se recuperando totalmente mesmo após feedbacks repetidos.

Significância

O artigo afirma que o GREP fornece uma estrutura de avaliação robusta e fundamentada no domínio que preenche a lacuna entre métricas automatizadas e o julgamento de especialistas humanos na escrita científica. Ao decompor tarefas de avaliação complexas em testes localizados e semissubjetivos e utilizar exemplos contrastivos, o GREP aborda os problemas de "o que julgar" e "como julgar" inerentes aos sistemas atuais de LLM-como-juiz.

Os autores enfatizam que seu trabalho é o primeiro a conceituar a avaliação automatizada de RW como uma tarefa de domínio de especialista com utilidades específicas de domínio. A estrutura oferece um substituto confiável para o julgamento humano, reduzindo o custo de experimentação com humanos no ciclo (human-in-the-loop) enquanto suporta o desenvolvimento de ferramentas realistas de escrita colaborativa entre humano e IA. O estudo destaca que os LLMs de fronteira atuais, apesar de suas capacidades de raciocínio, ainda lutam com as nuances das restrições de síntese de literatura científica, particularmente no que diz respeito à fidelidade de citação e adaptação dinâmica de preferências.