Resumo Técnico: SurGE – Uma Métrica e Framework de Avaliação para Geração de Pesquisas Científicas

Declaração do Problema

O crescimento exponencial da literatura científica, exemplificado pela duplicação das submissões diárias ao arXiv entre 2019 e 2024, tornou a criação manual de artigos de pesquisa abrangentes cada vez mais impraticável. Embora agentes baseados em Modelos de Linguagem de Grande Escala (LLMs) recentes tenham demonstrado a viabilidade de automatizar a geração de pesquisas por meio de decomposição hierárquica e mecanismos orientados por memória, o campo carece de um protocolo de avaliação padronizado e escalável. Os métodos de avaliação existentes sofrem com duas limitações primárias:

1. Problemas de Escalabilidade: Muitas abordagens, como o StepSurvey, dependem fortemente de avaliação humana, que é intensiva em mão de obra e difícil de reproduzir.
2. Viés e Falta de Comparabilidade: Outros métodos, como AutoSurvey e SurveyForge, utilizam frameworks de avaliação personalizados projetados para validar seus pipelines específicos. Isso cria um ciclo de autovalidação que introduz viés sistemático, favorecendo pressupostos específicos de design e impedindo comparações justas entre sistemas.

Consequentemente, há uma necessidade urgente de uma métrica e protocolo de avaliação agnósticos ao método, reproduzíveis e diagnósticos, que possam desvendar a capacidade de recuperar literatura relevante da capacidade de sintetizá-la em uma pesquisa coerente.

Metodologia

Os autores introduzem o SurGE (Avaliação de Geração de Pesquisas), uma métrica e framework de avaliação abrangentes que formalizam a geração de pesquisas como um processo de duas etapas: (1) Coleta de Informações, onde um sistema recupera artigos relevantes de um corpus, e (2) Geração da Pesquisa, onde um sistema sintetiza esses artigos em um artigo estruturado com citações adequadas.

1. Construção do Conjunto de Dados

O SurGE fornece um conjunto de dados rigorosamente construído compreendendo:

• Pesquisas Verdadeiras (Ground-Truth): 205 artigos de pesquisa de alta qualidade provenientes do arXiv (2020–2024) que se identificam explicitamente como pesquisas ou revisões sistemáticas e possuem um mínimo de 20 citações. Estes foram submetidos a um processo secundário de filtragem manual por quatro estudantes de doutorado e um membro da faculdade, avaliando impacto das citações, cobertura de conteúdo, coerência estrutural e qualidade das citações. Os artigos foram mantidos apenas se ambos os anotadores os considerassem "utilizáveis", resultando em um Kappa de Cohen de 0,792.
• Corpus de Recuperação: Um corpus acadêmico em grande escala de 1.086.992 artigos únicos construído inteiramente a partir de metadados do arXiv (títulos, autores, resumos, categorias, etc.). O corpus foi construído recuperando metadados de artigos citados nas pesquisas verdadeiras e expandindo o conjunto com artigos relacionados ao tópico e uma amostra aleatória de artigos de Ciência da Computação para mitigar viés. O conjunto de dados adere a padrões éticos, excluindo PDFs de texto completo, confiando apenas em metadados permitidos sob licenças CC0.

2. Framework de Avaliação

O SurGE propõe um framework de avaliação automatizado e multidimensional que avalia quatro dimensões-chave contra a Verdade Terrena (GT):

• Abrangência: Medida pelo Recall, calculando a sobreposição entre as referências da pesquisa gerada e a lista de referências da GT. Isso serve como uma métrica pragmática para identificar o corpo central de trabalho validado pela comunidade de pesquisa.
• Precisão das Citações: Avaliada em três níveis (Documento, Seção, Frase) usando um modelo de Inferência em Linguagem Natural (NLI) (nli-deberta-v3-base). O modelo determina se um artigo citado é tematicamente relevante para o tópico, semanticamente apropriado para a seção e apoiador da afirmação específica na frase. As pontuações são derivadas das probabilidades de Entailment (Consequência Lógica), Neutral e Contradiction do modelo.
• Qualidade Estrutural: Avaliada por meio de duas métricas:
  • Pontuação de Qualidade Estrutural (SQS): Uma métrica do tipo LLM-como-Juiz comparando a organização hierárquica, o significado e a redação dos títulos gerados com os títulos da GT.
  • Recall de Títulos Suaves (SHR): Uma métrica usando similaridade de incorporação semântica para medir o alinhamento entre os títulos gerados e os da GT, lidando robustamente com paráfrases por meio de sobreposição de cardinalidade suave.
• Qualidade do Conteúdo: Medida pela Pontuação de Qualidade de Conteúdo (CQS), onde um LLM (GPT-4o) avalia cada seção com base em fluência, clareza lógica, evitação de redundância, clareza de descrição e ausência de erros.

A confiabilidade do framework foi validada por meio de uma meta-avaliação, mostrando alta correlação ($\rho$ de Spearman $\approx 0,70$–$0,88$) entre as métricas automatizadas e classificações de especialistas humanos, particularmente na distinção entre texto gerado por máquina e erudição de nível humano.

Contribuições Principais

1. Métrica SurGE: A introdução de uma métrica agnóstica ao método, apresentando pesquisas verdadeiras validadas por especialistas e um corpus de recuperação em grande escala com mais de um milhão de artigos.
2. Framework de Avaliação Automatizado: Um protocolo robusto que avalia a qualidade da pesquisa em quatro dimensões: abrangência, precisão das citações, estrutura e conteúdo, utilizando uma combinação híbrida de métricas objetivas e julgamentos baseados em LLM.
3. Análise Empírica: Experimentos extensos comparando sistemas state-of-the-art, fornecendo insights diagnósticos sobre os gargalos específicos dos pipelines agênticos atuais.

Resultados Experimentais

Os autores compararam vários sistemas, incluindo baselines padrão de Geração Aumentada por Recuperação (RAG) e pipelines agênticos especializados (AutoSurvey, StepSurvey, SurveyForge), todos utilizando um recuperador denso compartilhado e a espinha dorsal Qwen2.5-14B-Instruct para comparação justa.

• Desempenho de Recuperação: O recuperador denso ajustado alcançou um Recall@1000 de 68,05% para referências verdadeiras, superando significativamente a baseline BM25 (27,15%). Isso confirma que o corpus contém as informações necessárias e que o gargalo reside na etapa de geração, não na disponibilidade de dados.
• Desempenho de Geração:
  • Fluência vs. Precisão: Modelos RAG padrão (por exemplo, RAG-Qwen) alcançaram pontuações competitivas de n-gramas (ROUGE-L, BLEU), mas sofreram com a menor Precisão de Citações e Recall. Isso destaca uma armadilha de "alucinação de fluência", onde os modelos geram texto coerente, mas factualmente não fundamentado.
  • Qualidade Estrutural: Pipelines agênticos especializados superaram consistentemente as baselines RAG padrão na Qualidade Estrutural (SQS) e no Recall de Títulos Suaves (SHR), demonstrando a necessidade de planejamento explícito e decomposição hierárquica.
  • Capacidades de Agentes: Embora os pipelines agênticos tenham melhorado a qualidade estrutural e a precisão das citações, eles ainda lutaram com a utilização de informações. Por exemplo, o SurveyForge se destacou na recuperação de literatura precisa (maior Recall e Doc-Acc), enquanto o StepSurvey alcançou a maior Pontuação de Qualidade de Conteúdo (CQS) devido ao seu processo de redação granular, passo a passo.
  • Capacidade do Modelo: Os resultados sugerem que frameworks agênticos bem estruturados podem compensar capacidade limitada do modelo; o SurveyForge (usando Qwen-14B) superou o RAG-Gemini na precisão das citações, indicando que estratégias de decomposição podem permitir que modelos menores produzam outputs mais fiéis.

Significado

O artigo postula que o SurGE aborda uma lacuna crítica no campo ao estabelecer a primeira métrica agnóstica ao método para geração de pesquisas científicas. Ao desacoplar a recuperação da geração e fornecer um protocolo de avaliação diagnóstica, o SurGE permite que os pesquisadores identifiquem se as falhas de desempenho decorrem da aquisição de informações ou da síntese de conteúdo. Os autores concluem que, embora os pipelines agênticos representem um avanço significativo em relação ao RAG padrão, os sistemas atuais ainda enfrentam desafios na precisão das citações e na utilização completa de informações. O SurGE fornece a infraestrutura necessária para avaliar rigorosamente esses sistemas e orientar pesquisas futuras para uma geração automatizada de pesquisas mais confiável e eficaz.