SurveyLens: A Research Discipline-Aware Benchmark for Automatic Survey Generation

1. Problema

O crescimento exponencial da literatura científica superou a capacidade dos pesquisadores de acompanhar as evoluções em seus campos, levando ao desenvolvimento de sistemas de Geração Automática de Revisões (ASG - Automatic Survey Generation). No entanto, a avaliação desses sistemas enfrenta três limitações críticas:

• Viés Disciplinar: As metodologias de avaliação atuais são predominantemente focadas em Ciência da Computação (CS) e utilizam métricas genéricas (como ROUGE ou BERTScore) que não capturam as nuances estruturais e de conteúdo específicas de outras áreas (ex: Medicina prioriza hierarquia de evidências, enquanto História prioriza fluxo cronológico).
• Falta de Diretrizes: Pesquisadores de áreas fora da CS carecem de orientação clara sobre quais sistemas geram revisões de alta qualidade que atendem aos padrões acadêmicos específicos de suas disciplinas.
• Inadequação de Métricas Atuais: Benchmarks existentes são pequenos, restritos à CS ou avaliam apenas conhecimento atômico (via QA), falhando em medir a capacidade de planejamento complexo e construção de narrativas coerentes necessárias para uma revisão sistemática.

2. Metodologia

Os autores propõem o SurveyLens, o primeiro benchmark consciente da disciplina para avaliar métodos de ASG. A metodologia divide-se em três pilares principais:

A. Construção do Dataset (SurveyLens-1k)

• Foi criado um dataset curado com 1.000 revisões de alta qualidade escritas por humanos, cobrindo 10 disciplinas distintas (Biologia, Negócios, CS, Educação, Engenharia, Meio Ambiente, Medicina, Física, Psicologia e Sociologia).
• O dataset foi processado através de um pipeline de limpeza híbrido (baseado em regras e LLM) para gerar uma Representação Estruturada de Revisão (SSR), decompondo cada artigo em:
  • O (Outline): Esboço hierárquico.
  • C (Content): Parágrafos, figuras, tabelas, fórmulas e citações.
  • R (Reference): Lista de referências bibliográficas.

B. Framework de Avaliação Duplo

O SurveyLens introduz uma avaliação em duas lentes para superar as limitações das métricas tradicionais:

1. Avaliação por Rubrica Consciente da Disciplina (Discipline-Aware Rubric Evaluation):

   • Utiliza o paradigma LLM-as-a-Judge com rubricas derivadas especificamente de cada disciplina.
   • Emprega um mecanismo de Ponderação Alinhada a Preferências (Preference-Aligned Weighting) baseado no modelo Bradley-Terry. Isso permite aprender pesos para diferentes critérios (ex: "Integridade Evidencial" vs. "Inovação") a partir de julgamentos simulados de especialistas, capturando as prioridades distintas de cada campo.
   • Avalia os componentes O, C e R em uma escala de 1 a 5.

2. Avaliação de Alinhamento Canônico (Canonical Alignment Evaluation):

   • Mede a cobertura de conteúdo e a fundamentação factual comparando as revisões geradas com as revisões humanas de referência.
   • Introduz duas métricas novas para lidar com redundância e qualidade semântica em textos longos:
     • RAMS (Redundancy-Aware Matching Score): Usa correspondência um-para-um (algoritmo Húngaro) para penalizar repetições e alucinações.
     • TAMS (Thresholded Average Maximum Similarity): Mede o limite superior da qualidade semântica, premiando correspondências de alta fidelidade.

C. Experimentos

Foram avaliados 11 métodos de última geração (SOTA) agrupados em três paradigmas:

• LLMs Puros (Vanilla LLMs): Modelos base sem agentes (ex: Qwen-Max, Gemini-3-Pro).
• Sistemas Especializados de ASG: Pipelines projetados especificamente para revisões (ex: AutoSurvey, SurveyForge).
• Agentes de Pesquisa Profunda (Deep Research Agents): Agentes comerciais com acesso a ferramentas de busca e raciocínio (ex: Gemini Deep Research, Qwen Deep Research).

3. Principais Contribuições

1. SurveyLens-1k: Um dataset de referência de alta qualidade com 1.000 artigos em 10 disciplinas, permitindo a primeira avaliação verdadeiramente multidisciplinar de ASG.
2. Framework de Avaliação Inovador: A combinação de rubricas adaptadas por disciplina (com pesos aprendidos via Bradley-Terry) e métricas de alinhamento canônico (RAMS/TAMS) que consideram redundância e estrutura.
3. Insights Empíricos: Uma análise abrangente que revela trade-offs fundamentais entre diferentes paradigmas de geração de IA.

4. Resultados e Descobertas Chave

A análise dos resultados revelou cinco descobertas críticas:

• Hierarquia de Desempenho: Os Agentes de Pesquisa Profunda (Deep Research Agents) consistentemente superaram todos os outros paradigmas, obtendo as maiores pontuações em todas as disciplinas. LLMs puros tiveram o pior desempenho geral.
• Qualidade da Fonte de Dados: Dentro dos sistemas especializados, aqueles que utilizam bancos de dados acadêmicos curados (ex: AutoSurvey, SurveyForge) superaram significativamente os que dependem de dados raspados da web ou pipelines menos seletivos. A pureza dos dados é tão crucial quanto a arquitetura de geração.
• Trade-off "Esqueleto vs. Carne":
  • Sistemas especializados de ASG são superiores na geração de esboços (Outline), mantendo estruturas acadêmicas rígidas e convencionais.
  • Agentes de Pesquisa Profunda dominam na síntese de conteúdo, produzindo narrativas mais ricas e densas em informação, mas muitas vezes falham na precisão estrutural, gerando organizações genéricas.
• Padrões Interdisciplinares:
  • Sistemas especializados tendem a ter viés para STEM (Ciência, Tecnologia, Engenharia e Matemática), tendo dificuldade em ciências sociais e humanidades.
  • LLMs puros performaram relativamente melhor em humanidades devido à sua flexibilidade retórica, mas falharam em verificação técnica.
  • Agentes de Pesquisa Profunda mostraram estabilidade e desempenho equilibrado em todas as disciplinas.
• Desconexão Semântica: Houve uma lacuna significativa entre a capacidade de recuperação semântica (alta pontuação em TAMS) e a síntese narrativa disciplinar (baixa pontuação em rubricas). Muitos sistemas geram segmentos isolados de alta qualidade, mas falham em organizá-los em um todo coerente.

5. Significado e Impacto

O SurveyLens fornece uma ferramenta essencial para pesquisadores e desenvolvedores de IA:

• Guia de Seleção de Ferramentas: Ajuda pesquisadores a escolherem a ferramenta certa para sua disciplina (ex: usar Agentes para revisões narrativas ricas e Sistemas Especializados para estruturas técnicas rigorosas).
• Direcionamento de Pesquisa Futura: Aponta a necessidade de melhorar a síntese narrativa global e a geração de referências (que foi o componente mais fraco em quase todos os sistemas).
• Validação de Métricas: Demonstra que métricas genéricas são insuficientes e que a avaliação de IA científica deve ser adaptada às normas epistemológicas de cada campo.

Em suma, o trabalho estabelece um novo padrão para a avaliação de sistemas de IA na geração de literatura científica, movendo o foco de métricas puramente estatísticas para uma avaliação qualitativa, estrutural e disciplinarmente consciente.