Traditional statistical representations outperform generative AI in identifying expert peer reviewers

Resumo Técnico: Representações Estatísticas Tradicionais Superam a IA Generativa na Identificação de Revisores Pares Especialistas

Declaração do Problema
O crescimento exponencial das submissões científicas tem sobrecarregado o sistema global de revisão por pares, tornando inviável a identificação manual de especialistas. Embora as instituições tenham adotado cada vez mais Modelos de Linguagem de Grande Escala (LLMs) e sistemas automatizados para associar revisores a submissões, a confiabilidade desses modelos generativos na identificação precisa de especialistas de domínio carece de avaliação rigorosa e em larga escala. As metodologias atuais frequentemente dependem de rótulos proxy que introduzem viés (por exemplo, autoavaliações ou anotação humana externa) e carecem de uma verdade fundamental padronizada para a expertise científica. Além disso, o campo sofre de um cenário fragmentado de algoritmos sem consenso sobre quais métodos de representação melhor recuperam especialistas em ambientes operacionais.

Metodologia
Os autores enquadram a identificação de especialistas como um problema de Recuperação de Informação (RI), utilizando o sistema de Revisão por Pares Distribuída (DPR) do Observatório Europeu do Sul (ESO) durante o Período 110 (P110) como campo de testes. Este quadro fornece um ambiente único de "malha fechada", onde os autores das propostas atuam simultaneamente como o pool de revisores, permitindo uma avaliação rigorosa.

• Dados: O estudo analisa 435 propostas e 379 revisores designados únicos por proposta. As principais entradas de dados são os resumos das propostas e os perfis de expertise dos revisores derivados de resumos de publicações (recuperados via NASA/ADS) e palavras-chave auto-relatadas.
• Verdade Fundamental: O estudo emprega uma estratégia de validação dupla:
  1. Rótulos Dourados Proxy: Tratando o "revisor designado pela proposta" (o autor indicado para revisar o grupo de pares de sua própria proposta) como o especialista fundamental para aquela proposta específica.
  2. Rótulos Auto-relatados: Comparando os escores de recuperação contra os níveis de expertise auto-categorizados pelos revisores (Especialista, Intermediário, Não especialista).
• Métodos Avaliados: Seis metodologias distintas foram comparadas:
  1. Palavras-chave: O sistema de correspondência de palavras-chave de base do ESO.
  2. LDA (Alocação Dirichlet Latente): Modelagem de tópicos.
  3. TF-IDF (Frequência de Termo-Frequência Inversa de Documento): Representação léxica estatística.
  4. SPECTER2: Um modelo baseado em Transformer ajustado finamente em citações científicas.
  5. SentenceTransformer: Um modelo de incorporação semântica de propósito geral.
  6. GPT-4o mini: Um LLM generativo utilizado para pontuar o alinhamento semântico.
• Métricas de Avaliação: O estudo utiliza métricas de RI baseadas em classificação, incluindo Classificação Mediana, Reciprocidade Média de Classificação (MRR), Hit@25 (fração de propostas onde o especialista designado está no top 25) e escores Z. Adicionalmente, o Ganho Cumulativo Descontado Normalizado (NDCG) é utilizado para avaliar o alinhamento com as hierarquias de expertise auto-relatadas. A significância estatística é determinada por reamostragem bootstrap e pelo teste de postos sinalizados de Wilcoxon.

Principais Resultados
A avaliação empírica demonstra que as representações estatísticas tradicionais superam significativamente a IA generativa e as arquiteturas neurais semânticas neste domínio especializado:

• Desempenho de Recuperação: O TF-IDF alcançou o melhor desempenho, identificando com sucesso o especialista designado dentro das 25 melhores recomendações em 79,5% das vezes (Hit@25), com uma Classificação Mediana de 4,0. Em contraste, o GPT-4o mini alcançou um Hit@25 de apenas 51,5% com uma Classificação Mediana de 24,0, performando de forma comparável ao LDA (50,3% Hit@25) e significativamente pior que a linha de base TF-IDF.
• Alinhamento com Julgamento Humano: Ao avaliar o alinhamento com os rótulos de expertise auto-relatados, o TF-IDF novamente liderou com um NDCG de 0,832, seguido de perto pelo SentenceTransformer (0,827). Ambos superaram significativamente a linha de base de Palavras-chave auto-selecionadas (0,789). Notavelmente, o GPT-4o mini (0,811) e o SPECTER2 (0,815) também superaram a linha de base de palavras-chave, mas não superaram o TF-IDF.
• Robustez: O TF-IDF e o SentenceTransformer demonstraram robustez em cenários com dados restritos (por exemplo, históricos de publicações limitados), enquanto o desempenho do LDA e do SPECTER2 degradou-se significativamente com menos publicações.
• Suavização Semântica: Os autores observam que, embora as incorporações neurais capturem relações semânticas amplas, elas aplicam um "efeito de suavização" que obscurece o vocabulário específico de domínio, fino e granular (por exemplo, "Tipo Ia", "Anã Marrom") necessário para distinguir subcampos altamente especializados. Modelos generativos, em particular, falharam em aproveitar efetivamente esses sinais léxicos precisos.

Significância e Alegações
O artigo afirma que, para tarefas científicas especializadas, representações estatísticas transparentes e reproduzíveis permanecem superiores aos LLMs probabilísticos e computacionalmente caros. Os autores argumentam que o sucesso do TF-IDF destaca que, em domínios especializados, a correspondência de vocabulário técnico preciso é mais discriminativa do que o agrupamento semântico amplo oferecido pelas arquiteturas neurais modernas.

O estudo estabelece um quadro de avaliação rigoroso para a revisão por pares automatizada, demonstrando que:

1. Precisão sobre Semântica: Na revisão por pares científica, correspondências exatas de terminologia específica de domínio são críticas, uma força dos métodos estatísticos como o TF-IDF que é frequentemente diluída pela suavização semântica dos modelos generativos.
2. Reprodutibilidade: Métodos estatísticos determinísticos oferecem a reprodutibilidade necessária para decisões formais de revisão por pares, ao passo que LLMs generativos introduzem não-determinismo e altos custos computacionais que minam esses requisitos.
3. Realidade Operacional: As descobertas desafiam a literatura recente que sugere que modelos de aprendizado profundo requerem manuscritos de texto completo para competir com o TF-IDF; este estudo mostra que o TF-IDF supera modelos semânticos mesmo quando restrito a resumos de publicações, desde que a avaliação reflita a realidade operacional da recuperação global de especialistas.

Os autores concluem que, à medida que agências de fomento e observatórios automatizam a revisão por pares, métodos léxicos transparentes e computacionalmente eficientes devem permanecer o padrão robusto para a recuperação de expertise científica.