How Much Structure Do LLMs Need? Evaluating LLMs for Bibliometric Cluster Description

Resumo Técnico: Quanta Estrutura os LLMs Precisam? Avaliando LLMs para Descrição de Clusters Bibliométricos

Declaração do Problema
Os Modelos de Linguagem Grandes (LLMs) são cada vez mais utilizados para síntese de literatura científica, incluindo geração de trabalhos relacionados e revisões de literatura automáticas. No entanto, gerar uma revisão de literatura a partir do zero permanece problemático devido à propensão dos modelos para alucinar referências, fornecer cobertura desigual e impor organizações temáticas não apoiadas pelo registro acadêmico. Embora a geração aumentada por recuperação (RAG) melhore a fundamentação, ela não resolve totalmente a dificuldade de estruturar um mapa de literatura. A análise bibliométrica oferece uma alternativa estruturada, utilizando metadados (citações, referências) para organizar artigos em clusters que representam correntes de pesquisa. A questão de pesquisa central abordada é: Quanta estrutura bibliométrica externa deve ser fornecida a um LLM para gerar descrições de clusters confiáveis? Especificamente, os autores investigam se os LLMs podem inferir autonomamente a estrutura bibliométrica ou se funcionam melhor como interpretadores de estruturas definidas algoritmicamente.

Metodologia
O estudo avalia seis pipelines distintos que representam um contínuo de responsabilidade decrescente do LLM e estrutura bibliométrica crescente. A referência é construída a partir de 100 artigos de revisão bibliométrica revisados por pares. Para cada artigo fonte, os autores extraem manualmente a consulta de busca original e as descrições de clusters escritas por humanos, e então reconstroem o corpus correspondente no Scopus.

Os seis pipelines testados são:

1. Cego: O LLM recebe apenas a consulta de busca e o número alvo de clusters. Ele deve inferir temas, referências e estruturas de clusters a partir do zero.
2. Corpus: O LLM recebe a consulta, o número alvo de clusters e o corpus Scopus reconstituído completo (títulos e resumos). Ele deve induzir a estrutura de clusters e descrevê-los em uma única passagem.
3. Corpus-seleção: Um processo de dois estágios onde o LLM primeiro seleciona os artigos relevantes do corpus para cada cluster e, em seguida, sintetiza descrições a partir dessa evidência filtrada.
4. Rotulado: O LLM recebe o corpus pré-agrupado por um algoritmo padrão de clustering bibliométrico (detecção de comunidades Louvain baseada em acoplamento bibliográfico ou citação direta). O papel do LLM é restrito a interpretar e descrever esses clusters pré-definidos.
5. Rotulado-seleção: Semelhante ao Rotulado, mas em um processo de dois estágios onde o LLM primeiro seleciona os artigos mais representativos dentro dos clusters pré-definidos antes de gerar descrições.
6. Classificado: O LLM recebe os clusters pré-definidos, mas é fornecido apenas com um subconjunto compacto e de melhor classificação de artigos (baseado na força do link) de cada cluster para resumir.

Métricas de Avaliação
As saídas são avaliadas em cinco dimensões:

• Alinhamento Humano: Similaridade semântica (BERTScore) entre descrições geradas e escritas por humanos.
• Cobertura Semântica: A extensão na qual as descrições geradas cobrem o conteúdo semântico de todo o corpus reconstituído.
• Qualidade de Clustering: Medida pelo Índice Rand Ajustado (ARI) e pontuação Silhueta, avaliando se as descrições geradas induzem atribuições de artigos que recuperam a estrutura bibliométrica original.
• Qualidade Estrutural de Grafos: Pontuações de modularidade que avaliam se os clusters induzidos alinham-se com regiões densas do grafo subjacente de citação ou acoplamento bibliográfico.
• Fundamentação de Referências: Validação das referências geradas contra registros bibliográficos reais (OpenAlex) e verificação se as descrições refletem a evidência citada.

Principais Resultados

1. LLMs como Interpretadores vs. Geradores: Os LLMs produzem descrições que são semanticamente próximas das escritas por humanos (alto BERTScore), mas são pouco confiáveis quando solicitados a inferir estrutura bibliométrica a partir do zero. O pipeline Cego performa mal em todas as métricas estruturais e exibe alucinação significativa de referências.
2. Impacto da Estrutura: O desempenho melhora significativamente quando algoritmos bibliométricos definem os clusters e o LLM os interpreta. Pipelines com estrutura algorítmica (Rotulado, Rotulado-seleção, Classificado) consistentemente superam pipelines baseados apenas em corpus (Corpus, Corpus-seleção) em qualidade de clustering, modularidade de grafo e fundamentação de referências.
3. Estrutura Dependente da Tarefa: O nível ótimo de estrutura depende da relação bibliométrica:
   • Acoplamento Bibliográfico: Beneficia-se do contexto completo do cluster (Rotulado performa melhor), pois esses clusters frequentemente refletem fundos intelectuais amplos distribuídos entre muitos artigos.
   • Citação Direta: Beneficia-se de evidências compactas e classificadas por link (Classificado performa melhor), pois estruturas de citação frequentemente se concentram em obras centrais influentes.
4. Humanos vs. LLMs Estruturados: Embora as descrições humanas sejam escritas para interpretação acadêmica, pipelines estruturados de LLM frequentemente alcançam pontuações mais altas em métricas de nível de corpus, clustering e baseadas em grafos. Isso indica que pipelines estruturados preservam melhor a estrutura bibliométrica ou de citação reconstituída, embora isso não implique necessariamente maior insight ou nuance de domínio do que especialistas humanos.

Significância e Alegações
O artigo alega que a síntese bibliométrica assistida por LLM é mais promissora como um fluxo de trabalho híbrido. Neste modelo, algoritmos fornecem tarefas estruturais auditáveis e precisas (como agrupar artigos por citações ou referências compartilhadas), enquanto os LLMs lidam com a tarefa interpretativa de traduzir essa estrutura em descrições legíveis.

Os autores posicionam este trabalho como um caso de teste para o design mais amplo de sistemas LLM, sugerindo que os LLMs são mais confiáveis quando sistemas externos fornecem estrutura e o modelo realiza síntese, explicação ou tradução. O estudo alerta explicitamente que seus resultados demonstram "fidelidade estrutural" em vez de uma superioridade geral dos LLMs sobre especialistas humanos em insight acadêmico. As descobertas apoiam uma mudança na pesquisa de revisão de literatura de aplicações isoladas de tarefas únicas para fluxos de trabalho estruturados e multiestágio onde a divisão de trabalho entre precisão algorítmica e síntese generativa é cuidadosamente gerenciada.