Resumo Técnico: Mapeando a Web of Science com Embeddings de LLM

Declaração do Problema

O campo da cientometria enfrenta um desafio fundamental na categorização das ciências e na organização de sistemas de conhecimento. As abordagens tradicionais dependem fortemente de grafos de citações, onde as relações são definidas por referências e cocitações. Embora eficazes para agrupamento (clustering), esses métodos baseados em grafos são distintos das técnicas de Processamento de Linguagem Natural (PLN) que analisam o conteúdo semântico de textos individuais. Existe uma lacuna significativa na integração dessas duas metodologias independentes: a teoria dos grafos abstrai relações entre mídias, enquanto o PLN analisa o próprio texto. Matematicamente, essas abordagens empregam métodos incompatíveis, e as tentativas de tradução entre eles frequentemente resultam em uma perda substancial de informação. Além disso, os esquemas de classificação existentes (como os usados na Web of Science) são frequentemente descendentes (top-down) e carecem da neutralidade de abordagens ascendentes (bottom-up) orientadas por dados.

Metodologia

Os autores propõem uma investigação em larga escala do conjunto de dados da Web of Science (WoS) utilizando embeddings de Grandes Modelos de Linguagem (LLM) para criar um mapa textual da ciência, que é então comparado contra estruturas baseadas em grafos.

Preparação de Dados

• Conjunto de Dados: O estudo utiliza a coleção Web of Science até 2024, compreendendo aproximadamente 56,1 milhões de registros vinculados por quase 988 milhões de citações.
• Amostragem: Uma subamostra aleatória de 48.076 registros foi selecionada (probabilidade $10^{-3}$). Após o pré-processamento (remoção de registros sem anos de publicação, autores, referências, periódicos, títulos, identificadores únicos ou resumos com menos de 100 caracteres), o conjunto de trabalho final continha 41.901 registros.
• Hardware: Os experimentos foram conduzidos em uma arquitetura NVIDIA Grace Hopper, embora os autores observem que os métodos são viáveis em hardware comum.

Estratégia de Embedding

• Modelos: Dois modelos de embedding de LLM de código aberto foram empregados via framework ollama:
  1. mxbai-embed-large:335m (1024 dimensões).
  2. nomic-embed-text:v1.5 (768 dimensões).
• Racional: Resumos científicos foram escolhidos como o texto de entrada porque são descritivos, formulaicos, homogêneos e contêm palavras-chave relevantes, tornando-os adequados para o embedding de LLM sem as complexidades linguísticas encontradas em textos completos.
• Métrica: Vetores normalizados foram gerados, utilizando a similaridade de cosseno como métia de distância. Os autores conceituam a nuvem de pontos resultante como situada em uma $n$-esfera, onde o agrupamento representa "desenhar um mapa" sobre este globo.

Estrutura Analítica

1. Centros de Assunto: O ponto central para cada um dos 255 assuntos únicos da WoS foi computado como a média ponderada dos vetores de embedding para os registros dentro daquele assunto (ponderada pelo inverso do número total de assuntos por registro).
2. Correlação de Distância: Distâncias par a par no espaço de embedding foram comparadas com distâncias de caminho mais curto no grafo de citações para testar a correlação positiva.
3. Redução de Dimensionalidade: A Análise de Componentes Principais (PCA) foi realizada para avaliar a variância explicada através das dimensões.
4. Potencial Híbrido: O estudo investiga a interação entre registros "interdisciplinares" (alta variância no espaço de embedding, baixa distância de grafo) e "similaridade de tópico distante" (baixa distância de grafo, alta proximidade de embedding).

Principais Resultados

Características do Espaço de Embedding

• Dimensionalidade Total: A análise de PCA revelou que ambos os modelos de embedding povoam todas as dimensões de seus espaços vetoriais, mesmo com dados de texto homogêneos. Os autores concluem que a redução de dimensionalidade pode ocorrer à custa da granularidade e não é necessariamente benéfica para o agrupamento subsequente.
• Correlação com Citações: Uma correlação positiva foi observada entre as distâncias no espaço de embedding e as distâncias no grafo de citações.
  • Coeficiente de Correlação de Pearson (PCC): 0,455 para mxbai-embed-large:335m.
  • PCC: 0,337 para nomic-embed-text:v1.5.
  • A correlação é mais forte para pares próximos e diminui para pares distantes.

O Mapa das Ciências

• Formação Estrutural: O espaço de embedding revela uma paisagem autoestruturada onde ciências naturais, ciências sociais e humanidades formam grandes "nuvens" interconectadas, com suas respectivas ramificações formando subaglomerados.
• Distribuição de Assuntos: A distribuição de registros varia por assunto, fortemente influenciada pela natureza interdisciplinar.
• Classificação Suave (Soft Classification): Devido à rotulagem múltipla (registros pertencentes a múltiplos assuntos) e às distribuições contínuas observadas, os autores afirmam que a classificação científica não pode ser rígida. Em vez disso, deve ser "suave", atribuindo distribuições de probabilidade sobre múltiplos assuntos em vez de categorias discretas.

Significância e Alegações

O artigo não afirma ter resolvido definitivamente o problema da classificação, mas sim demonstra a praticabilidade e o potencial de usar embeddings de LLM para análise cientométrica em larga escala.

• Complementaridade: A principal significância reside em mostrar que os embeddings de texto e os métodos baseados em grafos não são mutuamente exclusivos, mas podem ser combinados. Os autores argumentam que, como os dois métodos são metodologicamente diferentes, seus respectivos outliers são provavelmente independentes.
• Futuro Híbrido: O artigo postula que uma abordagem híbrida — combinando distância de embedding e distância de grafo — poderia compensar as deficiências de cada método individual. Essa combinação promete maior precisão na classificação de tópicos e no agrupamento de conjuntos de dados.
• Fundação: O trabalho serve como uma base para prever e classificar a localização de textos dentro de um cenário semântico, ofereando uma alternativa "bottom-up" aos sistemas de taxonomia existentes, que podem ser enviesados.

Os autores declaram explicitamente que trabalhos futuros investigarão a implementação específica desta medida combinada para seleção de características a fim de alcançar maior precisão, em vez de apresentar um sistema de classificação superior e finalizado neste estudo.