How Do Algorithms Interact in Scientific Research? Large-Scale Semantic Relation Identification and Analysis Based on Full-Text Papers

Resumo Técnico: Como os Algoritmos Interagem na Pesquisa Científica?

Declaração do Problema
Na era da inteligência artificial, os algoritmos são motores centrais da inovação científica. Embora pesquisas existentes tenham identificado com sucesso entidades de algoritmos e analisado suas frequências de menção e coocorrências, essas abordagens oferecem uma visão limitada sobre a natureza das interações entre algoritmos. A análise de coocorrência pode indicar que dois algoritmos aparecem juntos, mas falha em explicar por que eles aparecem juntos, como competem, colaboram ou evoluem. Há uma carência de identificação de relações semânticas em larga escala e de granularidade fina que vá além de simples listas de entidades para grafos de relações estruturados, o que dificulta uma compreensão sistemática das trajetórias de inovação de algoritmos e da evolução de comunidades.

Metodologia
Este estudo foca no domínio do Processamento de Linguagem Natural (PLN) para identificar e analisar relações semânticas entre entidades de algoritmos em textos completos de artigos acadêmicos. A metodologia procede através de quatro estágios principais:

1. Coleta e Pré-processamento de Dados:

   • Corpus: Foram coletados artigos de texto completo de três grandes conferências de PLN (ACL, EMNLP, NAACL) publicados entre 1979 e 2025.
   • Extração de Entidades: Um corpus de treinamento atualizado foi construído aumentando os dados existentes (1979–2020) com sentenças anotadas manualmente de 2021–2025. O modelo SciBERT + BiLSTM + CRF foi ajustado (fine-tuned) para extrair entidades de algoritmos e filtrar sentenças relevantes.
   • Padronização: Uma rigorosa pipeline de normalização foi aplicada, incluindo tokenização, lematização e agrupamento baseado em vetores (usando embeddings Gemma e ChromaDB) para mesclar variantes de nomes do mesmo algoritmo, resultando em um conjunto final de 30.274 entidades de algoritmos únicas.

2. Estrutura de Relação e Anotação:

   • Uma estrutura de relação semântica foi definida com seis categorias: Comparar com (Compare with), Usar (Use), Cooperar com (Cooperate with), Ser o mesmo que (Same as), Superclasse de (Superclass of) e Outro (Other).
   • Um corpus padrão-ouro de 16.531 sentenças contendo múltiplas entidades de algoritmos foi anotado manualmente por quatro anotadores, alcançando um acordo inter-anotador (Kappa de Cohen) de 0,7630.

3. Avaliação de Modelo para Extração de Relações:

   • Grandes Modelos de Linguagem (LLMs): Vários modelos (GPT-5, DeepSeek-Reasoner, Gemini-3.1-pro-preview, Claude-Sonnet-4-6) foram avaliados utilizando estratégias de prompting zero-shot, few-shot e chain-of-thought (CoT).
   • Modelos de Linguagem Pré-treinados (PLMs): Modelos incluindo BERT, SciBERT e DeBERTa (com e sem camadas BiLSTM) foram submetidos a ajuste fino supervisionado. Adicionalmente, modelos da série Qwen foram ajustados via Low-Rank Adaptation (Loína).
   • Seleção: O SciBERT alcançou o melhor desempenho e foi selecionado como o modelo final para extração de relações em larga escala.

4. Análise de Rede:

   • A intensidade de interação foi calculada com base na frequência de pares de algoritmos que aparecem em artigos ao longo do tempo, normalizada pelo volume total de publicações.
   • Redes de relação anuais foram construídas para cada tipo de relação para analisar a evolução em termos de tamanho da rede (nós/arestas), conectividade interna (grau médio, coeficiente de agrupamento) e dinâmica de renovação (similaridade de arestas, novas arestas/arestas desaparecidas).

Principais Resultados

• Desempenho do Modelo: O SciBERT alcançou o maior escore macro-F1 (77,79%) para identificação de relações, superando tanto LLMs ajustados (ex: Qwen-8B com 75,60%) quanto o prompting direto de LLMs. Embora LLMs com aprendizado few-shot e raciocínio CoT tenham mostrado resultados competitivos (ex: GPT atingindo 74,63% F1), eles não superaram o PLM específico do domínio ajustado.
• Distribuição de Relações: A relação Comparar é dominante, representando 54,37% de todas as relações semânticas identificadas. Sinônimo (12,54%) e Usar (10,67%) seguem, enquanto Colaborar é a menos frequente (5,68%).
• Padrões de Interação:
  • Pares de alta intensidade frequentemente refletem agrupamentos tecnológicos (ex: BERT–RoBERTa, GPT-3.5–GPT-4).
  • Relações de Comparar envolvem tanto competição intra-categoria (ex: BERT vs. RoBERTa) quanto comparações entre paradigmas (ex: BERT vs. ELMo).
  • Relações de Superclasse revelam estruturas hierárquicas, particularmente na linhagem de modelos pré-treinados e suas variantes.
• Evolução da Rede:
  • Todas as redes de relação transitaram da esparsidade para a expansão desde o ano 2000.
  • A rede de Comparar mostra o crescimento mais rápido em nós e arestas, o maior grau médio e o maior coeficiente de agrupamento, indicando um ecossistema competitivo que se aprofunda e se densifica.
  • As redes exibem alta dinâmica de renovação (alta entrada e desaparecimento de arestas), sugerindo que as relações entre algoritmos não são acumulações estáticas, mas sistemas dinâmicos. A rede de Comparar, no entanto, mostra maior estabilidade na retenção de arestas comparada às redes de Usar ou Colaborar.

Significância e Alegações
Os autores afirmam que este estudo proporciona uma mudança crítica da identificação isolada de entidades para a identificação de relações estruturadas, oferecendo uma nova base para explorar padrões de organização e evolução do conhecimento na pesquisa científica. Ao construir redes específicas de relação, o estudo revela que o campo de PLN é caracterizado por um ecossistema de competição de algoritmos cada vez mais intenso, impulsionado principalmente por benchmarks de desempenho e substituição de métodos.

O artigo postula que a dominância da relação Comparar reflete não apenas a competição tecnológica, mas também as práticas de pesquisa em evolução, convenções de escrita e lógicas de avaliação da comunidade acadêmica (ex: a necessidade de comparações de linha de base/baseline). O estudo fornece recursos de dados e referências metodológicas para a construção de grafos de conhecimento entre entidades de algoritmos, embora os autores notem modestamente limitações quanto ao escopo dos dados (apenas conferências de PLN) e a necessidade de maior refinamento nos métodos de desambiguação de entidades e classificação de relações.