Exploring Academic Influence of Algorithms by Co-occurrence Network Based on Full-text of Academic Papers

Resumo Técnico: Explorando a Influência Acadêmica de Algoritmos por meio de Redes de Coocorrência Baseadas em Textos Completos de Artigos Acadêmicos

Definição do Problema
Na era da inteligência artificial, os algoritmos são objetos de pesquisa fundamentais. Embora os métodos existentes avaliem a influência acadêmica de algoritmos, eles dependem predominantemente de métricas individuais, como a frequência de menções ou contagens de citações. Essas abordagens tratam os algoritmos como entidades isoladas, negligenciando o impacto coletivo resultante de sua interconectividade dentro de uma comunidade de pesquisa. Consequentemente, as avaliações atuais não conseguem capturar os papéis estruturais que os algoritmos desempenham dentro de clusters, como sua capacidade de servir de ponte entre diferentes eras ou mediar entre distintos módulos algorítmicos. Há uma carência de pesquisas que analisem se algoritmos em um campo específico são mencionados conjuntamente, ou que explorem a interconexão, separação e lacunas de status entre indivíduos algorítmicos dentro de uma comunidade.

Metodologia
O estudo constrói uma rede de coocorrência de entidades de algoritmos dentro do domínio do Processamento de Linguagem Natural (NLP) utilizando o conteúdo de texto completo de artigos da Reunião Anual da Associação para Linguística Computacional (ACL) abrangendo o período de 1979 a 2020.

1. Coleta de Dados e Extração de Entidades:

   • Corpus: O estudo utiliza um corpus de treinamento de 4.604 artigos da ACL (1979–2015) com sentenças de algoritmos anotadas manualmente e um corpus bruto de 2.793 artigos (2016–2020) em formato PDF.
   • Modelo de Extração: A tarefa é estruturada como Reconhecimento de Entidade Nomeada (NER). Três modelos de aprendizagem profunda (BiLSTM+CRF, BERT+CRF e BERT+BiLSTM+CRF) foram treinados e comparados. O modelo BERT+BiLSTM+CRF alcançou o maior F1 score (0,9642) e foi selecionado para extrair as entidades candidatas de algoritmos.
   • Normalização: Um processo rigoroso de normalização foi aplicado para lidar com variações de nomenclatura (ex: "SVM" vs. "Support Vector Machine") e ambiguidades (ex: "BP" referindo-se a back-propagation vs. belief propagation). Isso envolveu algoritmos de distância de edição para nomes completos e revisão baseada em regras/manual para acrônimos, resultando em um dicionário final de 3.841 entidades de algoritmos únicas.

2. Construção da Rede:

   • Nós e Arestas: Os algoritmos servem como nós. Uma aresta é estabelecida entre dois nós se eles aparecerem no mesmo artigo. Os pesos das arestas são calculados com base no número de artigos de coocorrência, normalizados pelo número total de artigos da ACL publicados naquele ano.
   • Tipos de Rede: Três configurações de rede foram construídas: (1) uma Rede Global (todos os artigos), (2) Redes Cumulativas (agregadas de 1979 até cada ano específico) e (3) Redes Anuais (artigos publicados em um único ano).

3. Avaliação de Influência:

   • O estudo emprega quatro métricas de centralidade de rede para avaliar a influência acadêmica sob diferentes perspectivas:
     • Popularidade: Medida pela Centralidade de Grau (DC), refletindo o número de conexões diretas.
     • Controle: Medida pela Centralidade de Intermediação (BC), indicando a capacidade do algoritmo de atuar como uma ponte entre nós não conectados.
     • Posição Central: Medida pela Centralidade de Proximidade (CC), refletindo a eficiência da disseminação de informações para outros nós.
     • Equilíbrio: Medida pela Entropia de Informação de Adjacência (AC), avaliando a uniformidade da influência de um algoritmo sobre seus vizinhos.

Principais Resultados

• Topologia da Rede: A rede de coocorrência de algoritmos exibe características de uma rede complexa, especificamente uma estrutura de "mundo pequeno" (small world) com um alto coeficiente de agrupamento (82,5%), um grande componente gigante (99,2%) e uma distribuição de grau de lei de potência (scale-free). Isso indica que um pequeno número de algoritmos detém a maioria das conexões.
• Evolução da Conectividade: Ao longo de quatro décadas, a rede evoluiu de uma estrutura frouxa para um mundo pequeno fortemente conectado. O grau médio aumentou significativamente, com 2001 marcando um ponto de virada nas taxas de crescimento. A separação média entre os nós atingiu o pico em 1994 e, posteriormente, diminuiu, indicando melhoria na eficiência da comunicação.
• Algoritmos de Alta Influência:
  • Global: Algoritmos que pontuam alto em múltiplas métricas de centralidade compartilham traços comuns: são clássicos, de alto desempenho e frequentemente emergem na junção de diferentes eras. Long Short-Term Memory (LSTM) (Redes Neurais), Support Vector Machine (SVM) (Classificação), Adaptive Moment (Adam) (Otimização) e Conditional Random Field (CRF) (Modelos Gráficos Probabilísticos) emergiram como os principais influenciadores em suas respectivas categorias.
  • Mudanças Temporais: Os algoritmos dominantes mudaram ao longo do tempo:
    • 1979–1993: Algoritmos baseados em gramática (ex: ATN, CFG, TAG) eram centrais.
    • 1994–2015: Algoritmos de aprendizado de máquina estatístico (ex: HMM, MaxEnt, SVM) dominaram.
    • 2016–2019: Modelos de aprendizado profundo, particularmente LSTM, tornaram-se o núcleo.
    • 2020: O modelo de pré-treinamento BERT ascendeu rapidamente ao topo, sinalizando uma nova era.
• Padrões de Evolução de Influência: O estudo identifica um ciclo de vida para a influência dos algoritmos. À medida que a influência de um algoritmo declina, ele tipicamente perde sua posição central (Centralidade de Intermediação) primeiro, seguida por um declínio em sua influência equilibrada (Entropia de Informação de Adjacência) e, finalmente, uma redução no número de vizinhos conectados (Centralidade de Grau).

Significância e Contribuições
O artigo afirma ser a primeira análise em larga escala de redes de algoritmos baseada em conteúdo de texto completo, oferecendo uma metodologia que vai além da simples contagem de frequência para avaliar a influência através da topologia de rede.

• Inovação Metodológica: Ao utilizar dados de texto completo em vez de metadados, o estudo captura um panorama mais completo do uso e das relações entre algoritmos.
• Nova Perspectiva sobre Influência: Os resultados sugerem que os rankings tradicionais baseados em frequência podem negligenciar a importância estrutural de algoritmos de "ponte". Métricas baseadas em redes revelam que algoritmos que atuam como elos de transição entre diferentes eras ou subcampos (ex: SVM fazendo a ponte entre o aprendizado estatístico e o aprendizado profundo) possuem papéis únicos e de alto valor que a frequência sozinha não consegue quantificar.
• Fundação para Pesquisas Futuras: A rede construída serve como pedra angular para a criação de redes multifacetadas que interligam algoritmos, estudiosos e tarefas. Isso facilita a exploração futura de papéis científicos, relações semânticas e o desenvolvimento de serviços de recomendação e recuperação de algoritmos.

Limitações
Os autores reconhecem que o estudo é limitado ao domínio de NLP (artigos da ACL), e os resultados podem não se generalizar para outros campos com práticas de citação ou menção diferentes. Além disso, a análise é baseada em coocorrência ao nível de artigo, carecendo de granularidade ao nível de sentença, e a rede reflete relações de coocorrência sem modelar explicitamente nuances semânticas como cooperação ou competição.