NERdME: a Named Entity Recognition Dataset for Indexing Research Artifacts in Code Repositories

O artigo apresenta o NERdME, um novo conjunto de dados com 200 arquivos README anotados manualmente para facilitar a extração de informações sobre artefatos de implementação em repositórios de código, preenchendo uma lacuna nas atuais bases de dados de extração de informações acadêmicas que se concentram apenas em artigos científicos.

O essencial

Imagine que o mundo da ciência é como uma enorme biblioteca. Até hoje, os "bibliotecários inteligentes" (os programas de computador que organizam informações) eram ótimos em ler os livros (os artigos científicos), entendendo quem escreveu, sobre o que era e quais métodos usaram.

Mas havia um problema: eles ignoravam completamente a caixa de ferramentas que vinha junto com o livro.

O Problema: A Caixa de Ferramentas Esquecida

Quando um cientista cria um novo software ou um conjunto de dados, ele coloca tudo em um repositório online (como o GitHub). Lá, existe um arquivo chamado README. Pense no README como a "etiqueta da caixa" ou o "manual de instruções" colado na porta da fábrica.

Nessa etiqueta, os cientistas escrevem coisas muito importantes, mas de forma livre, como se estivessem conversando:

• "Usei a linguagem Python."
• "Baseado no conjunto de dados X."
• "Licença aberta."
• "Apresentado na conferência Y."

O problema é que essa etiqueta é escrita em "Markdown" (um formato de texto simples), sem uma estrutura rígida. Para um computador, é como tentar entender uma receita de bolo escrita em um rabisco no guardanapo: é difícil para a máquina saber onde termina o nome do ingrediente e onde começa a quantidade.

A Solução: O NERdME (O "Tradutor" de Etiquetas)

Os autores deste trabalho criaram algo chamado NERdME.

Pense no NERdME como um treinador de inteligência artificial que aprendeu a ler essas "etiquetas de caixa" (READMEs) e transformá-las em informações organizadas.

1. O Que eles fizeram?
   Eles pegaram 200 dessas etiquetas de caixas reais e, com muito trabalho manual (como se fossem três pessoas revisando cada linha), marcaram exatamente onde estão os nomes importantes. Eles criaram um "dicionário" com 10 tipos de coisas diferentes: desde coisas de "livro" (como o nome da conferência) até coisas de "ferramenta" (como o nome do software ou a licença).

2. Por que é especial?
   Antes, os computadores só sabiam ler o livro (o artigo) ou tentavam adivinhar a ferramenta. O NERdME ensina o computador a ler ambos ao mesmo tempo. É como ensinar um bibliotecário a entender não só o título do livro, mas também a lista de ingredientes e o fabricante da panela que estão na capa.

O Que Eles Descobriram?

Eles testaram esse novo "treinador" com duas abordagens:

• Adivinhando (Modelos Grandes de IA): Quando pediram para uma IA gigante (como o ChatGPT) ler as etiquetas sem treino, ela acertou algumas coisas óbvias, mas se confundiu muito com detalhes específicos. Era como tentar adivinhar o conteúdo de uma caixa fechada apenas olhando para ela.
• Aprendendo (Modelos Treinados): Quando eles ensinaram o computador especificamente com o NERdME, a performance explodiu. O computador aprendeu a identificar com precisão: "Ah, isso aqui é o nome do software", "Isso é a licença", "Isso é o dataset".

Uma descoberta curiosa:
Eles notaram que os nomes de "livros" (artigos) tendem a ser longos e poéticos, enquanto os nomes de "ferramentas" (softwares) são curtos e técnicos. O computador precisa de uma "orelha" diferente para ouvir cada um desses sons.

Para que serve isso no dia a dia?

A parte mais legal é o que acontece depois. Eles usaram o NERdME para fazer uma conexão mágica.

Imagine que você está procurando um conjunto de dados específico. O computador, usando o NERdME, consegue ler a etiqueta da caixa, pegar o nome do dataset escrito lá e ligar automaticamente o registro oficial desse dataset em um banco de dados global (o Zenodo).

Isso significa que, no futuro:

• Você poderá encontrar o software exato usado em um artigo com um clique.
• Os pesquisadores não precisarão perder tempo procurando manualmente onde baixar os dados.
• A "teia" da ciência ficará mais conectada, ligando o artigo ao código, e o código aos dados.

Resumo em uma Analogia

Se a ciência fosse uma cidade:

• Os Artigos são os prédios bonitos e decorados.
• Os READMEs são os mapas de construção e as placas de endereço que explicam como o prédio foi feito e quais materiais foram usados.
• O NERdME é o novo sistema de GPS que finalmente aprendeu a ler essas placas de endereço confusas, permitindo que qualquer pessoa (ou robô) encontre exatamente onde estão os materiais e como construir algo novo a partir deles.

Em suma, o NERdME é uma ferramenta fundamental para tornar a ciência mais transparente, reprodutível e fácil de navegar, transformando rabiscos em mapas precisos.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "NERdME: a Named Entity Recognition Dataset for Indexing Research Artifacts in Code Repositories", apresentado em português:

1. Problema Identificado

O campo de Extração de Informação Acadêmica (SIE - Scholarly Information Extraction) tem avançado significativamente com conjuntos de dados focados em artigos científicos (como SciERC e SciREX). No entanto, existe uma lacuna crítica: a falta de dados estruturados para repositórios de código (como o GitHub), onde reside a implementação prática da pesquisa.

• Limitação Atual: Os arquivos README em repositórios contêm metadados essenciais para a reprodutibilidade (conjuntos de dados, dependências, licenças, detalhes de uso), mas são escritos em Markdown livre, sem estrutura semântica explícita.
• Desafio: Os sistemas atuais de SIE não conseguem extrair automaticamente essas informações de nível de implementação, nem conectá-las com as entidades de nível de artigo (como o próprio paper). Conjuntos de dados existentes cobrem ou apenas entidades de artigos ou apenas entidades de software, mas não ambos de forma integrada.

2. Metodologia e Construção do Dataset (NERdME)

Para preencher essa lacuna, os autores criaram o NERdME, um novo conjunto de dados para Reconhecimento de Entidades Nomeadas (NER).

• Coleta de Dados: Foram selecionados 200 arquivos README do GitHub, associados a artigos de ciência de dados da plataforma "Papers with Code". A seleção garantiu contexto acadêmico rico e cobertura das categorias de entidades alvo.
• Esquema de Anotação: O dataset define 10 tipos de entidades baseados na ontologia NFDI4DS, divididos em duas categorias:
  • Nível de Artigo: Conferência, Conjunto de Dados, Métrica de Avaliação, Ontologia, Publicação, Workshop.
  • Nível de Implementação: Software, Linguagem de Programação, Licença, Projeto.
• Processo de Anotação:
  • Cada arquivo foi anotado por três anotadores independentes (com formação em Ciência da Computação) usando a ferramenta INCEpTION.
  • Regras de Curadoria: Apenas spans (trechos) anotados por pelo menos dois anotadores foram mantidos. Para garantir consistência, se uma sentença tivesse discordância sobre o tipo de entidade (ex: "Python" como Software vs. Linguagem), todos os spans daquela sentença para aquele tipo foram removidos.
  • Estatísticas: O dataset contém 10.691 spans anotados (4.328 únicos), distribuídos em conjuntos de treino (70%), validação (10%) e teste (20%).
• Análise Linguística: O estudo comparou entidades de "papel" (artigo) e "implementação". Entidades de papel são mais longas e lexicalmente únicas (ex: títulos de publicações), enquanto entidades de implementação são mais curtas, padronizadas e apresentam maior perplexidade em modelos de linguagem devido a nomes técnicos e versões.

3. Contribuições Principais

1. Recurso Inédito: O primeiro dataset de NER que captura simultaneamente entidades de nível de artigo e de implementação em documentação de software (README).
2. Benchmarks SOTA: Avaliação de modelos de ponta, incluindo LLMs em modo zero-shot (ex: LLaMA3, GPT-4o) e transformadores ajustados (fine-tuned como SciBERT, RoBERTa).
3. Aplicabilidade Descendente: Demonstração prática através de um experimento de Vinculação de Entidades (Entity Linking), conectando menções de conjuntos de dados extraídos do README a registros canônicos no Zenodo.

4. Resultados Experimentais

Tarefa de NER

• Supervisão Eficaz: Modelos ajustados (fine-tuned) superaram significativamente os LLMs zero-shot em entidades com muitos dados de treino.
  • Exemplo: Para a entidade SOFTWARE, o F1-Exact Match saltou de 23,12% (zero-shot) para 72,46% (ajustado). Para DATASET, de 45,30% para 63,94%.
• Desafio de Distribuição de Cauda Longa: Entidades raras (como Workshop com 79 spans e Ontology com 112 spans) apresentaram desempenho inferior, especialmente em correspondência exata, refletindo o desequilíbrio natural da documentação de projetos.
• Complexidade de Limites: Houve uma queda significativa entre o F1 de correspondência parcial e exata (ex: Conference caiu de 77,38% para 47,63% em zero-shot), indicando que definir os limites exatos das entidades em texto livre é um desafio difícil, mesmo para modelos avançados.

Tarefa Descendente: Vinculação de Entidades (Entity Linking)

• O objetivo foi vincular menções de Datasets do NERdME a registros no Zenodo.
• Resultados: A abordagem baseada em similaridade semântica (usando o encoder all-MiniLM-L6-v2) superou amplamente a correspondência fuzzy (baseada em tokens).
  • O F1 da similaridade semântica foi de 47,75%, contra 17,67% da correspondência fuzzy.
  • Isso prova que as menções extraídas contêm pistas semânticas suficientes para recuperação e integração de metadados.

5. Significado e Impacto

O NERdME representa um avanço crucial para a Ciência Aberta e Reprodutibilidade.

• Integração de Metadados: Permite que sistemas automatizados descubram e indexem artefatos de pesquisa (código, dados, licenças) diretamente a partir de repositórios de código, conectando-os aos artigos científicos originais.
• Novas Direções de Pesquisa: O dataset abre caminho para pesquisas em resolução de coreferência de entidades acadêmicas, extração de informação de artefatos heterogêneos e adaptação de LLMs para domínios específicos de engenharia de software acadêmico.
• Disponibilidade: O dataset e as diretrizes de anotação estão publicamente disponíveis no Zenodo, incentivando a comunidade a desenvolver melhores ferramentas de extração de informação para o ecossistema de pesquisa de código aberto.