Assessing the impact of Open Research Information Infrastructures using NLP driven full-text Scientometrics: A case study of the LXCat open-access platform

Este estudo apresenta um framework de cientometria baseado em processamento de linguagem natural (NLP) para avaliar o impacto de infraestruturas de informação de pesquisa aberta além das citações tradicionais, utilizando a plataforma LXCat como estudo de caso para demonstrar como o uso de dados e padrões temáticos moldam a pesquisa científica.

O essencial

O "Google Maps" da Ciência: Como medir o impacto de uma biblioteca digital

Imagine que você é um chef de cozinha tentando criar uma receita revolucionária de um prato exótico. Para isso, você não precisa apenas de ingredientes; você precisa de um livro de receitas confiável que diga exatamente a temperatura do forno e a quantidade de sal para cada tipo de tempero.

Na ciência, especialmente no estudo de "plasmas" (um estado da matéria muito usado em microchips e medicina), os cientistas enfrentam o mesmo problema. Eles não podem simplesmente "chutar" os dados; eles precisam de tabelas de dados ultraprecisas. Existe uma plataforma chamada LXCat, que funciona como essa "Grande Biblioteca de Receitas" para cientistas de plasma.

O Problema: O "Efeito Fama" vs. o "Efeito Uso"

Até agora, para saber se uma biblioteca é importante, os cientistas usavam apenas um método: contar quantas vezes o nome da biblioteca foi citado em outros livros (isso é o que chamamos de "citações").

Mas pense bem: se você tem um livro de receitas maravilhoso, mas ninguém escreve "eu usei o livro X" no final da receita, isso significa que o livro é ruim? Não! Pode ser que o chef tenha usado a técnica do livro, mas esqueceu de dar o crédito, ou talvez ele tenha usado apenas uma página específica para um ingrediente secreto.

As citações tradicionais são como contar quantos "likes" um post tem no Instagram. É legal, mas não te diz se a pessoa realmente leu o conteúdo ou se o conteúdo mudou a vida dela.

A Solução: O "Detetive de Texto" (IA e NLP)

Os autores deste estudo decidiram ser detetives. Em vez de apenas contar o número de vezes que o nome "LXCat" aparecia, eles usaram uma tecnologia chamada NLP (Processamento de Linguagem Natural) — que é, basicamente, uma Inteligência Artificial que consegue "ler" e "entender" textos como um humano, mas em uma velocidade sobre-humana.

Eles pegaram cerca de 400 artigos científicos completos e enviaram para esse "detetive digital". A IA não procurou apenas pelo nome da plataforma, ela procurou por:

1. Os Ingredientes: Quais gases os cientistas estão estudando? (Nitrogênio? Oxigênio?)
2. As Ferramentas: Quais calculadoras digitais eles estão usando junto com os dados?
3. O Mapa: De quais países esses cientistas estão vindo?
4. O Assunto: Eles estão usando os dados para criar foguetes espaciais ou para limpar o meio ambiente?

O que eles descobriram? (Os Resultados)

O "detetive" descobriu coisas que o simples contador de citações não via:

• A biblioteca é um motor de inovação: Eles viram que a LXCat não é apenas um depósito de arquivos parado; ela está conectada a ferramentas de cálculo que os cientistas usam o tempo todo para fazer suas simulações funcionarem.
• Diversidade de temas: A IA mostrou que os dados da LXCat estão sendo usados em áreas muito diferentes, desde a limpeza de gases poluentes até a propulsão de naves no espaço.
• Conexão Global: Eles mapearam como o conhecimento está se espalhando pelo mundo, mostrando que a plataforma une cientistas de diversos países.

Por que isso é importante para o mundo?

Este estudo criou uma nova régua de medição.

Imagine que o governo ou uma empresa queira decidir onde investir dinheiro para a ciência. Em vez de dar dinheiro para quem tem mais "likes" (citações), eles agora podem usar esse método de "detetive de texto" para dar dinheiro para as ferramentas que realmente estão sendo usadas na prática para construir o futuro.

Em resumo: Os pesquisadores criaram um novo par de óculos para a ciência. Com esses óculos, não vemos apenas quem é "famoso", mas sim quem é útil e como a informação está realmente construindo o conhecimento humano.

Resumo técnico

Resumo Técnico: Avaliação do Impacto de Infraestruturas de Informação de Pesquisa Aberta (ORI) usando Cientometria de Texto Completo impulsionada por NLP

1. O Problema

A pesquisa científica moderna depende cada vez mais de infraestruturas de Informação de Pesquisa Aberta (ORI) para compartilhar e reutilizar dados. No entanto, a eficácia e o impacto dessas plataformas (como repositórios de dados e ferramentas de simulação) são tradicionalmente medidos por métricas bibliométricas simples, como contagens de citações.

O problema central identificado pelos autores é que as citações sozinhas são insuficientes para capturar o impacto real de uma infraestrutura de dados. Elas não revelam como os dados estão sendo usados, quais espécies químicas são mais demandadas, como as ferramentas de software são acopladas aos conjuntos de dados ou como as práticas de pesquisa evoluem tematicamente. O estudo foca na plataforma LXCat, um ecossistema de dados de código aberto essencial para a pesquisa de Plasma de Baixa Temperatura (LTP), que carecia de uma avaliação sistemática de seu impacto prático além das citações.

2. Metodologia

Os autores propõem um framework cientométrico escalável e independente de domínio, utilizando Processamento de Linguagem Natural (NLP) para analisar o conteúdo de texto completo. A metodologia segue um pipeline de múltiplas etapas:

• Construção do Corpus: Coleta de metadados via Scopus de artigos que citam três publicações fundamentais da LXCat, resultando em um corpus curado de 403 artigos de texto completo.
• Processamento de Dados: Conversão de PDFs para formatos estruturados (JSON e Markdown) usando o framework Marker, seguido de limpeza de texto para remover elementos não linguísticos (equações, tabelas, referências).
• Extração de Entidades via NLP:
  • Reconhecimento de Entidades Químicas: Uso do ChemDataExtractor e consulta ao PubChem para normalizar e identificar espécies de gases.
  • Extração de Menções de Bancos de Dados: Segmentação de sentenças e filtragem por palavras-chave para identificar quais bases de dados da LXCat foram mencionadas.
  • Detecção do Solver BOLSIG+: Identificação de menções ao software de simulação para entender o acoplamento entre dados e ferramentas.
  • Mapeamento Geográfico: Extração de afiliações de autores para análise de colaboração global.
• Modelagem de Tópicos: Aplicação do BERTopic (baseado em transformadores) para identificar temas latentes e tendências de pesquisa no corpus.

3. Principais Contribuições

• Framework de Avaliação de Uso: Um método que vai além da visibilidade (citações) para medir a utilidade (uso de dados e ferramentas).
• Pipeline de NLP Especializado: Um conjunto de ferramentas capaz de extrair entidades científicas complexas e relacioná-las ao contexto de uso.
• Software de Código Aberto: O pipeline completo foi disponibilizado para permitir a reprodutibilidade e a aplicação em outros campos científicos.
• Abordagem Agnóstica ao Domínio: Embora testado em física de plasma, o método é aplicável a qualquer área (ex: genômica ou ciência dos materiais).

4. Resultados

• Difusão Global: A análise mostrou uma expansão geográfica significativa, com o aumento da participação de países como China, Reino Unido, Índia e Brasil, além da liderança constante dos EUA.
• Padrões de Uso de Dados: Identificou-se que gases como Nitrogênio ($N_2$) e Oxigênio ($O_2$) são os mais centrais, mas houve uma evolução de uma dependência de poucos bancos de dados para um uso mais diversificado de múltiplos recursos da LXCat.
• Acoplamento Ferramenta-Dado: O estudo provou a forte integração funcional entre os bancos de dados da LXCat e o solver BOLSIG+, revelando como os pesquisadores operacionalizam os dados em fluxos de trabalho de simulação.
• Evolução Temática: A modelagem de tópicos revelou clusters claros, desde física fundamental (colisões de elétrons) até aplicações avançadas (propulsão espacial, conversão de $CO_2$ e combustão de plasma).

5. Significância

Este trabalho é significativo por transformar a maneira como avaliamos infraestruturas de ciência aberta. Ele demonstra que plataformas como a LXCat não são apenas repositórios estáticos, mas infraestruturas epistêmicas que moldam ativamente a direção da pesquisa, os padrões de modelagem e a reprodutibilidade científica.

Para formuladores de políticas e financiadores, o framework oferece uma ferramenta baseada em evidências para monitorar a adoção de portais de dados abertos e identificar lacunas de conhecimento, garantindo a sustentabilidade e o desenvolvimento de infraestruturas de pesquisa essenciais para a inovação tecnológica.