A Pathway for Assessing Grey Literature: Leveraging AI to Extract Conference Metadata and Organiser Information from Calls for Papers
Este artigo apresenta o COCI, um framework baseado em IA que utiliza Grandes Modelos de Linguagem para automatizar a extração e estruturação de metadados granulares a partir de Chamadas para Trabalhos não estruturadas, permitindo, assim, a análise sistemática de metaciência de literatura cinzenta anteriormente negligenciada.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
A ciência é frequentemente imaginada como uma coleção de livros acabados, organizados ordenadamente em prateleiras de bibliotecas, onde pesquisadores estudam o passado lendo o que já foi publicado. Mas uma vasta quantidade de conhecimento importante existe fora desses canais formais. Isso é chamado de "literatura cinzenta", um termo para relatórios, documentos de trabalho e documentos que nunca chegam aos periódicos padrão. Entre os mais vitais destes estão as "chamadas para trabalhos" (calls for papers), que são anúncios convidando pesquisadores a submeterem seus trabalhos para conferências futuras. Esses documentos são o sistema de alerta precoce da ciência, revelando novas tendências e campos emergentes antes mesmo de serem redigidos em um artigo final. No entanto, como esses anúncios estão espalhados pela web em formatos desordenados e não padronizados, tem sido quase impossível estudá-los em larga escala. As ferramentas computacionais tradicionais têm dificuldade em lê-los, deixando uma enorme lacuna em nossa compreensão de como as comunidades científicas realmente se formam e evoluem.
Para preencher essa lacuna, uma equipe de pesquisadores desenvolveu um novo sistema chamado COCI, que utiliza inteligência artificial avançada para ler e organizar esses anúncios caóticos. O sistema atua como um arquivista digital, pegando o texto bruto e não estruturado de um convite de conferência e transformando-o em uma lista limpa e organizada de fatos. Ele identifica o nome do evento, o ano e o local e, o mais importante, as pessoas que comandam o show. Ele não apenas lista nomes; ele descobre quem são essas pessoas, a quais instituições pertencem e quais papéis específicos desempenham, como organizar um workshop ou gerenciar a publicidade. Ao fazer isso, o sistema transforma um emaranhado de texto em um banco de dados estruturado que os cientistas podem realmente usar para analisar o panorama da pesquisa.
Os pesquisadores testaram este sistema alimentando-o com quarenta anúncios de conferências diferentes de uma ampla variedade de campos, que variam de ciência da computação e engenharia a odontologia e arqueologia. O objetivo era ver se o sistema conseguiria lidar com a realidade desordenada da internet, onde uma conferência pode listar seus organizadores em um parágrafo simples e outra pode esconder a informação em uma tabela complexa. O sistema extraiu com sucesso os detalhes principais de todos os quarenta documentos. Ele identificou a série de conferências, a edição específica e a localização geográfica. Também extraiu os nomes de cada pessoa no comitê organizador e os vinculou a registros científicos públicos para verificar suas identidades e afiliações. Esse processo permite que o sistema distinga entre diferentes pessoas que possam compartilhar o mesmo nome e confirme qual universidade ou organização elas representam atualmente.
Uma das conquistas mais significativas do sistema é sua capacidade de dar sentido aos tópicos que essas conferências abrangem. Quando um anúncio de conferência lista suas áreas de interesse, ele frequentemente usa linguagem informal ou frases únicas. O sistema traduz isso para conceitos científicos padrão, criando uma ponte entre a linguagem casual do anúncio e o vocabulário formal usado por pesquisadores em todo o mundo. Ele também combina o nome da conferência com bancos de dados globais existentes, garantindo que o evento seja corretamente identificado, mesmo que o nome seja ligeiramente diferente ou se a conferência tiver sido realizada sob vários títulos ao longo dos anos. Isso cria um mapa confiável do evento dentro do mundo mais amplo da ciência.
No entanto, os pesquisadores foram cuidadosos ao notar que o sistema não é perfeito e requer supervisão humana para corrigir seus erros. Em um caso de teste, o sistema assumiu incorretamente que todos os membros de um comitê organizador pertenciam à mesma universidade porque o texto original não especificava suas afiliações individuais. Os pesquisadores construíram uma verificação de segurança no sistema para detectar esse tipo de erro, reconhecendo que é altamente improvável que todo um comitê venha de uma única instituição. Em outro exemplo, o sistema associou um pesquisador à pessoa errada em um banco de dados público porque o próprio banco de dados continha informações conflitantes. Esses exemplos mostram que, embora a ferramenta seja poderosa, ela ainda depende da qualidade dos dados aos quais acessa e da lógica das regras que segue.
O objetivo final deste trabalho é deslocar o foco da análise científica para esses eventos não tradicionais. Ao tornar possível estudar chamadas para trabalhos sistematicamente, o sistema abre as portas para compreender como as comunidades de pesquisa são construídas do zero. Ele permite o rastreamento de tendências emergentes antes que apareçam em periódicos formais e fornece uma maneira de reconhecer as contribuições de muitas pessoas que organizam e moldam esses eventos, mas que muitas vezes passam despercebidas nas métricas tradicionais. Os pesquisadores disponibilizaram sua ferramenta ao público como um projeto de código aberto, convidando outros a usá-la e melhorá-la. Essa abordagem sugere um futuro onde o quadro completo e diversificado da atividade científica pode ser visto — não apenas os resultados finais polidos, mas o processo dinâmico e em evolução da própria descoberta.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.