💻 computer science

A human-validated procedure for linking PhD dissertation metadata to OpenAlex author profiles

Este artigo apresenta e valida um método generalizável, verificado por humanos, que combina medidas de similaridade de nível de caractere, tópicas e baseadas em transformer para vincular de forma confiável metadados de dissertações de doutorado a perfis de autores do OpenAlex, alcançando alta precisão no rastreamento de trajetórias de carreira acadêmica e revelando que aproximadamente 17,3% dos doutorandos da América do Norte não podem ser vinculados a publicações subsequentes.

Autores originais: Jens Peter Andersen, Chaoqun Ni

Publicado 2026-08-28

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jens Peter Andersen, Chaoqun Ni

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Todos os anos, centenas de milhares de estudantes em todo o mundo concluem seus doutorados, um marco que assinala sua entrada formal no mundo da pesquisa. Durante décadas, cientistas que estudam como as carreiras acadêmicas se desenrolam dependeram de um grupo específico de pessoas para dizer o que acontece a seguir: aqueles que continuam a publicar artigos em periódicos. Ao rastrear esses trabalhos publicados, pesquisadores construíram um quadro de quanto tempo os cientistas permanecem ativos, quão produtivos são e como suas carreiras evoluem. No entanto, esse quadro possui um ponto cego significativo. Ele inclui apenas as pessoas que continuaram publicando. Ele ignora o vasto número de graduados que deixam o mundo da publicação acadêmica inteiramente, talvez para trabalhar na indústria, no governo ou no ensino, ou simplesmente para parar de escrever para periódicos. Como esses indivíduos não aparecem nas bases de dados padrão usadas para rastrear a produção científica, eles são efetivamente invisíveis para os estudos que tentam compreender o escopo total do impacto de um doutorado. Sem saber quem está faltando, qualquer estimativa de sucesso profissional ou de atrito é baseada em uma amostra que já foi filtrada pelo requisito de continuar publicando.

Para resolver este problema, uma equipe de pesquisadores desenvolveu uma nova maneira de conectar os pontos entre uma dissertação de doutorado e a carreira subsequente de seu autor, mesmo que esse autor nunca publique outro artigo. Eles focaram no enorme hiato entre o registro de um grau e o registro de uma carreira. O desafio é imenso: uma dissertação é frequentemente o único registro do trabalho de uma pessoa em um campo específico, e as bases de dados que contêm milhões de artigos científicos estão repletas de pessoas que compartilham nomes comuns. Um pesquisador chamado "John Smith" em uma tese de 2009 pode ser a mesma pessoa que um "J. Smith" que publicou um artigo em 2015, ou podem ser duas pessoas completamente diferentes. A dificuldade é agravada pelo fato de que muitos graduados mudam seus nomes, usam iniciais diferentes ou publicam sob variações ligeiramente diferentes de seus nomes. Métodos anteriores frequentemente dependiam de uma correspondência simples de nomes ou de voluntários que já haviam vinculado seu próprio trabalho, ambos os quais falham em capturar a maioria silenciosa de graduados que não continuam no mundo da publicação.

Os pesquisadores abordaram isso criando um sistema computadorizado que atua como um bibliotecário altamente qualificado, comparando os detalhes de uma dissertação contra milhões de correspondências potenciais em uma base de dados global de publicações científicas chamada OpenAlex. Em vez de apenas olhar para nomes, o sistema lê os títulos das dissertações e os títulos dos artigos publicados, decompondo-os em pequenos fragmentos de texto para ver o quanto eles se sobrepõem. O sistema também utiliza tecnologia avançada para compreender os tópicos subjacentes do trabalho, reconhecendo que um artigo sobre "aprendizado de máquina" pode estar relacionado a uma tese intitulada "inteligência artificial", mesmo que as palavras sejam diferentes. O sistema gera uma pontuação que representa a probabilidade de a pessoa que escreveu a tese ser a mesma pessoa que escreveu os artigos. Para garantir que este sistema funcione, os pesquisadores o testaram fazendo com que especialistas humanos revisassem milhares de correspondências potenciais, verificando se os palpites do computador estavam corretos. Eles descobriram que, ao combinar a correspondência de texto com a análise de tópicos, o sistema poderia identificar de forma confiável a mesma pessoa através de diferentes registros com um alto grau de precisão.

Os resultados deste novo método revelam uma realidade alarmante sobre a força de trabalho acadêmica. Quando os pesquisadores aplicaram seu sistema a um grande grupo de doutorandos da América do Norte, descobriram que uma parte significativa desses indivíduos não pôde ser vinculada a nenhuma publicação subsequente na base de dados. Especificamente, eles estimam que entre 10,2% e 20,7% de uma coorte típica de doutorandos nunca aparecem nas principais bases de dados bibliográficas após receberem seus graus, com uma melhor estimativa de 17,3%. Isso significa que quase um em cada cinco doutorandos está ausente dos mapas padrão de carreiras científicas. Este grupo não está necessariamente falhando; eles podem ser bem-sucedidos em outros setores, mas sua ausência dos dados distorce nossa compreensão do que acontece após o doutorado. O estudo também mostrou que a taxa de "desaparecimento" do registro de publicação aumenta com o tempo. Embora cerca de 73% dos graduados ainda sejam observados publicando no ano imediatamente após o grau, esse número cai para aproximadamente 50% após quinze anos. Esse declínio é ainda mais acentuado quando se incluem os graduados que nunca publicaram nada, sugerindo que a maioria dos pesquisadores contribui para a literatura científica por apenas uma janela de tempo limitada.

Os pesquisadores também testaram se a inteligência artificial moderna poderia substituir seu sistema computadorizado estruturado. Eles descobriram que, embora os grandes modelos de linguagem pudessem fazer julgamentos muito precisos quando estavam altamente confiantes, eles eram mais lentos e ligeiramente menos eficazes em encontrar correspondências em todo o grupo do que o sistema de pontuação especializado. A abordagem mais eficiente, sugerem eles, é usar o sistema especializado rápido para escanear todos os dados e, em seguida, usar a inteligência artificial apenas para dupla conferência nos casos em que o primeiro sistema estiver em dúvida. Esse processo de duas etapas permite uma visão abrangente dos dados sem ficar preso pelo tempo e custo de verificar cada registro com um modelo complexo.

Em última análise, este trabalho faz mais do que apenas corrigir um problema técnico de correspondência de dados; ele muda a história da carreira acadêmica. Ao contabilizar os graduados que não publicam, o estudo fornece uma imagem mais honesta e completa dos resultados da formação de doutorado. Ele mostra que o caminho após o doutorado é muito mais diverso do que os dados anteriormente permitiam ver, com um número substancial de pessoas movendo-se para funções que não envolvem a publicação em periódicos acadêmicos. O método desenvolvido aqui é aberto e pode ser aplicado a outros campos e países, oferecendo uma nova ferramenta para formuladores de políticas e pesquisadores entenderem o verdadeiro destino de milhões de pessoas que obtêm um doutorado todos os anos. Ele nos lembra que o fim de uma dissertação nem sempre é o início de uma carreira científica, e que o valor de um doutorado estende-se muito além das páginas de um periódico.

Resumo Técnico: Vinculação de Metadados de Teses de Doutorado a Perfis de Autores no OpenAlex

Definição do Problema
Estabelecer vínculos confiáveis entre teses de doutorado e os registros de publicações subsequentes de seus autores é um desafio persistente na cientometria. As abordagens existentes para estudar trajetórias de carreira acadêmica dependem amplamente de amostras de conveniência — como registros voluntários (ex: Mathematics Genealogy Project) ou amostras restritas a pesquisadores que já estabeleceram uma identidade de publicação estável. Esses métodos excluem sistematicamente graduados que não continuam publicando na academia, entram na indústria ou seguem carreiras não voltadas para a pesquisa. Consequentemente, as estimativas de produtividade no início da carreira, efeitos de supervisão e taxas de atrito são enviesadas para cima porque condicionam o estudo à "sobrevivência" na força de trabalho de publicação. A dificuldade técnica central reside em vincular um registro único e curto de tese (frequentemente com nomes comuns e metadados limitados) a um banco de dados bibliográfico massivo contendo centenas de milhões de entidades de autores, enquanto se distingue correspondências reais de falsos positivos e se identifica de forma robusta ausências reais (ou seja, graduados que genuinamente não possuem publicações subsequentes no banco de dados).

Metodologia
Os autores apresentam um procedimento generalizável, validado por humanos, para vincular metadados de teses do ProQuest Dissertations & Theses (PQDT) a perfis de autores e publicações no OpenAlex. O método opera em quatro etapas principais:

Correspondência Exaustiva de Nomes: O sistema busca no OpenAlex por todos os potenciais correspondentes de autores usando uma estratégia flexível de geração de variantes de nomes. Ele converte o formato de nome invertido do PQDT (Sobrenome, Nome) para o formato padrão e tokeniza os nomes para lidar com variações em iniciais do meio, hifenização e ordenação de nomes (por exemplo, tratando "Felix-Miguel" como um sobrenome único ou como nomes do meio/sobrenome separados). Isso gera um amplo corpus de pares candidatos (dissertação para entidade de autor) para garantir alta revocação (recall).
Medição de Similaridade: Para cada par candidato, o sistema calcula quatro pontuações de similaridade distintas:
- Similaridade de Tópico do Título (S1): Utiliza embeddings do transformador SciBERT para medir a similaridade de cosseno entre o título da tese e os títulos das publicações, capturando a sobreposição semântica de tópicos mesmo sem correspondências exatas de palavras-chave.
- Similaridade Textual do Título (S2): Calcula a similaridade de Jaccard baseada em trigramas de títulos para medir a sobreposição lexical.
- Similaridade Textual de Nome (S3): Calcula a similaridade de Jaccard baseada em trigramas de nomes de autores para lidar com variações de nomes de forma mais robusta do que a simples distância de edição.
- Similaridade do Título da Tese (S4): Utiliza a distância de Damerau-Levenshtein para detectar títulos quase idênticos, assumindo que o próprio título da tese pode aparecer no registro da publicação.
Pontuação Composta e Otimização: Essas medidas são combinadas em uma pontuação composta ponderada ( $C$ ). Os pesos ( $w_1$ a $w_4$ ) não são teóricos, mas estimados empiricamente via uma busca em grade (grid search) exaustiva para maximizar o Coeficiente de Correlação de Matthews (MCC) contra a verdade fundamental validada por humanos. O uso do MCC é crítico devido ao forte desequilíbrio de classes (não correspondências superam vastamente as correspondências).
Validação e Calibragem: O método é validado em duas iterações:
- Teste de Linha de Base: 500 teses amostradas aleatoriamente (todas as áreas, 2009–2010) com 2.549 correspondências candidatas avaliadas por um avaliador humano cego.
- Teste de Calibragem: 1.979 correspondências candidatas extraídas de uma coorte maior (155.994 teses em ciências naturais, técnicas e da saúde, 2005–2010). Esta amostra é balanceada em termos de classe e codificada duplamente por avaliadores cegos. Esta etapa também compara a abordagem de similaridade estruturada contra duas estratégias de Grandes Modelos de Linguagem (LLM) (independente e híbrida) usando Qwen2.5:14b-instruct.

Principais Resultados

Desempenho da Pontuação Estruturada: No teste de linha de base, a pontuação composta otimizada alcançou um MCC de 0,823. No teste de calibragem, a parametrização da linha de base transferiu-se com perda apenas modesta (MCC = 0,805). Quando reotimizada na amostra de calibragem, a pontuação estruturada alcançou um MCC de amostra de 0,896, superando ambas as estratégias de LLM (MCC 0,872 e 0,880) para classificação de cobertura total.
Desempenho do LLM: Embora as abordagens de LLM tenham sido ligeiramente mais conservadoras (menos falsos positivos, mais falsos negativos), elas se destacaram como ferramentas de adjudicação. No subconjunto de casos classificados com "alta confiança" pelo LLM independente (60,4% da amostra), o MCC subiu para 0,945.
Achados Empíricos sobre Não-Publicação: Aplicando o método a 155.994 doutorados na América do Norte (2005–2010), os autores estimam que 17,3% (intervalo: 10,2%–20,7%) da coorte não pode ser vinculada a nenhuma publicação subsequente no OpenAlex. Isso representa uma população "invisível" substancial, frequentemente excluída de estudos cientométricos.
Trajetórias de Carreira: O estudo observa um declínio acentuado na atividade de publicação pós-doutorado. Apenas 49,6% da coorte total é observada publicando 15 anos após a graduação, um número que cai ainda mais quando se contabiliza os não vinculados (não publicadores).

Significância e Alegações
O artigo reivindica três contribuições primárias:

Avanço Metodológico: Fornece um método reprodutível e generalizável para vincular registros de registro único (teses) a bancos de dados bibliográficos massivos sem depender de autorrelatos voluntários ou de verdade fundamentada via ORCID (o que enviesa amostras para publicadores ativos). O método contabiliza explicitamente as taxas de erro para fornecer intervalos de confiança para estimativas substantivas.
Correção do Viés de Seleção: Ao identificar com sucesso a população de "não-publicadores" ou de "curta duração de publicação", o método permite que pesquisadores desloquem o denominador dos estudos de trajetória de carreira de "aqueles que publicaram" para "a população treinada completa". Isso revela a extensão real do atrito na força de trabalho de publicação imediatamente após o doutorado.
Recomendação de Estratégia Híbrida: Os autores propõem uma estratégia de dois estágios: usar a pontuação estruturada, computacionalmente eficiente e de alta revocação, para cobertura total, e implantar LLMs apenas para adjudicar casos próximos ao limiar de decisão ou com baixa similaridade estruturada. Isso equilibra custo e precisão, aproveitando a alta confiança do LLM em casos difíceis enquanto evita seu custo computacional em correspondências diretas.

Os autores mantêm uma postura modesta, observando que o método estima a "atividade de publicação observada" em vez de um status de carreira definitivo (visto que graduados podem publicar em veículos não indexados). Eles também reconhecem limitações relativas a mudanças de nome (ex: por casamento) e problemas de transliteração, que podem inflar a parcela estimada de não-publicadores, particularmente para grupos demográficos específicos. O método é desenhado para ser aplicável a qualquer fonte de dados que contenha campos de metadados relevantes, desde que os parâmetros específicos sejam recalibrados para o domínio alvo.

Mais como este