💻 computer science

A human-validated procedure for linking PhD dissertation metadata to OpenAlex author profiles

Este artículo presenta y valida un método generalizable, verificado por humanos, que combina medidas de similitud a nivel de carácter, tópicas y basadas en transformers para vincular de manera fiable los metadatos de las tesis doctorales con los perfiles de autor de OpenAlex, logrando una alta precisión en el seguimiento de las trayectorias académicas y revelando que aproximadamente el 17,3% de los graduados de doctorado en Norteamérica no pueden ser vinculados a publicaciones posteriores.

Autores originales: Jens Peter Andersen, Chaoqun Ni

Publicado 2026-08-28

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jens Peter Andersen, Chaoqun Ni

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Cada año, cientos de miles de estudiantes de todo el mundo completan sus doctorados, un hito que marca su entrada formal en el mundo de la investigación. Durante décadas, los científicos que estudian cómo se desarrollan las carreras académicas han dependido de un grupo específico de personas para saber qué sucede después: aquellos que continúan publicando artículos en revistas. Al rastrear estos trabajos publicados, los investigadores han construido una imagen de cuánto tiempo permanecen activos los científicos, qué tan productivos son y cómo evolucionan sus carreras. Sin embargo, esta imagen tiene un punto ciego significativo. Solo incluye a las personas que siguieron publicando. Ignora al vasto número de graduados que abandonan el mundo de la publicación académica por completo, quizás para trabajar en la industria, el gobierno o la enseñanza, o simplemente para dejar de escribir para revistas. Debido a que estos individuos no aparecen en las bases de datos estándar utilizadas para rastrear la producción científica, son efectivamente invisibles para los estudios que intentan comprender el alcance total del impacto de un doctorado. Sin saber quién falta, cualquier estimación de éxito profesional o deserción se basa en una muestra que ya ha sido filtrada por el requisito de seguir publicando.

Para resolver este problema, un equipo de investigadores ha desarrollado una nueva forma de conectar los puntos entre una tesis doctoral y la carrera posterior de su autor, incluso si ese autor nunca publicó otro artículo. Se centraron en la enorme brecha entre el registro de un título y el registro de una carrera. El desafío es inmenso: una tesis es a menudo el único registro del trabajo de una persona en un campo específico, y las bases de datos que contienen millones de artículos científicos están llenas de personas que comparten nombres comunes. Un investigador llamado "John Smith" en una tesis de 2009 podría ser la misma persona que un "J. Smith" que publicó un artículo en 2015, o podrían ser dos personas completamente diferentes. La dificultad se ve agravada por el hecho de que muchos graduados cambian sus nombres, usan diferentes iniciales o publican bajo variaciones ligeramente distintas de sus nombres. Los métodos anteriores a menudo dependían de una simple coincidencia de nombres o de voluntarios que ya habían vinculado su propio trabajo, ambos de los cuales fallan al capturar a la mayoría silenciosa de los graduados que no continúan en el mundo de la publicación.

Los investigadores abordaron esto creando un sistema computarizado que actúa como un bibliotecario altamente calificado, comparando los detalles de una tesis contra millones de posibles coincidencias en una base de datos global de publicaciones científicas llamada OpenAlex. En lugar de solo mirar los nombres, el sistema lee los títulos de las tesis y los títulos de los artículos publicados, descomponiéndolos en pequeñas piezas de texto para ver cuánto se superponen. También utiliza tecnología avanzada para comprender los temas subyacentes del trabajo, reconociendo que un artículo sobre "aprendizaje automático" puede estar relacionado con una tesis titulada "inteligencia artificial" aunque las palabras sean diferentes. El sistema genera una puntuación que representa qué tan probable es que la persona que escribió la tesis sea la misma persona que escribió los artículos. Para asegurar que este sistema funcione, los investigadores lo probaron haciendo que expertos humanos revisaran miles de posibles coincidencias, verificando si las suposiciones de la computadora eran correctas. Encontraron que, al combinar la coincidencia de texto con el análisis de temas, el sistema podía identificar de manera confiable a la misma persona a través de diferentes registros con un alto grado de precisión.

Los resultados de este nuevo método revelan una realidad sorprendente sobre la fuerza laboral académica. Cuando los investigadores aplicaron su sistema a un gran grupo de graduados de doctorado de América del Norte, encontraron que una parte significativa de estos individuos no pudo ser vinculada con ninguna publicación posterior en la base de datos. Específicamente, estiman que entre el 10.2% y el 20.7% de una cohorte típica de graduados de doctorado nunca aparece en las principales bases de datos bibliográficas después de recibir su título, con una mejor estimación del 17.3%. Esto significa que casi uno de cada cinco graduados doctorales está ausente de los mapas estándar de las carreras científicas. Este grupo no es necesariamente un fracaso; pueden tener éxito en otros sectores, pero su ausencia de los datos sesga nuestra comprensión de lo que sucede después de un doctorado. El estudio también mostró que la tasa de "desaparición" del registro de publicaciones aumenta con el tiempo. Mientras que aproximadamente el 73% de los graduados todavía se observa publicando en el año inmediatamente posterior a su título, esa cifra cae a aproximadamente el 50% quince años después. Este declive es aún más pronunciado cuando se incluye a los graduados que nunca publicaron en absoluto, lo que sugiere que la mayoría de los investigadores contribuyen a la literatura científica solo durante un período de tiempo limitado.

Los investigadores también probaron si la inteligencia artificial moderna podría reemplazar su sistema computarizado estructurado. Encontraron que, si bien los modelos de lenguaje de gran tamaño podían realizar juicios muy precisos cuando tenían mucha confianza, eran más lentos y ligeramente menos efectivos para encontrar coincidencias en todo el grupo que el sistema de puntuación especializado. El enfoque más eficiente, sugieren, es usar el sistema especializado y rápido para escanear todos los datos y luego usar la inteligencia artificial solo para verificar los casos en los que el primer sistema no está seguro. Este proceso de dos pasos permite una visión exhaustiva de los datos sin estancarse en el tiempo y el costo de revisar cada registro con un modelo complejo.

En última instancia, este trabajo hace más que simplemente arreglar un problema técnico de coincidencia de datos; cambia la historia de la carrera académica. Al contabilizar a los graduados que no publican, el estudio proporciona una imagen más honesta y completa de los resultados de la formación doctoral. Muestra que el camino después de un doctorado es mucho más diverso de lo que los datos han permitido ver anteriormente, con un número sustancial de personas moviéndose hacia roles que no implican la publicación en revistas académicas. El método desarrollado aquí es abierto y puede aplicarse a otros campos y países, ofreciendo una nueva herramienta para que los responsables de políticas y los investigadores comprendan el verdadero destino de los millones de personas que obtienen un doctorado cada año. Nos recuerda que el final de una tesis no es siempre el comienzo de una carrera científica, y que el valor de un doctorado se extiende mucho más allá de las páginas de una revista.

Resumen Técnico: Vinculación de Metadatos de Tesis Doctorales con Perfiles de Autores en OpenAlex

Planteamiento del Problema
Establecer vínculos fiables entre las tesis doctorales y los registros de publicaciones subsiguientes de sus autores es un desafío persistente en la cienciometría. Los enfoques existentes para estudiar las trayectorías de las carreras académicas dependen en gran medida de muestras de conveniencia —como registros voluntarios (p. ej., el Mathematics Genealogy Project) o muestras restringidas a investigadores que ya han establecido una identidad de publicación estable. Estos métodos excluyen sistemáticamente a los graduados que no continúan publicando en la academia, que ingresan a la industria o que siguen carreras ajenas a la investigación. En consecuencia, las estimaciones de la productividad al inicio de la carrera, los efectos de la supervisión y las tasas de deserción están sesgadas al al alza porque condicionan el estudio a la "supervivencia" en la fuerza laboral de publicación. La dificultad técnica central radica en vincular un registro de tesis único y breve (a menudo con nombres comunes y metadatos limitados) con una base de datos bibliográfica masiva que contiene cientos de millones de entidades de autor, mientras se distinguen los emparejamientos verdaderos de los falsos positivos y se identifican de manera robusta las ausencias reales (es decir, graduados que genuinamente no tienen publicaciones posteriores en la base de datos).

Metodología
Los autores presentan un procedimiento generalizable, validado por humanos, para vincular los metadatos de las tesis doctorales de ProQuest Dissertations & Theses (PQDT) con perfiles de autores y publicaciones en OpenAlex. El método opera en cuatro pasos principales:

Búsqueda Exhaustiva de Nombres: El sistema busca en OpenAlex todos los posibles emparejamientos de autores utilizando una estrategia flexible de generación de variantes de nombres. Convierte el formato de nombre invertido de PQDT (Apellido, Nombre) al formato estándar y tokeniza los nombres para manejar variaciones en iniciales medias, guiones y orden de nombres (por ejemplo, tratando a "Felix-Miguel" como un apellido único o como nombre y apellido separados). Esto genera un corpus amplio de pares candidatos (tesis a entidad de autor) para asegurar una alta recuperación (recall).
Medición de Similitud: Para cada par candidato, el sistema calcula cuatro puntuaciones de similitud distintas:
- Similitud Temática de Título (S1): Utiliza incrustaciones (embeddings) del transformador SciBERT para medir la similitud de coseno entre el título de la tesis y los títulos de las publicaciones, capturando la superposición semántica de temas incluso sin coincidencias exactas de palabras clave.
- Similitud Textual de Título (S2): Calcula la similitud de Jaccard basada en trigramas de títulos para medir la superposición léxica.
- Similitud Textual de Nombre (S3): Calcula la similitud de Jaccard basada en trigramas de nombres de autor para manejar las variaciones de nombre de manera más robusta que la simple distancia de edición.
- Similitud de Título de Tesis (S4): Utiliza la distancia de Damerau-Levenshtein para detectar títulos casi idénticos, asumiendo que el título de la tesis misma puede aparecer en el registro de la publicación.
Puntuación Compuesta y Optimización: Estas medidas se combinan en una puntuación compuesta ponderada ( $C$ ). Los pesos ( $w_1$ a $w_4$ ) no son teóricos, sino que se estiman empíricamente mediante una búsqueda de cuadrícula (grid search) exhaustiva para maximizar el Coeficiente de Correlación de Matthews (MCC) frente a una verdad de terreno validada por humanos. El uso de MCC es crítico debido al fuerte desequilibrio de clases (los no emparejamientos superan ampliamente a los emparejamientos).
Validación y Calibración: El método se valida en dos iteraciones:
- Prueba de Línea de Base: 500 tesis muestreadas aleatoriamente (campos generales, 2009–2010) con 2,549 emparejamientos candidatos evaluados por un evaluador humano ciego.
- Prueba de Calibración: 1,979 emparejamientos candidatos extraídos de una cohorte más grande (155,994 tesis en ciencias naturales, técnicas y de la salud, 2005–2010). Esta muestra está equilibrada en clases y es codificada doblemente por evaluadores ciegos. Esta etapa también compara el enfoque de similitud estructurada contra dos estrategias de Modelos de Lenguaje de Gran Escala (LLM) (independiente e híbrida) utilizando Qwen2.5:14b-instruct.

Resultos Clave

Rendimiento de la Puntuación Estructurada: En la prueba de línea de base, la puntuación compuesta optimizada alcanzó un MCC de 0.823. En la prueba de calibración, la parametrización de la línea de base se transfirió con una pérdida modesta (MCC = 0.805). Al re-optimizar sobre la muestra de calibración, la puntuación estructurada alcanzó un MCC intra-muestra de 0.896, superando a ambas estrategias de LLM (MCC 0.872 y 0.880) para la clasificación de cobertura total.
Rendimiento de los LLM: Aunque los enfoques de LLM fueron ligeramente más conservadores (menos falsos positivos, más falsos negativos), destacaron como herramientas de adjudicación. En el subconjunto de casos calificados con "alta confianza" por el LLM independiente (60.4% de la muestra), el MCC ascendió a 0.945.
Hallazgos Empíricos sobre la No-Publicación: Aplicando el método a 155,994 doctorados norteamericanos (2005–2010), los autores estiman que el 17.3% (intervalo: 10.2%–20.7%) de la cohorte no puede ser vinculado a ninguna publicación posterior en OpenAlex. Esto representa una población "invisible" sustancial que suele ser excluida de los estudios cienciométricos.
Trayectorias de Carrera: El estudio observa un declive pronunciado en la actividad de publicación post-doctorado. Solo el 49.6% de la cohorte completa se observa publicando 15 años después de la graduación, una cifra que cae aún más al contabilizar a los no vinculados (graduados que no publican).

Significancia y Reivindicaciones
El artículo reivindica tres contribuciones principales:

Avance Metodológico: Proporciona un método reproducible y generalizable para vincular registros de un solo registro (tesis) con bases de datos bibliográficas masivas sin depender de la autoinformación voluntaria o de la verdad de terreno vinculada a ORCID (que sesga las muestras hacia publicadores activos). El método explica explícitamente los errores para proporcionar intervalos de confianza para las estimaciones sustantivas.
Corrección del Sesgo de Selección: Al identificar con éxito la población de "no publicadores" o de "publicación corta", el método permite a los investigadores cambiar el denominador de los estudios de trayectoria de carrera de "aquellos que publicaron" a "la población completa formada". Esto revela la verdadera magnitud de la deserción de la fuerza laboral de publicación inmediatamente después del doctorado.
Recomendación de Estrategia Híbrida: Los autores proponen una estrategia de dos etapas para aplicaciones a gran escala: utilizar la puntuación estructurada, computacionalmente eficiente y de alta recuperación, para la cobertura total, y desplegar LLMs solo para adjudicar casos cercanos al umbral de decisión o con baja similitud estructurada. Esto equilibra costo y precisión, aprovechando la alta confianza del LLM en casos difíciles mientras se evita su sobrecarga computacional en emparejamientos sencillos.

Los autores mantienen una postura modesta, señalando que el método estima la "actividad de publicación observada" en lugar de un estatus de carrera definitivo (ya que los graduados pueden publicar en sedes no indexadas). También reconocen limitaciones respecto a cambios de nombre (p. ej., por matrimonio) y problemas de transliteración, que pueden inflar la proporción estimada de no publicadores, particularmente para grupos demográficos específicos. El método está diseñado para ser aplicable a cualquier fuente de datos que contenga campos de metadatos relevantes, siempre que los parámetros específicos sean recalibrados para el dominio objetivo.

Más como este