Generative AI and the future of scientometrics: current topics and future questions

Planteamiento del Problema
El campo de la cienciometría, que estudia cuantitativamente la ciencia y la tecnología, está adoptando cada vez más la Inteligencia Artificial Generativa (IA Gen) para tareas que van desde la identificación de temas y la clasificación hasta la evaluación de la investigación y la predicción de citas. Sin embargo, el estado actual del campo se caracteriza por un enfoque de "ensayo y error". La literatura existente se basa en gran medida en comparaciones empíricas entre los resultados de la IA Gen y el juicio humano o las técnicas tradicionales, careciendo a menudo de una comprensión fundamentada de por qué la IA Gen tiene éxito o fracasa en contextos específicos. No existe un consenso claro sobre la fiabilidad de la IA Gen en la cienciometría, con debates que oscilan entre su potencial para democratizar el acceso a los datos y las preocupaciones respecto a su estabilidad y calidad. Además, el campo carece de un marco teórico para anticipar el rendimiento basado en las características de la tarea, y existe una creciente preocupación de que la generación automatizada del lenguaje científico por parte de la IA Gen pueda alterar fundamentalmente los marcadores textuales (vocabulario, autoría, referencias) sobre los cuales dependen los indicadores cienciométricos.

Metodología
Este artículo es un artículo de opinión que propone un marco conceptual para interpretar el rendimiento de la IA Gen y una discusión teórica sobre su impacto futuro. La metodología consiste en:

1. Construcción de un Marco Lingüístico: Los autores adaptan la distinción tripartita del lenguaje de Charles Morris —sintaxis, semántica y pragmática— para categorizar las tareas cirométricas.
   • Sintaxis: La corrección formal del texto (gramática, estructura).
   • Semántica: El significado de las palabras inferido de un corpus (clasificación, etiquetado).
   • Pragmática: La relación del texto con situaciones y contextos comunicativos específicos (evaluación, juicio).
2. Síntesis de la Literatura: Los autores revisan estudios empíricos recientes (2024–2025) que aplican la IA Gen a tareas cirométricas, mapeando estas aplicaciones contra el marco lingüístico propuesto para identificar patrones de rendimiento.
3. Análisis Teórico Exploratorio: El artículo especula sobre las consecuencias de la adopción generalizada de la IA Gen en la escritura académica, analizando cómo podría distorsionar las dimensiones cirométricas centrales: vocabulario, prácticas de autoría, medidas de productividad y uso de referencias.

Contribuciones Clave

1. Un Marco Conceptual para la Clasificación de Tareas: El artículo introduce una distinción entre tareas que requieren inferencia semántica (comprender significados dentro de un texto) y aquellas que requieren juicio pragmático (evaluar textos dentro de contextos institucionales o sociales específicos).
2. Criterios de Predicción de Rendimiento: Argumenta que el rendimiento de la IA Gen no es uniforme, sino que depende de tres parámetros clave:
   • La naturaleza de la tarea (semántica vs. pragmática).
   • El nivel de granularidad (agregado/amplio vs. individual/detallado).
   • El objetivo del análisis (descriptivo/inferencial vs. evaluativo).
3. Orientación Estratégica: Los autores proponen que la IA Gen es altamente efectiva para tareas semánticas (p. ej., etiquetado de temas, clasificación de documentos) a un nivel agregado, pero funciona de manera inconsistente en tareas pragmáticas (p. ej., revisión por pares, identificación de académicos prominentes) donde el contexto individual y el matiz institucional son críticos.
4. Advertencia sobre la Validez de los Indicadores: El artículo destaca un riesgo crítico y a menudo pasado por alto: que la generación de texto científico por parte de la IA Gen pueda alterar las distribuciones estadísticas de palabras, patrones de autoría y citas, invalidando así los indicadores cirométricos establecidos que asumen relaciones estables entre el texto y la práctica científica.

Resultados y Hallazgos

• Tareas Semánticas: La IA Gen demuestra un sólido rendimiento en la inferencia de significados, como el etiquetado de temas o la clasificación de documentos, particularmente cuando se aplica a categorías amplias (p. ej., campos científicos) en lugar de distinciones detalladas. Sin embargo, las "alucinaciones" y la variación estocástica requieren calibración y validación contra datos de referencia.
• Tareas Pragmáticas: El rendimiento es mixto e inestable para tareas que requieren un juicio dependiente del contexto, como la evaluación de la calidad de la investigación, la predicción del impacto de las citas o la identificación de académicos prominentes. Si bien la IA Gen puede mostrar regularidades estadísticas a un nivel agregado, no logra replicar la fiabilidad del juicio humano en casos individuales.
• Integración Humano-Máquina: El artículo concluye que las estrategias de adopción robustas requieren enfoques de "humano en el bucle" (human-in-the-loop). Para las tareas semánticas, los humanos deben centrarse en la calibración y la validación. Para las tareas pragmáticas/evaluativas, la IA Gen debe servir como una herramienta auxiliar o asistente en lugar de un reemplazo para el juicio humano.
• Impacto en las Medidas Cirométricas: Los autores identifican cuatro áreas donde la IA Gen amenaza la validez de las medidas actuales:
  • Vocabulario: La IA Gen puede aumentar la homogeneidad estilística y alterar las frecuencias de las palabras, potencialmente reforzando las asociaciones temáticas existentes y oscureciendo la dinámica cognitiva.
  • Autoría: El uso sistemático de la IA Gen para la redacción puede desacoplar la autoría listada de la contribución intelectual real, complicando las métricas de colaboración.
  • Productividad: La IA Gen puede reducir el costo marginal de la publicación, potencialmente inflando los recuentos de producción mientras reduce la diversidad temática, lo que hace que los indicadores de productividad tradicionales sean menos comparables a lo largo del tiempo.
  • Referencias: Las herramientas de IA Gen pueden fabricar referencias o seleccionarlas basadas en la asociación de palabras en lugar del linaje intelectual, lo que podría distorsionar las redes de citación y la interpretación de la influencia científica.

Significancia y Reivindicaciones
El artículo sostiene que la IA Gen no es meramente una nueva herramienta de productividad, sino una fuerza capaz de alterar la "representación textual de la ciencia". Su importancia radica en el cambio del discurso desde la simple comparación de rendimiento hacia una reevaluación teórica y empírica más profunda de los fundamentos del campo.

• Para la Práctica: Insta a los académicos a alejarse del ensayo y error hacia la consolidación metodológica, enfatizando que la elección de usar la IA Gen debe estar dictada por la naturaleza lingüística de la tarea y el nivel de granularidad requerido.
• Para la Teoría: Hace un llamado a un nuevo programa de investigación para comprender cómo la IA Gen afecta a los indicadores establecidos. Los autores argumentan que, sin un trabajo empírico cuidadoso y una reflexión teórica, el campo corre el riesgo de perder su capacidad para interpretar los patrones evolutivos de la producción de conocimiento.
• Modestia de las Reivindicaciones: Los autores reconocen explícitamente que su discusión sobre el impacto futuro de la IA Gen en las medidas cirométricas es mayormente especulativa debido a la escasez de evidencia empírica existente. Encuadran sus argumentos como hipótesis que requieren una validación rigurosa mediante estudios longitudinales y experimentos controlados (p. ej., comparando corpus previos y posteriores al uso de la IA Gen).