Detecting Evidence of LLM Contributions to Open Access Biomedical Literature: A Bibliometric Analysis
Este análisis bibliométrico de casi 3 millones de artículos biomédicos de acceso abierto revela un aumento significativo después de 2022 en la terminología asociada con los LLM, lo que indica una rápida adopción de herramientas de IA generativa y destaca la necesidad urgente de transparencia y métodos de detección para preservar la integridad científica.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Durante décadas, los académicos han dependido de herramientas para hacer que su escritura sea más clara y su investigación más eficiente. Los correctores ortográficos y el software de gramática han sido durante mucho tiempo ayudantes estándar, suavizando errores y sugiriendo mejores elecciones de palabras sin cambiar la voz central del autor. En años recientes, ha surgido una nueva generación de estas herramientas, capaz de generar párrafos enteros de texto que suenan notablemente humanos. Estos sistemas, conocidos como modelos de lenguaje de gran tamaño, están entrenados en vastas cantidades de material escrito y pueden producir una prosa coherente y pulida sobre casi cualquier tema. Si bien ofrecen la promesa de acelerar el proceso de escritura, también plantean una pregunta difícil para la comunidad científica: ¿cómo podemos distinguir entre una oración escrita por un investigador humano y una elaborada por una máquina? Esta distinción es profundamente importante porque la integridad de la literatura científica depende de la autenticidad de las ideas y la precisión de los hechos presentados dentro de ella. Si una parte significativa de la nueva investigación está siendo redactada o fuertemente editada por estas herramientas, la forma en que leemos, confiamos y construimos sobre ese conocimiento puede necesitar cambiar.
Un equipo de investigadores se propuso responder a esta pregunta observando directamente las palabras mismas. Se centraron en la vasta colección de artículos de investigación médica y biológica de acceso abierto disponibles en una base de datos pública llamada PubMed Central. Esta colección contiene millones de artículos, proporcionando una ventana masiva a cómo los científicos de todo el mundo escriben su trabajo. El equipo no intentó adivinar qué artículos específicos fueron escritos por máquinas, una tarea que ha demostrado ser difícil tanto para humanos como para programas informáticos. En su lugar, buscaron un tipo de señal diferente. Examinaron si ciertas palabras y frases, que estudios previos habían encontrado que eran utilizadas con mucha más frecuencia por la inteligencia artificial que por las personas, habían aumentado repentinamente su presencia en la literatura científica después de finales de 2022, cuando estas herramientas se pusieron ampliamente disponibles al público.
Los investigadores recopilaron casi tres millones de artículos publicados entre 2019 y 2024. Crearon una lista de 190 palabras y frases específicas que habían sido señaladas en investigaciones anteriores como características del texto generado por IA. Estas incluían adjetivos como "meticulous" (meticuloso) e "intricate" (intrincado), verbos como "delve" (profundizar) y "underscore" (subrayar), y frases más largas como "navigating the complexities of" (navegar por las complejidades de) o "it is important to note" (es importante notar). Luego escanearon cada uno de los artículos en su conjunto de datos para ver con qué frecuencia aparecían estos términos. El objetivo era ver si la frecuencia de estas palabras cambiaba con el tiempo, buscando específicamente un salto brusco en el uso después del lanzamiento de las nuevas herramientas de IA.
Los resultados mostraron un cambio claro y dramático en el lenguaje de la investigación biomédica. Antes de 2022, el uso de estos términos específicos crecía de forma lenta y constante, consistente con los cambios normales en la forma en que las personas escriben. Sin embargo, comenzando en 2023 y continuando hacia 2024, el uso de muchas de estas palabras explotó. Por ejemplo, la palabra "meticulously" (meticulosamente), que apareció menos de mil veces en toda la base de datos en 2019, apareció más de 16,000 veces en 2024. La frase "it's important to note" (es importante notar) experimentó un aumento similar, saltando de solo 29 instancias en 2019 a casi 800 en 2024. Quizás lo más revelador fueron las frases más largas y complejas. La combinación "delving into the intricacies of" (profundizando en las complejidades de) era virtualmente inexistente en la literatura antes de 2023, pero para 2024 ya había aparecido en docenas de artículos. Los investigadores señalaron que no se trataba solo de palabras aisladas volviéndose populares; las combinaciones específicas de palabras que son conocidas como sellos distintivos de la escritura de la IA estaban apareciendo juntas con una frecuencia cada vez mayor.
El estudio también analizó cómo estas palabras estaban siendo utilizadas en combinación con otras. Encontraron que pares y grupos de estos términos asociados con la IA aparecían juntos en los mismos artículos en tasas que eran estadísticamente improbables de ocurrir por azar. Por ejemplo, las palabras "artificial intelligence" (inteligencia artificial) y "underscore" (subrayar) comenzaron a aparecer juntas en los mismos artículos con mucha más frecuencia que antes. Los investigadores observaron que estos patrones no eran solo una evolución lenta del estilo del lenguaje, lo cual sucedería gradualmente a lo largo de muchos años, sino más bien un punto de inflexión repentino que coincidía exactamente con el lanzamiento público de las herramientas de IA generativa. Aunque el estudio no puede probar que cualquier artículo individual haya sido escrito por una máquina, la magnitud de este cambio lingüístico sugiere que estas herramientas están siendo utilizadas extensamente por autores en todo el campo.
Los autores del estudio enfatizan que esto no significa que la investigación en sí sea necesariamente defectuosa, ni sugiere que cada artículo que utiliza estas palabras sea inauténtico. En cambio, los hallazgos apuntan a una adopción rápida y generalizada de nuevas ayudas de escritura que están cambiando la textura de la comunicación científica. Los investigadores argumentan que, debido a que estas herramientas a veces pueden cometer errores o producir contenido que carece de una comprensión real, la comunidad científica necesita desarrollar una mejor manera de identificar cuándo están siendo utilizadas. Sugieren que, en lugar de intentar prohibir estas herramientas, que probablemente están aquí para quedarse, los académicos, editores y revisores deberían centrarse en la transparencia. Al reconocer cuándo y cómo se utilizan estas herramientas, el registro científico puede seguir siendo confiable incluso mientras los métodos para crearlo continúan evolucionando. El estudio concluye que el lenguaje de la ciencia está cambiando, y reconocer estos nuevos patrones es el primer paso para comprender cómo la inteligencia artificial está transformando la forma en que compartimos el conocimiento.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.