LLM assisted writing deserves empirical evaluation

La ciencia siempre ha sido una conversación, una que depende de una escritura clara para compartir descubrimientos a través de fronteras e idiomas. Durante décadas, los investigadores han dependido de mentores, editores profesionales y servicios de traducción para asegurar que su trabajo sea comprendido por la comunidad global. Hoy en día, un nuevo participante se ha unido a esta conversación: los modelos de lenguaje de gran tamaño. Estos son programas informáticos entrenados con vastas cantidades de texto que pueden leer, resumir y reescribir el lenguaje humano con una fluidez notable. A medida que estas herramientas se vuelven comunes en laboratorios y oficinas, ha surgido un debate sobre su papel en la ciencia. Muchos temen que su uso pueda ocultar al verdadero autor de una idea, introducir errores o disminuir la calidad de la investigación. En consecuencia, gran parte de la discusión actual se centra en cómo detectar cuándo una máquina ha ayudado a escribir un artículo, tratando el asunto principalmente como una cuestión de vigilancia. Sin embargo, este enfoque en la detección puede pasar por alto una pregunta más importante: ¿cómo cambia el uso real de estas herramientas la forma en que se comunica la ciencia y quién puede participar en ella?

Para responder a esto, un equipo de investigadores de Weill Cornell Medicine y Columbia University decidió observar la evidencia en lugar de la teoría. Examinaron una colección masiva de 69.209 artículos científicos en el campo de la informática de la salud, que trata sobre cómo se utilizan los datos y la tecnología en la medicina y la salud pública. Los investigadores dividieron estos artículos en tres grupos para ver en qué se diferenciaban. El primer grupo contenía artículos escritos antes de finales de 2022, antes del lanzamiento público de los chatbots más avanzados. El segundo grupo incluía artículos escritos después de esa fecha que no mostraban signos de utilizar estas herramientas. El tercer grupo consistía en artículos del mismo periodo reciente que los investigadores identificaron como asistidos por modelos de lenguaje de gran tamaño. Para encontrar estos artículos asistidos, utilizaron un programa informático especializado entrenado para reconocer las sutiles diferencias entre la escritura humana y el texto que ha sido reescrito o generado por una IA.

El análisis reveló que los artículos asistidos por estas herramientas no eran el trabajo de menor calidad o menos serio que los críticos suelen temer. En cambio, los datos sugían una realidad diferente. Estos artículos tendían a ser más enfocados en su presentación. Mientras que un artículo científico típico podría deambular por varios temas diferentes, los artículos asistidos por IA se ceñían más estrechamente a un único y claro tema. Sus títulos y resúmenes estaban estrechamente alineados con el tema principal de la investigación, lo que facilitaba a los lectores comprender exactamente de qué trataba el estudio y dónde encajaba dentro del campo más amplio. Esta claridad no significaba que las ideas fueran menos originales; más bien, sugería que las herramientas ayudaban a los autores a posicionar su trabajo de manera más precisa dentro de las conversaciones científicas establecidas.

Otro cambio significativo apareció en la forma en que estos artículos referenciaban otros trabajos. Los artículos asistidos por IA citaban más fuentes que los artículos escritos sin asistencia, y esas fuentes cubrían una gama más amplia de temas. Este hallazgo desafía la idea de que las máquinas simplemente hacen que la escritura sea más rápida sin añadir valor. Sugiere que los investigadores están utilizando estas herramientas para explorar literatura que quizás de otro modo no habrían encontrado, tal vez resumiendo textos complejos o generando nuevos términos de búsqueda. Sin embargo, los investigadores señalaron que tener una lista de referencias más larga no significa automáticamente que la investigación sea más profunda o mejor. Una bibliografía puede ser amplia pero superficial, o puede incluir citas que están solo débilmente conectadas con el argumento principal. Las herramientas facilitan la recopilación de una red amplia de información, pero la responsabilidad de seleccionar las fuentes más relevantes y precisas sigue recayendo en el autor humano.

Quizás la diferencia más sorprendente se encontró en quién escribía estos artículos. El estudio mostró que los artículos asistidos por IA tenían más probabilidades de tener a su primer autor basado en un país donde el inglés no es la lengua principal. También mostraron un mayor nivel de colaboración entre investigadores de diferentes continentes e incluyeron más autores de economías de ingresos bajos y medios. Este patrón sugiere que estas herramientas pueden estar actuando como un puente, ayudando a los científicos a superar las barreras lingüísticas que a menudo dificultan y encarecen la publicación en revistas internacionales. Al proporcionar ayuda bajo demanda con la edición y la traducción, la tecnología puede estar nivelando el campo de juego, permitiendo que voces más diversas entren en la conversación científica global.

A pesar de estos cambios en el enfoque, las citas y la autoría, el estudio encontró que la visibilidad e impacto del trabajo se mantuvieron constantes. Una preocupación común es que los artículos escritos con ayuda de la IA puedan ser ignorados o citados con menos frecuencia. Los datos no respaldaron esto. Cuando los investigadores compararon la rapidez con la que los artículos recibían citas después de su publicación, los artículos asistidos por IA funcionaron igual de bien que aquellos escritos sin ayuda. También fueron publicados en revistas de alto prestigio, de manera similar a los otros grupos. Esto indica que la comunidad científica no está rechazando estos artículos; por el contrario, están siendo leídos y reconocidos al mismo ritmo que el trabajo tradicional.

Los investigadores concluyeron que la conversación sobre la inteligencia artificial en la ciencia necesita cambiar. En lugar de centrarse en cómo atrapar a las personas que usan estas herramientas o intentar separar la erudición "real" de la "asistida", la comunidad científica debería centrarse en la calidad de la investigación misma. El estudio sugiere que estas herramientas no son inherentemente buenas o malas; son simplemente una nueva parte del proceso de escritura, muy parecidas a un corrector ortográfico o un paquete de software estadístico. Su efecto depende enteramente de cómo se utilicen. Si ayudan a los autores a comunicarse con mayor claridad e incluir perspectivas más diversas, pueden ser una poderosa fuerza para el bien. Si se utilizan para tomar atajos o esconder errores, pueden ser perjudiciales. La evidencia muestra que las herramientas ya están remodelando cómo se escribe la ciencia y quién la escribe, y la mejor manera de avanzar es juzgar el trabajo por su exactitud e integridad, no por el software utilizado para redactarlo.