What does Retraction Watch's "computer-generated content" reason capture? A metadata analysis of 9,161 retractions
Este análisis de metadatos de 9.161 retractaciones revela que la razón de "contenido generado por computadora" en Retraction Watch está fuertemente concentrada en un solo editor y fuertemente asociada con las fábricas de artículos (paper mills), pero estos patrones reflejan prácticas de co-codificación en lugar de proporcionar evidencia definitiva sobre la presencia real de IA generativa en los artículos retractados.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En la vasta biblioteca del conocimiento humano, se supone que cada estudio publicado es un bloque de construcción de la verdad. Pero a veces, se extraen bloques. Cuando una revista decide que un artículo es defectuoso, fraudulento o simplemente erróneo, emite una retractación, retirando efectivamente el artículo de los estantes de la ciencia. Durante décadas, los investigadores han rastreado estas retractaciones para comprender cómo falla el sistema. Recientemente, una nueva razón ha aparecido en los avisos de retractación: "contenido generado por computadora". Esta etiqueta se aplica cuando una investigación determina que un artículo fue escrito, en su totalidad o en parte, por una máquina en lugar de un humano. A medida que las herramientas de inteligencia artificial se han vuelto más potentes y accesibles, esta razón ha crecido rápidamente, llevando a muchos a creer que señala una nueva ola de mala conducta impulsada por la IA generativa. La pregunta es si esta etiqueta realmente apunta a un aumento de artículos escritos por IA, o si está capturando algo completamente distinto.
Un investigador llamado Jonas Mandalunes se propuso investigar exactamente qué captura esta etiqueta. Utilizando una base de datos masiva de más de 66,000 registros de retractación, el estudio se centró en los 9,161 artículos que portaban la razón "contenido asistido o generado por computadora". El objetivo era ver si estos artículos se comportaban de manera diferente a otros artículos retractados en términos de cuánto tiempo permanecieron impresos antes de ser retirados, qué otros problemas tenían y con qué frecuencia fueron citados después de su retractación. Los hallazgos revelan que la historia detrás de esta etiqueta es mucho más compleja y específica que un simple aumento en el mal uso de la IA.
Lo primero que mostró la data fue un aumento masivo en los números, pero no fue un ascenso constante en todo el mundo de la ciencia. Antes de 2020, esta razón era casi inexistente, apareciendo en solo 28 artículos. Para 2023, sin embargo, representaba casi el 42 por ciento de todas las retractaciones registradas ese año. Esta explosión repentina parecía una oleada de fraude generado por IA. Sin embargo, cuando el investigador miró más de cerca, la ola no venía de todas partes. Estaba concentrada casi por completo en un lugar específico: un único editor conocido como Hindawi. De hecho, el 70 por ciento de todos los artículos con esta etiqueta provenían de ese único editor. Este editor había pasado recientemente por una investigación interna masiva en sus programas de números especiales, descubriendo una manipulación generalizada del proceso de revisión por pares. El estudio sugiere que la etiqueta está capturando principalmente las secuelas de esta limpieza específica y a gran escala, más que una epidemia general de escritura por IA en todos los campos científicos.
Otra suposición común era que estos artículos generados por computadora estaban siendo detectados mucho más rápido que otros trabajos fraudulentos. Debido a que las máquinas pueden producir texto rápidamente, parecía lógico que sus errores también fueran detectados rápidamente. Los números brutos parecían respaldar esto, mostrando que los artículos "generados por computadora" tenían un rango de tiempo mucho más estrecho antes de la retractación en comparación con los cronogramas desordenados y variados de otros artículos retractados. Sin embargo, este tiempo ajustado era una ilusión creada por la concentración de los datos. Cuando el investigador comparó estos artículos solo con otros artículos del mismo editor y de los mismos años, la diferencia en el tiempo desapareció. Los artículos "generados por computadora" no estaban siendo detectados más rápido; simplemente eran parte de un lote de artículos que fueron revisados y retractados al mismo tiempo durante esa investigación específica del editor. Una vez que se eliminó al editor dominante de la comparación, la idea de que estos artículos tienen un cronograma único y acelerado desapareció por completo.
El estudio también examinó la conexión entre esta etiqueta y las "fábricas de artículos" (paper mills), que son organizaciones que venden autoría falsa y manuscritos fabricados. Inicialmente, los datos mostraron un fuerte vínculo: el 71 por ciento de los artículos "generados por computadora" también portaban la bandera de fábrica de artículos, en comparación con solo el 9 por ciento de otros artículos retractados. Esto sugería que la etiqueta era un marcador fiable para estas operaciones criminales. Pero nuevamente, la imagen cambió cuando los datos fueron clasificados por editor y año. Antes de 2023, el vínculo era inexistente. En 2023 y 2024, el vínculo se volvió muy fuerte, pero solo dentro de editores específicos. En otros grandes editores, la relación en realidad se invirtió, con los artículos "generados por computadora" siendo menos propensos a estar vinculados a fábricas de artículos que otros artículos retractados. Esta variación extrema significa que no existe una regla única y universal que conecte la etiqueta con las fábricas de artículos; la asociación depende enteramente de quién esté realizando la investigación y cuándo.
Finalmente, el investigador observó si estos artículos eran citados con menos frecuencia después de ser retractados, lo que indicaría que la comunidad científica estaba prestando atención a la advertencia. A primera vista, parecía que los artículos "generados por computadora" eran citados significativamente menos que los artículos retractados similares. Pero esta diferencia se debía en gran medida a que el grupo de control de artículos había sido citado más intensamente incluso antes de su retractación. Cuando el investigador emparejó perfectamente los artículos basándose en cuántas citas ya habían recibido, la diferencia en las citas post-retractación casi desapareció. La pequeña brecha restante no era estadísticamente significativa, lo que sugiere que la comunidad científica trata estos artículos no de forma distinta a otros trabajos retractados una vez que se contabiliza su reputación previa.
Quizás el hallazgo más revelador provino de una búsqueda de palabras específicas en las notas de retractación. El investigador buscó menciones de herramientas de IA específicas, como "ChatGPT" o "modelos de lenguaje extensos", en los metadatos de los artículos. De miles de registros, solo 21 contenían tales términos específicos. Aún más sorprendente, ninguno de los artículos que portaban la etiqueta de "contenido generado por computadora" y también mencionaban una herramienta de IA específica trataba sobre la herramienta en sí; eran estudios sobre la IA, no artículos escritos por la IA. El único artículo que mencionó figuras generadas por IA ni siquiera portaba la etiqueta de "contenido generado por computadora". Esto indica que la etiqueta no se aplica porque los avisos de retractación digan explícitamente "esto fue escrito por una máquina". En cambio, la etiqueta se aplica basándose en investigaciones más amplias sobre la integridad del artículo, a menudo junto con hallazgos de una revisión por pares comprometida.
El estudio concluye que la etiqueta de "contenido generado por computadora" en la base de datos de retractaciones no es un indicador fiable del mal uso de la IA generativa. Es el registro de una investigación específica y masiva en los programas de números especiales de un único editor, donde la etiqueta se aplicó a una amplia gama de problemas que incluyen las fábricas de artículos y las fallas en la revisión por pares. Los datos muestran que la etiqueta no apunta a un tipo único de artículo que sea detectado más rápido o tratado de forma distinta por la comunidad científica. Hasta que los investigadores puedan leer los avisos de retractación reales y verificar el contenido de los artículos, usar esta etiqueta como una medida del fraude generado por IA conducirá a una visión distorsionada del problema. La verdadera historia no es una invasión repentina de la ciencia escrita por IA, sino una limpieza concentrada de un flujo de trabajo editorial específico que resultó utilizar una etiqueta amplia para describir sus hallazgos.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.