Computer-generated content and the AI/ML retraction record, 2018– 2026: a characterization study

Resumen Técnico: Contenido Generado por Computadora y el Registro de Retractaciones de IA/ML (2018–2026)

Planteamiento del Problema
El ecosistema de la publicación científica enfrenta un desafío de integridad en rápida evolución: la proliferación de contenido generado por computadora (CGC, por sus siglas en inglés) en la literatura académica, impulsada por el despliegue de modelos de lenguaje extensos (LLM) a partir de 2022. Si bien Retraction Watch mantiene un registro público curado de publicaciones retractadas, las características específicas de las retractaciones relacionadas con IA/ML no han sido caracterizadas sistemáticamente a través de las ventanas de pre y post-despliegue. Existe una brecha metodológica crítica al distinguir entre artículos sobre IA/ML y artículos en campos no relacionados generados por IA. Además, los filtros existentes suelen confundir metadatos amplios de ciencias de la computación con evidencia específica de IA/ML, lo que conduce a posibles afirmaciones excesivas sobre la prevalencia de la mala conducta relacionada con la IA. Este estudio aborda la necesidad de caracterizar el registro de retractaciones visible específicamente para el dominio de la IA/ML, estratificado por la precisión de la evidencia que vincula la retractación con la IA/ML.

Metodología
El estudio utiliza un segmento determinista de la base de datos de Retraction Watch, preservado en el corpus Nekropolis v0.2 (archivo entries-v0.2.jsonl). El conjunto de datos comprende 13,502 registros de retractación únicos filtrados mediante una heurística orientada a la recuperación (recall) que apunta a palabras clave y categorías temáticas de IA, aprendizaje automático (machine learning), ciencia de datos y ciencias de la computación.

Los componentes metodológicos clave incluyen:

• Estratificación de Precisión: Para gestionar la compensación entre recuperación (recall) y precisión, cada registro se asigna a un nivel basado en la fuerza de la evidencia de IA/ML:
  1. IA/ML de alta precisión: El título contiene términos inequívocos (p. ej., "red neuronal", "modelo de lenguaje extenso").
  2. Adyacente al método o sistema: El título contiene términos computacionales (p. ej., "algoritmo", "automatización").
  3. IA/ML por sede o metadatos: La evidencia se encuentra en resúmenes, palabras clave o nombres de sedes/revistas.
  4. Metadatos amplios de ciencias de la computación: Admisión basada en categorías amplias (p. ej., "Ciencias de la Computación", "Ciencia de Datos").
  5. Requiere revisión: Filas que coinciden con las heurísticas pero fallan en las reglas deterministas.
• Taxonomía de Causas: Se asigna a cada registro una etiqueta de causa inferida por el proyecto (inferred_cause), distinta de la razón declarada en la fuente. La taxonomía incluye categorías como contenido-generado-por-computadora, revisión-por-pares-comprometida, plagio-o-atribución y proceso-editorial-o-del-editor.
• Análisis Temporal: Los registros se unen con datos de Crossref para analizar las fechas de retractación y los desfases entre publicación y retractación, centrándose en la ventana 2018–2026.
• Estándares de Reporte: El estudio reporta conteos y porcentajes tanto para el segmento inclusivo completo (13,502 registros) como para el subconjunto conservador de alto nivel de precisión en títulos (3,243 registros) para garantizar la transparencia respecto al proceso de descubrimiento.

Contribuciones Clave

1. Definición de Segmento Determinista: El artículo define un segmento reproducible de 13,502 registros de la base de datos de Retraction Watch específicamente para retractaciones relacionadas con IA/ML, anclado en un compromiso de corpus específico y un hash SHA-256.
2. Caracterización Estratificada: Proporciona el primer análisis de distribución de causas de este dominio estratificado por nivel de evidencia, revelando cómo la prevalencia de causas específicas cambia de los títulos de alta precisión a los metadatos amplios.
3. Análisis de Cohorte Temporal: El estudio mapea la emergencia de las retractaciones por CGC contra la línea de tiempo del despliegue de los LLM, identificando picos específicos y desfases de publicación.
4. Posicionamiento Metodológico: Argumenta que un segmento orientado a la recuperación (recall), cuando se combina con una estratificación explícita y un etiquetado de causas conservador, es un objeto legítimo de estudio para la integridad de la investigación, siempre que la brecha entre las poblaciones inclusiva y conservadora se reporte como un hallazgo en lugar de ocultarse.

Resultados

• Dominio del Contenido Generado por Computadora: A través del segmento inclusivo completo de 13,502 registros, el contenido generado por computadora (CGC) es la causa inferida más grande, representando 4,704 registros (34.8%). Esto supera a revisión-por-pares-comprometida (22.0%), plagio-o-atribución (18.6%) y proceso-editorial-o-del-editor (13.7%).
• Consistencia de Niveles: El dominio del CGC se mantiene a través de los niveles de precisión:
  • Subconjunto de alta precisión a nivel de título: 41.8%
  • Nivel de metadatos amplios de CS: 32.7%
  • Nivel adyacente al método: 38.4%
  • Nota: El nivel de IA/ML por sede o metadatos es una excepción, dominado (91.2%) por el proceso-editorial-o-del-editor debido a las retractaciones masivas de actas de conferencias.
• Patrones Temporales: Las retractaciones por CGC eran insignificantes antes de 2020. Aumentaron bruscamente en 2021–2022, alcanzando su punto máximo en 2023 (2,705 registros), coincidiendo con las retractaciones masivas lideradas por editoriales (p. ej., Hindawi/Wiley). Aunque el conteo disminuyó en 2024 (487), se mantuvo un orden de magnitud por encima de la línea base de 2018–2020 y volvió a subir a 1,000 en 2025.
• Desfase de Publicación: Del 84% de los 4,704 registros de CGC con años de publicación conocidos, 84% fueron publicados entre 2021 y 2023. La mediana del desfase entre publicación y retractación es corta, con un 56.6% retractado dentro de un periodo de 0 a 1 año tras su publicación.
• Concentración de Editoriales: Hindawi representa el 36.4% del segmento (4,919 registros), seguido por IEEE (12.2%) e IOS Press (10.4%). El estudio señala que esto refleja acciones activas de integridad post-publicación más que una medida exclusiva de las tasas de falla de pre-publicación.

Significancia y Reivindicaciones
El artículo enmarca explícitamente sus hallazgos como empíricos y delimitados. No afirma que la investigación en IA/ML sea inherentemente más defectuosa que otros campos, ni estima las tasas base de mala conducta en la literatura general.

• Naturaleza del Hallazgo: El estudio caracteriza la superficie visible del sistema de integridad —qué fue retractado y cómo se nombró la razón— en lugar del volumen total de contenido generado no retractado.
• Sustrato para Trabajos Futuros: La principal significancia radica en establecer que los avisos de retractación claros y legibles por máquina que nombran la generación como causa constituyen ahora la categoría más grande en el registro de retractaciones de IA/ML. Esto proporciona un "sustrato" necesario para futuros trabajos de integridad de la investigación, desarrollo de políticas y evaluación de métodos de detección.
• Limitaciones: Los autores reconocen que la etiqueta "contenido-generado-por-computadora" se asigna solo cuando el aviso nombra explícitamente la generación, lo que podría subestimar casos más sutiles. Por el contrario, los casos nombrados pueden estar sobrerrepresentados si son más fáciles de identificar. El estudio no adjudica mala conducta individual, sino que reporta la distribución de los avisos públicos.

En conclusión, el artículo demuestra que el contenido generado por computadora se ha convertido en la causa documentada dominante dentro del dominio de la IA/ML del registro público, un cambio que se correlaciona directamente con la línea de tiempo del despliegue de los modelos de lenguaje extensos.