From Perceptions To Evidence: Detecting AI-Generated Content In Turkish News Media With A Fine-Tuned Bert Classifier

Título del Estudio

De las percepciones a la evidencia: Detección de contenido generado por IA en medios de noticias turcos con un clasificador BERT afinado.

1. El Problema

La integración rápida de los Modelos de Lenguaje Grande (LLM) en los flujos de trabajo de las redacciones ha generado preocupaciones urgentes sobre la prevalencia de contenido generado o revisado por IA en los medios digitales.

• Brecha de investigación: Mientras existen estudios computacionales a gran escala para medios en inglés, no hay investigaciones empíricas para los medios de noticias turcos. La literatura existente se limita a entrevistas cualitativas con periodistas o a la detección de "falsas noticias" (fake news), sin medir cuantitativamente la presencia real de IA.
• Desafíos lingüísticos y contextuales: El turco es un idioma aglutinante con una morfología rica, lo que dificulta la transferencia directa de modelos entrenados en idiomas analíticos como el inglés. Además, el panorama mediático turco está altamente polarizado políticamente, lo que requiere un análisis que considere diferentes orientaciones editoriales.
• Riesgos: La falta de transparencia sobre el uso de IA amenaza la confianza pública, introduce sesgos inherentes de los modelos y riesgos de alucinaciones (ej. errores en alineaciones de equipos deportivos), como se ilustra en el estudio.

2. Metodología

El estudio propone un marco basado en transformadores para la detección binaria (texto humano vs. texto reescrito/revisto por IA).

• Construcción del Dataset:

  • Se recolectaron 3.600 artículos de tres grandes medios turcos con orientaciones políticas distintas: uno de centro, uno pro-gobierno y uno de oposición.
  • Datos Humanos: 1.800 artículos seleccionados aleatoriamente de 2021, año elegido asumiendo que no existía uso de LLMs en la producción periodística.
  • Datos de IA: Se utilizaron los 1.800 artículos humanos como entrada para ChatGPT 5.2. Se diseñó un prompt específico para que la IA reescribiera o revisara los textos manteniendo estrictamente los hechos, fechas y nombres, pero adaptando el tono, estilo editorial y fluidez al del periódico objetivo, sin alterar la longitud del texto.
  • Validación de Calidad: Se midió la similitud coseno entre los textos originales y los reescritos, obteniendo un promedio de 0.9, lo que garantiza que el modelo debe distinguir sutilezas estilísticas y no solo diferencias semánticas obvias.

• Modelo y Entrenamiento:

  • Arquitectura: Se utilizó un modelo BERT específico para turco (dbmdz/bert-base-turkish-cased), pre-entrenado en un corpus de 35 GB de texto turco.
  • Ajuste Fino (Fine-tuning): Se añadió una capa de clasificación lineal sobre el token [CLS] para la tarea binaria.
  • Hiperparámetros: Se empleó el optimizador AdamW, label smoothing (0.1), dropout (0.2), y un scheduler lineal con warm-up. El entrenamiento se realizó durante 6 épocas con early stopping basado en la puntuación F1 de validación.
  • División de Datos: 80% entrenamiento, 10% validación, 10% prueba, con división estratificada para mantener el equilibrio de clases.

• Validación Externa:

  • El modelo entrenado se aplicó a más de 3.500 artículos no vistos de las mismas fuentes, cubriendo el periodo 2023–2026, para estimar la prevalencia real de contenido con IA.

3. Contribuciones Clave

1. Primer Dataset Etiquetado: Creación de un conjunto de datos de 3.600 artículos etiquetados para la clasificación binaria de noticias turcas reescritas por IA, llenando un vacío crítico en recursos para PLN en turco.
2. Línea Base de Deep Learning: Establecimiento de la primera línea base de aprendizaje profundo para la detección de contenido de IA en medios turcos, utilizando un modelo BERT afinado.
3. Caracterización Computacional Empírica: Primera medición cuantitativa y a largo plazo (2023-2026) de los patrones de uso de IA en medios turcos, moviéndose más allá de las percepciones subjetivas de los periodistas.
4. Marco Reproducible: Documentación completa del pipeline (recopilación, preprocesamiento, entrenamiento y evaluación) para futuras investigaciones en idiomas con recursos limitados.

4. Resultados

• Rendimiento del Modelo:

  • En el conjunto de prueba retenido, el modelo alcanzó una puntuación F1 del 97.08%.
  • La precisión y el recall fueron simétricos para ambas clases (Precisión: 0.9938, Recall: 0.9878), indicando que el modelo no tiene sesgo hacia ninguna clase.
  • La pérdida de validación mostró un ligero sobreajuste después de la época 4, pero el modelo seleccionado (época 4) generalizó bien.

• Análisis de Prevalencia (Validación Externa):

  • Al aplicar el modelo a los datos de 2023-2026, se estimó que aproximadamente el 2.5% de las noticias han sido reescritas o revisadas por LLMs en promedio.
  • Confianza: El modelo mostró una alta confianza en sus predicciones, con una puntuación media de confianza superior al 96% en todos los medios y años.
  • Patrones Temporales y Editoriales:
    • El uso fue más alto en 2023 (inmediatamente después del lanzamiento de ChatGPT) y disminuyó ligeramente hasta 2026, aunque con un repunte en enero de 2026.
    • El medio de oposición mostró la mayor proporción de texto humano (98%+), mientras que el medio pro-gobierno mostró la menor (96.4% de humano), aunque las diferencias son modestas y estables.
    • No se observaron tendencias temporales drásticas, sugiriendo patrones de uso estables en lugar de eventos transitorios.

5. Significado e Implicaciones

• Transparencia y Confianza: El estudio demuestra que el contenido generado por IA está entrando silenciosamente en las redacciones turcas. La detección empírica es crucial para restaurar la confianza del público, que actualmente muestra una baja disposición a consumir noticias generadas totalmente por IA (solo 12% de comodidad según encuestas).
• Recomendación de Política: Los autores recomiendan encarecidamente que cualquier artículo generado, reescrito o revisado con asistencia de IA debe publicarse con una etiqueta clara que divulgue la naturaleza y el alcance de la participación de la IA.
• Avance Científico: Este trabajo sienta las bases para futuras investigaciones en la intersección del PLN turco, el periodismo computacional y los estudios de medios, permitiendo la evolución hacia esquemas de anotación más ricos (multiclasa, dimensiones de sesgo) y arquitecturas de contexto largo.

En resumen, este estudio transforma la percepción subjetiva del uso de IA en una evidencia cuantificable, proporcionando herramientas y datos fundamentales para monitorear la integridad del ecosistema mediático turco en la era de los LLMs.