Examining AI-generated historical narratives and their reception through the example of history POVs on TikTok

Resumen Técnico: Examen de las Narrativas Históricas Generadas por IA y su Recepción a través de los "History POVs" en TikTok

Planteamiento del Problema
El rápido avance de la IA generativa ha facilitado la creación de "AI slop" (desechos de IA): contenido producido en masa que, a menudo, es históricamente inexacto y distorsiona las narrativas históricas. Una tendencia viral específica en TikTok, conocida como "History POVs", utiliza escenas animadas en primera persona generadas por IA (por ejemplo, "POV: Te despiertas durante la Peste Negra") para representar eventos históricos. Aunque los creadores afirman que estos videos buscan despertar la curiosidad en lugar de servir como fuentes históricas, existe una falta de datos empíricos sobre el alcance temático de esta tendencia, la prevalencia de inexactitudes históricas y, crucialmente, cómo el público recibe y reacciona ante dicho contenido. Además, los investigadores enfrentan desafíos técnicos y éticos significativos al estudiar tendencias de plataformas de rápida evolución debido al acceso restringido a las API, la incapacidad de archivar el contenido y la exclusión de datos de usuarios menores de 18 años.

Metodología
Los autores emplean un enfoque empírico de dos etapas para investigar la tendencia:

1. Estudio Piloto Exploratorio: Se recopiló un conjunto de datos a pequeña escala de 210 videos mediante una estrategia de "copiar, pegar y procesar" utilizando una cuenta recién creada. Esta fase utilizó categorización espaciotemporal y análisis de frecuencia para identificar temas recurrentes.
2. Estudio de API a Gran Escala: Basándose en el piloto, los autores accedieron a la API de investigación de TikTok para recopilar metadatos de 5,565 videos de "History POV" en inglés subidos entre enero y septiembre de 2025.
   • Recopilación de Datos: Las consultas utilizaron términos de búsqueda específicos (history pov, pov you wake up, etc.). Los datos se filtraron para retener solo videos con palabras clave de contexto histórico en los subtítulos, hashtags o nombres de cuenta.
   • Análisis de Subtítulos: Los subtítulos fueron procesados mediante detección de lenguaje (langdetect), limpieza y análisis mediante clasificación espaciotemporal basada en reglas y análisis de frecuencia de bigramas. Se intentó un modelado de temas (BERTopic), pero se consideró menos efectivo debido a la brevedad de los subtítulos y la inaccesibilidad del texto superpuesto en pantalla a través de la API.
   • Análisis de Recepción (Comentarios): Se seleccionaron dos temas específicos para un análisis comparativo: la Peste Negra (volumen alto, tema "típico") y el Holocausto (volumén bajo, alta sensibilidad).
     • Procesamiento de Datos: Los comentarios se recopilaron de forma iterativa debido a los límites de velocidad de la API. Se realizó la detección de lenguaje utilizando el modelo FastText de Facebook para manejar texto ruidoso y cargado de jerga. Solo se retuvieron los comentarios en inglés con un nivel de confianza >80% y al menos dos palabras.
     • Anotación: Se utilizó un conjunto de datos equilibrado de 1,000 comentarios por tema (2,000 en total) anotados manualmente mediante un esquema multidimensional. Las etiquetas incluyeron categorías primarias (por ejemplo, pregunta_sobre_el_contenido, explicación_informativa, comentario_emocional_o_humorístico, comentario_social_o_moral, no_relacionado_o_spam) y banderas binarias para referencias a la IA/tendencia y Discurso de Odio/Desinformación.
     • Aprendizaje Automático: Se ajustaron modelos DistilBERT sobre los datos anotados para clasificar los comentarios. Las variantes incluyeron modelos entrenados en el conjunto de datos combinado, conjuntos de datos específicos por tema y una estrategia de muestreo equilibrado.

Contribuciones Clave

• Mapeo Empírico de la Tendencia: El estudio proporciona el primer mapeo a gran escala de la tendencia "History POV", identificando un predominio de temas históricos contemporáneos emocionalmente cargados (guerras, desastres, catástrofes) y una presencia significativa de inexactitudes históricas a nivel de subtítulos (por ejemplo, fechas o terminología anacrónicas).
• Análisis Comparativo de Recepción: Al contrastar los temas de la Peste Negra y el Holocausto, el artículo demuestra que la elección del tema moldea significativamente la respuesta de la audiencia.
• Evaluación Metodológica: El documento evalúa críticamente la viabilidad de la investigación basada en API para estudiar tendencias efímeras en redes sociales, destacando tanto las ventajas de escalabilidad sobre la etnografía manual como las limitaciones respecto a la integridad de los datos (por ejemplo, la exclusión de datos de menores de 18 años y la incapacidad de recuperar archivos de video para el análisis visual).

Resultados

• Panorama Temático: El conjunto de datos (5,565 videos) revela que la tendencia está dominada por creadores de EE. UU., Reino Unido y Alemania. El contenido se centra fuertemente en la historia militar, figuras prominentes y choques emocionales. El análisis temporal muestra un pico de interacción durante febrero y marzo de 2025, con una fuerte concentración en la historia Moderna y Contemporánea.
• Patrones de Comentarios:
  • Sentimiento: Los videos relacionados con el Holocausto atrajeron una mayor proporción de comentarios negativos en comparación con los de la Peste Negra.
  • Tipos de Contenido: Los videos del Holocausto generaron significativamente más comentarios sociales/morales y explicaciones informativas (incluyendo correcciones).
  • Discurso de Odio y Desinformación: Un hallazgo crítico es la tasa desproporcionada de discurso de odio y desinformación en los comentarios relacionados con el Holocausto (149 instancias frente a 18 en los de la Peste Negra). La desinformación apareció a menudo como explicaciones ostensiblemente factuales (por ejemplo, afirmaciones revisionistas) o bromas inapropiadas.
  • Conciencia de la IA: Las referencias a la naturaleza de IA del contenido o a la tendencia misma se distribuyeron uniformemente en ambos temas, lo que sugiere que la novedad de la tecnología es un motor de interacción constante, independientemente del sujeto histórico.
• Rendimiento del Modelo: Los modelos DistilBERT ajustados lograron un rendimiento moderado pero razonable (por ejemplo, los F1-scores para las banderas de discurso de odio oscilaron entre 52% y 100% dependiendo del equilibrio del conjunto de datos). Los autores señalan que, si bien ningún modelo alcanzó la perfección, son suficientes para apoyar los flujos de trabajo de anotación manual.

Significancia y Reivindicaciones
El artículo pretende, de manera modesta, proporcionar una comprensión fundacional de cómo funcionan las narrativas históricas generadas por IA en TikTok y cómo son recibidas.

• Impacto de la Sensibilidad del Tema: El estudio confirma que la elección del tema histórico no es neutral; los temas sensibles como el Holocausto atraen patrones de interacción distintos y, a menudo, tóxicos, incluyendo mayores tasas de discurso de odio y desinformación, en comparación con eventos históricos menos sensibles.
• Perspectiva Metodológica: Los autores afirman que, si bien la investigación basada en API tiene limitaciones (específicamente respecto a la incapacidad de analizar directamente la distorsión visual de la historia y la exclusión de datos de jóvenes), ofrece una alternativa necesaria y escalable a la etnografía digital manual para rastrear tendencias de rápida evolución.
• Direcciones Futuras: El documento sugiere que trabajos futuros aprovechen estos métodos para el análisis multilingüe para probar el eurocentrismo y expandir los conjuntos de datos para mejorar la precisión de la clasificación mediante aprendizaje automático. No propone nuevas aplicaciones, sino que enfatiza la necesidad de un monitoreo continuo del papel de la IA generativa en la educación histórica y la desinformación.