Modeling Engagement with Brand and Organizational TikTok Videos Using Machine-Assisted Theory-Ensemble Annotation

Resumen Técnico: Modelado del compromiso con videos de TikTok de marcas y organizaciones mediante la anotación de un conjunto de teorías asistida por máquinas

Planteamiento del problema
El contenido de video de formato corto en plataformas como TikTok presenta desafíos significativos para la investigación a gran escala. El significado en estos videos emerge de interacciones multimodales complejas entre elementos audiovisuales, el lenguaje, la edición y las dinámicas algorítmicas. La anotación manual tradicional de estas capas es laboriosa, difícil de estandarizar y, a menudo, se limita a muestras pequeñas, lo que obstaculiza el estudio de la producción cultural y el compromiso (engagement) a escala. Los estudios existentes a gran escala suelen depender de predictores fácilmente medibles (por ejemplo, tamaño de la cuenta, temporalidad, estructura de red) o de características multimodales generales, pasando por alto a menudo preguntas interpretativas más profundas sobre la estructura narrativa, la apelación retórica y la organización semiótica. Si bien los modelos de lenguaje de gran tamaño (LLM) multimodales son prometedores, existe la necesidad de un flujo de trabajo riguroso que operacionalice las teorías interpretativas de larga data en variables estructuradas sin perder la sutileza teórica o la interpretabilidad.

Metodología
El estudio emplea un enfoque de "cuantización" asistido por máquinas, convirtiendo juicios teóricos cualitativos en variables categóricas cuantificables.

• Construcción del corpus: El conjunto de datos comprende 9.654 videos de 30 cuentas curadas de marcas y organizaciones en Estonia (un ecosistema lingüísticamente delimitado de 1,3 millones de personas). Los videos abarcan desde julio de 2020 hasta enero de 2026, con la mayoría publicados entre 2023 y 2025.
• Diseño de la anotación: Los investigadores utilizaron un único modelo de frontera con capacidad de video (Gemini 2.5 Pro) para anotar el corpus. El esquema de anotación está "saturado de teoría", derivando 77 variables estructurales de 11 bloques teóricos distintos, que incluyen:
  • Narratología (estructura laboviana, arcos de Propp/Campbell, tipos de conflicto de Polti).
  • Retórica (apelaciones aristotélicas, pentada dramática de Burke).
  • Semiótica (modos de signo de Chandler, codificación/decodificación de Hall).
  • Marcos multimodales (Grzenkowicz & Wildfeuer).
  • Teorías de la comunicación (usos y gratificaciones).
    Se le pidió al modelo que generara un objeto JSON estructurado que contuviera variables binarias/categóricas y campos de texto de diagnóstico, evitando la prosa de texto libre para asegurar la consistencia.
• Validación: Un subconjunto de 100 videos fue anotado manualmente por tres codificadores humanos para evaluar la fiabilidad. Se calcularon métricas de acuerdo (alfa de Krippendorff, $\kappa$ de Fleis) y la precisión del LLM frente al voto mayoritario humano. Los resultados indicaron un gradiente de fiabilidad: las variables perceptivas y comunicativas (por ejemplo, tipo de audio, ángulo de cámara) mostraron un alto acuerdo, mientras que los constructos semióticos y arquetípicos más profundos (por ejemplo, la pentada de Burke, los conflictos de Polti) mostraron un bajo acuerdo, debido a menudo a la dificultad del anotador humano más que al fallo exclusivo del modelo.
• Análisis cuantitativo:
  • Modelado predictivo: Se entrenaron modelos CatBoost agrupados para predecir métricas de compromiso (me gusta, comentarios, veces compartido, guardados) y actividad en la sección de comentarios (apoyo vs. búsqueda de información). Los modelos aplicaron divisiones "fuera de la cuenta" para evitar la fuga de datos (data leakage), asegurando que los videos de la misma cuenta no aparecieran tanto en el conjunto de entrenamiento como en el de prueba. Los controles base incluyeron el número de seguidores de la cuenta y la edad del video.
  • Interpretabilidad: Un modelo secundario de efectos mixtos lineales analizó los principales predictores de los modelos CatBoost. Adicionalmente, un análisis de "elección de diseño" simuló efectos marginales variando una sola variable mientras se mantenían las demás constantes para identificar características estructurales de alto apalancamiento.
  • Mapeo de similitud: Los videos fueron mapeados en un espacio de configuración 2D utilizando la distancia de Hamming sobre el conjunto completo de anotaciones para explorar la similitud estructural y su relación con el rendimiento.

Contribuciones clave

1. Operacionalización de la teoría: El estudio demuestra un flujo de trabajo para traducir teorías interpretativas complejas y de larga data (narratología, semiótica, retórica) en un esquema de anotación estructurado y legible por máquina para videos de formato corto.
2. Cuantización asistida por máquinas: Valida el uso de LLM multimodales para anotar amplias baterías de variables motivadas teóricamente, demostrando que, si bien los constructos semióticos profundos siguen siendo un desafío, las variables perceptivas y comunicativas pueden codificarse con suficiente fiabilidad para el análisis exploratorio.
3. Línea base empírica: Proporciona un conjunto de datos exhaustivo de contenido de TikTok de marcas y organizaciones estonias, ofreciendo un repertorio de plataforma delimitado que evita el ruido de los casos virales aislados.
4. Marco metodológico: El documento establece un flujo de trabajo reproducible que involucra libros de códigos explícitos, muestras de validación y verificaciones de sesgo para transformar distinciones cualitativas en variables estructuradas.

Resultos

• Ganancias predictivas: Las variables de contenido codificadas teóricamente proporcionaron ganancias modestas pero consistentes sobre los controles base (tamaño de la cuenta y edad del video). Los modelos completos alcanzaron valores de $R^2$ de 0,27 para los "me gusta" y de 0,18 para los comentarios, lo que representa una mejora incremental de 0,056 a 0,078 sobre los modelos de solo control. Los "me gusta" y los guardados fueron los resultados más predecibles; los contenidos compartidos (shares) siguieron siendo los más difíciles de predecir.
• Predictores clave:
  • Me gusta: Se asociaron más fuertemente con elecciones de empaquetado amplias: audio hablado original (mayor contraste), intención de entretenimiento y entornos comerciales interiores.
  • Comentarios: El tipo de "llamada a la acción" (CTA) fue el predictor dominante, específicamente el "anzuelo de interacción" (engagement bait). Los comentarios de búsqueda de información se vincularon con formatos de tutorial y retórica centrada en el logotipo, mientras que los comentarios de apoyo se correlacionaron con la retórica basada en el pathos y temas de viajes/moda.
• Gradiente de fiabilidad: La validación humana confirmó que las variables perceptivas (audio, visual, edición) son codificadas de manera fiable tanto por humanos como por LLM. En contraste, las variables interpretativas más profundas (Burke, Polti, Chandler) mostraron una fiabilidad deficiente, con los LLM detectando a menudo en exceso el conflicto o la complejidad semiótica donde los humanos veían una representación directa.
• Similitud estructural: Los videos que se alineaban con el "perfil modal" (valores más comunes) del corpus o de la cuenta específica tendieron a tener un mejor rendimiento en términos de "me gusta". Sin embargo, esto no fue un efecto uniforme; ciertas desviaciones específicas (por ejemplo, romper la norma del corpus para la intención promocional) también pudieron ser favorables. La ventaja de la similitud fue impulsada por variables de empaquetado de alto apalancamiento más que por la conformidad total.

Significado y pretensiones
El artículo sostiene que este enfoque apoya tres objetivos principales:

1. Analítica cultural exploratoria: Mapear la variación en la cultura del video de formato corto haciendo observables amplias baterías de variables teóricas.
2. Modelado predictivo: Mejorar el pronóstico de las dinámicas de la plataforma y la respuesta de la audiencia más allá de las métricas simples de visibilidad.
3. Diagnóstico para creadores: Proporcionar orientación basada en datos para que los creadores de contenido elijan entre estrategias estructurales y narrativas, identificando qué subconjuntos de variables portan señal para nichos específicos.

Los autores enfatizan la modestia de sus afirmaciones: el estudio es asociacional, no causal. El valor de los LLM no reside en la perfección de su precisión para cada constructo teórico, sino en hacer factible la evaluación de grandes y diversas baterías de variables interpretativas. Esto permite a los investigadores identificar qué variables específicas portan señal predictiva y cuáles son meramente descriptivas, traduciendo los conocimientos teóricos en una guía accionable para la estrategia de contenido dentro de un nicho específico. Los hallazgos sugieren que, si bien el análisis semiótico profundo sigue siendo difícil de estandarizar, la operacionalización de las estructuras narrativas y retóricas ofrece un camino viable para comprender el "porqué" detrás del compromiso en los videos.