Modeling Engagement with Brand and Organizational TikTok Videos Using Machine-Assisted Theory-Ensemble Annotation

Resumo Técnico: Modelagem de Engajamento com Vídeos de Marcas e Organizações no TikTok Usando Anotação de Conjunto Teórico Assistida por Máquina

Definição do Problema
O conteúdo de vídeo de curta duração em plataformas como o TikTok apresenta desafios significativos para a pesquisa em larga escala. O significado nesses vídeos emerge de interações multimodais complexas entre elementos audiovisuais, linguagem, edição e dinâmicas algorítmicas. A anotação manual tradicional dessas camadas é trabalhosa, difícil de padronizar e frequentemente limitada a amostras pequenas, o que impede o estudo da produção cultural e do engajamento em escala. Estudos de larga escala existentes frequentemente dependem de preditores facilmente mensuráveis (ex: tamanho da conta, tempo, estrutura de rede) ou características multimodais gerais, muitas vezes negligenciando questões interpretativas mais profundas relativas à estrutura narrativa, ao endereçamento retórico e à organização semiótica. Embora os Modelos de Linguagem de Grande Escala (LLMs) multimodais mostrem promessa, há uma necessidade de um fluxo de trabalho rigoroso que operacionalize teorias interpretativas de longa data em variáveis estruturadas sem perder a nuance teórica ou a interpretabilidade.

Metodologia
O estudo emprega uma abordagem de "quantitização" assistida por máquina, convertendo julgamentos teóricos qualitativos em variáveis categóricas quantificáveis.

• Construção do Corpus: O conjunto de dados compreende 9.654 vídeos de 30 contas curadas de marcas e organizações na Estônia (um ecossistema linguisticamente delimitado de 1,3 milhão de pessoas). Os vídeos abrangem de julho de 2020 a janeiro de 2026, com a maioria postada entre 2023 e 2025.
• Design de Anotação: Os pesquisadores utilizaram um único modelo de fronteira capaz de processar vídeo (Gemini 2.5 Pro) para anotar o corpus. O esquema de anotação é "saturado de teoria", derivando 77 variáveis estruturais de 11 blocos teóricos distintos, incluindo:
  • Narratologia (estrutura laboviana, arcos de Propp/Campbell, tipos de conflito de Polti).
  • Retórica (apelos aristotélicos, pentade dramática de Burke).
  • Semiótica (modos de signo de Chandler, codificação/decodificação de Hall).
  • Estruturas multimodais (Grzenkowicz & Wildfeuer).
  • Teorias da comunicação (Usos e Gratificações).
    O modelo foi instruído a gerar um objeto JSON estruturado contendo variáveis binárias/categóricas e campos de texto de diagnóstico, evitando prosa de texto livre para garantir a consistência.
• Validação: Um subconjunto de 100 vídeos foi anotado manualmente por três codificadores humanos para avaliar a confiabilidade. Métricas de concordância (alfa de Krippendorff, $\kappa$ de Fleiss) e a precisão do LLM em relação à votação majoritária humana foram calculadas. Os resultados indicaram um gradiente de confiabilidade: variáveis perceptivas e comunicativas (ex: tipo de áudio, ângulo de câmera) mostraram alta concordância, enquanto construtos semióticos e arquetípicos mais profundos (ex: pentade de Burke, conflitos de Polti) mostraram baixa concordância, frequentemente devido à dificuldade dos anotadores humanos em vez de apenas falha do modelo.
• Análise Quantitativa:
  • Modelagem Preditiva: Modelos CatBoost agrupados foram treinados para prever métricas de engajamento (curtidas, comentários, compartilhamentos, salvamentos) e atividade na seção de comentários (apoio vs. busca de informação). Os modelos aplicaram divisões "fora da conta" agrupadas para evitar vazamento de dados (data leakage), garantindo que vídeos da mesma conta não aparecessem tanto no conjunto de treinamento quanto no de teste. Os controles de base incluíram contagem de seguidores da conta e idade do vídeo.
  • Interpretabilidade: Um modelo secundário de efeitos mistos lineares analisou os principais preditores dos modelos CatBoost. Adicionalmente, uma análise de "escolha de design" simulou efeitos marginais variando variáveis únicas enquanto mantinha outras constantes para identificar características estruturais de alto impacto.
  • Mapeamento de Similaridade: Os vídeos foram mapeados em um espaço de configuração 2D usando a distância de Hamming sobre o conjunto completo de anotações para explorar a similaridade estrutural e sua relação com o desempenho.

Principais Contribuições

1. Operacionalização da Teoria: O estudo demonstra um fluxo de trabalho para traduzir teorias interpretativas complexas e de longa data (narratologia, semiótica, retórica) em um esquema de anotação estruturado e legível por máquina para vídeos de curta duração.
2. Quantitização Assistida por Máquina: Valida o uso de LLMs multimodais para anotar grandes baterias de variáveis motivadas teoricamente, mostrando que, embora construtos semióticos profundos continuem desafiadores, variáveis perceptivas e comunicativas podem ser codificadas com confiabilidade suficiente para análises exploratórias.
3. Linha de Base Empírica: Fornece um conjunto de dados abrangente de conteúdo de TikTok de marcas e organizações estonianas, oferecendo um repertório de plataforma delimitado que evita o ruído de casos virais isolados.
4. Estrutura Metodológica: Estabelece um pipeline reprodutível envolvendo livros de códigos explícitos, amostras de validação e verificações de viés para transformar distinções qualitativas em variáveis estruturadas.

Resultos

• Ganhos Preditivos: As variáveis de conteúdo codificadas por teoria forneceram ganhos modestos, mas consistentes, sobre os controles de base (tamanho da conta e idade do vídeo). Os modelos completos alcançaram valores de $R^2$ de 0,27 para curtidas e 0,18 para comentários, representando um aumento incremental de 0,056 a 0,078 sobre os modelos de controle apenas. Curtidas e salvamentos foram os resultados mais previsíveis; compartilhamentos permaneceram como os mais difíceis de prever.
• Principais Preditores:
  • Curtidas: Fortemente associadas a escolhas amplas de embalagem: áudio falado original (maior contraste), intenção de entretenimento e ambientes comerciais internos.
  • Comentários: O tipo de "chamada para ação" (CTA) foi o preditor dominante, especificamente o "isca de engajamento" (engagement bait). Comentários de busca de informação foram ligados a formatos de tutorial e retórica centrada em logotipos, enquanto comentários de apoio correlacionaram-se com retórica de pathos e tópicos de viagem/moda.
• Gradiente de Confiabilidade: A validação humana confirmou que variáveis perceptivas (áudio, visual, edição) são codificadas de forma confiável tanto por humanos quanto por LLMs. Em contraste, variáveis interpretativas mais profundas (Burke, Polti, Chandler) mostraram baixa confiabilidade, com os LLMs frequentemente detectando excessivamente o conflito ou a complexidade semiótica onde os humanos viram representação direta.
• Similaridade Estrutural: Vídeos que se alinhavam ao "perfil modal" (valores mais comuns) do corpus ou da conta específica tendiam a ter melhor desempenho em termos de curtidas. No entanto, isso não foi um efeito uniforme; desvios específicos (ex: quebrar a norma do corpus para intenção promocional) também puderam ser favoráveis. A vantagem da similaridade foi impulsionada por variáveis de embalagem de alto impacto, em vez de conformidade total.

Significância e Alegações
O artigo alega que esta abordagem apoia três objetivos primários:

1. Análise Cultural Exploratória: Mapear a variação na cultura de vídeo de curta duração ao tornar observáveis grandes baterias de variáveis teóricas.
2. Modelagem Preditiva: Melhorar a previsão de dinâmicas de plataforma e feedback de audiência além das simples métricas de visibilidade.
3. Diagnóstico para Criadores: Fornecer orientação baseada em dados para criadores de conteúdo escolherem entre estratégias estruturais e narrativas, identificando quais subconjuntos de variáveis carregam sinal para nichos específicos.

Os autores enfatizam a modéstia em suas alegações: o estudo é associacional, não causal. O valor dos LLMs não reside na precisão perfeita para cada construto teórico, mas em tornar a avaliação de grandes e diversos frameworks teóricos viável. Isso permite que pesquisadores identifiquem quais variáveis específicas carregam sinal preditivo e quais são meramente descritivas, traduzindo insights teóricos em orientação acionável para estratégia de conteúdo dentro de um nicho específico. Os achados sugerem que, embora a análise semiótica profunda permaneça difícil de padronizar, a operacionalização de estruturas narrativas e retóricas oferece um caminho viável para entender o "porquê" por trás do engajamento em vídeo.