From Content to Audience: A Multimodal Annotation Framework for Broadcast Television Analytics

Resumo Técnico: De Conteúdo para Audiência – Um Framework de Anotação Multimodal para Análise de Televisão

1. Problema e Contexto

A indústria de televisão tradicional depende de sistemas de medição de audiência em nível de minuto (como a Average Minute Rating - AMR) para monitorar o desempenho e a composição demográfica. No entanto, essas métricas quantificam quem está assistindo, mas não explicam por que ocorrem flutuações na audiência.

• Desafio Principal: Conectar variações de audiência em nível de minuto à estrutura semântica do conteúdo transmitido é um processo atualmente manual, difícil de escalar e não automatizado.
• Limitação Atual: Embora os Modelos de Linguagem Multimodais Grandes (MLLMs) tenham mostrado capacidades promissoras na compreensão de vídeo, sua eficácia comparativa em ambientes específicos de transmissão (broadcast) — considerando arquiteturas de pipeline, configurações de entrada (vídeo vs. imagens estáticas) e restrições operacionais (latência, custo de tokens) — permanece pouco caracterizada empiricamente.

2. Metodologia

O estudo foi conduzido em duas etapas principais: a construção de um benchmark controlado e a implantação operacional em larga escala.

A. Construção do Dataset e Benchmark

• Dados: 100 clipes de 1 minuto extraídos de programas de televisão italiana de 2025 (talk shows, programas investigativos, culturais e de estilo de vida).
• Taxonomia de Anotação: Os clipes foram anotados em quatro dimensões semânticas:
  1. Classificação de Tópico: 28 rótulos (ex.: política, economia, entretenimento).
  2. Classificação de Ambiente: 22 rótulos (ex.: estúdio, escritório, exterior).
  3. Reconhecimento de Entidades Nomeadas (NER): Identificação de pessoas presentes visualmente.
  4. Detecção de Conteúdo Sensível: 9 categorias (ex.: violência, discurso de ódio).
• Arquitetura de Pipelines: Foram comparadas duas abordagens principais:
  • Pipeline Baseado em Imagens: Extrai 12 quadros (frames) uniformemente amostrados (0,2 fps) do vídeo.
  • Pipeline Baseado em Vídeo: Ingestão direta do clipe de 60 segundos no codificador de vídeo nativo do modelo.
• Configurações de Entrada: Ambas as pipelines foram testadas com quatro variações de contexto textual:
  1. Apenas Visual.
  2. Visual + Transcrição de Fala (ASR).
  3. Visual + ASR + Metadados (título do programa, data, gênero).
  4. Visual + ASR + Diarização de Falantes + Metadados.
• Modelos Avaliados: Nove modelos MLLM de ponta, incluindo Gemini 3.0 Pro, LLaMA 4 Maverick, variantes Qwen-VL e Gemma 3.

B. Implantação Operacional

• O pipeline selecionado (baseado em vídeo com metadados) foi implantado em 14 episódios completos de um programa (mais de 3.000 minutos).
• As anotações semânticas foram alinhadas com dados de audiência desagregados por coorte etária (Jovens: 15-34, Adultos: 35-54, Sêniores: 55+).

3. Resultados Principais

A. Desempenho dos Pipelines (Imagem vs. Vídeo)

• Vídeo não é universalmente superior: Pipelines baseadas em vídeo não superaram sistematicamente as configurações baseadas em imagens estáticas.
• Dependência do Modelo:
  • Modelos Grandes: Conseguem aproveitar a continuidade temporal para ambientes espacialmente ambíguos (ex.: veículos em movimento), mostrando ganhos de desempenho.
  • Modelos Menores: Sofrem degradação de desempenho sob contextos multimodais estendidos devido à sobrecarga de tokens (token overload).
• Otimização de Frames: Para a maioria das tarefas, a amostragem uniforme de 12 quadros (0,2 fps) atingiu um platô de precisão, reduzindo o consumo de tokens em ~40% em comparação com orçamentos maiores, sem perda significativa de acurácia.

B. Fatores Críticos de Desempenho por Tarefa

• Classificação de Tópico: O principal motor de desempenho é a transcrição de fala (ASR). O contexto visual sozinho é limitado; metadados e transcrições oferecem os maiores ganhos.
• Reconhecimento de Pessoas: O enriquecimento com metadados é o fator dominante. Configurações apenas visuais ou com transcrição têm baixa precisão. Metadados ajudam a corrigir erros de ASR e validar identidades.
• Classificação de Ambiente: É predominantemente perceptual. Quadros estáticos funcionam bem para estúdios, mas o vídeo oferece benefícios para cenas dinâmicas.
• Detecção de Conteúdo Sensível: O desafio é o controle de falsos positivos. A adição de texto pode introduzir ativações espúrias baseadas em palavras-chave, tornando o controle visual crucial.

C. Análise de Audiência e Engajamento

• Padrões Demográficos: A audiência sênior (55+) é o segmento mais estável e numeroso. Os espectadores mais jovens (15-34) exibem maior variabilidade inter-episódica.
• Sensibilidade Temática:
  • Tópicos de alta frequência (política doméstica/internacional) sustentam a audiência base.
  • Segmentos de baixa frequência geram desvios localizados de engajamento que variam drasticamente entre gerações (ex.: "Arte e Literatura" atrai jovens, mas afasta adultos e seniores).
• Viabilidade: A integração de anotações semânticas automatizadas com dados de audiência permite uma análise dinâmica de sensibilidade demográfica, substituindo medições agregadas estáticas.

4. Contribuições Chave

1. Benchmark Específico de Domínio: Criação de um conjunto de dados de 100 clipes anotados manualmente para televisão italiana, cobrindo quatro tarefas semânticas complexas.
2. Avaliação Empírica Sistemática: Demonstração de que a entrada de vídeo temporal não melhora universalmente o desempenho e que o enriquecimento com metadados é um motor de desempenho mais robusto do que a qualidade da transcrição ou a continuidade visual em muitas tarefas.
3. Framework Operacional Viável: Implantação bem-sucedida de um pipeline de anotação automatizada em escala real (3.000+ minutos), integrando-o a dados de medição de audiência para análise demográfica.

5. Significado e Lições Aprendidas

• Eficiência Computacional: Para aplicações de broadcast, pipelines baseadas em quadros chave (frames) com enriquecimento de metadados e ASR são frequentemente mais eficientes e eficazes do que o processamento de vídeo completo, especialmente para modelos de tamanho médio.
• Engenharia de Taxonomia: A estrutura dos rótulos (taxonomia) é tão crítica quanto a escolha do modelo. Ambiguidades semânticas nos rótulos (ex.: sobreposição entre "política doméstica" e "internacional") causam erros sistemáticos que nenhum modelo pode resolver sozinho.
• Nova Fronteira de Análise: O trabalho valida o uso de MLLMs não apenas como ferramentas de compreensão de vídeo, mas como componentes centrais de um framework de análise de audiência orientado a dados, permitindo que emissoras entendam a relação causal entre o conteúdo específico e o comportamento demográfico em tempo quase real.

Conclusão: O estudo demonstra que a automação da anotação semântica de conteúdo de TV é viável e valiosa, mas exige uma seleção cuidadosa de arquitetura (vídeo vs. imagem) e estratégias de entrada (metadados vs. texto) adaptadas à tarefa específica e à capacidade do modelo, em vez de depender cegamente da ingestão de vídeo completo.