A Hybrid Deterministic Framework for Named Entity Extraction in Broadcast News Video

Resumo Técnico: Uma Estrutura Híbrida Determinística para Extração de Entidades Nomeadas em Vídeos de Noticiários

Definição do Problema
O ecossistema de mídia contemporâneo gera volumes vastos de conteúdo em vídeo, particularmente em formatos de notícias de curta duração em plataformas de broadcast e redes sociais. Este volume excede a capacidade dos analistas humanos de processá-lo de forma eficaz. Um desafio crítico reside na extração automática de nomes próprios incorporados em elementos gráficos dinâmicos (ex: lower-thirds, tickers, manchetes). Esses elementos exibem uma variabilidade significativa em tipografia, layout espacial, cor e movimento, dificultando a interpretação precisa por máquinas. Além disso, uma pesquisa com usuários realizada como parte deste estudo revelou que 59% dos respondentes sentem dificuldade em ler nomes na tela devido à velocidade de exibição e variação tipográfica, destacando uma lacuna de acessibilidade. Embora modelos multimodais generativos ofereçam flexibilidade, sua natureza estocástica levanta preocupações quanto à consistência factual, reprodutibilidade e à falta de linhagem de dados transparente exigida em contextos jornalísticos e analíticos.

Metodologia
O estudo propõe uma estrutura determinística abrangente composta por três componentes principais: construção de conjunto de dados, um pipeline de extração modular e uma avaliação comparativa contra bases generativas.

1. O Conjunto de Dados de Gráficos de Notícias (NGD - News Graphics Dataset):
   Para abordar a falta de anotações detalhadas para sobreposições gráficas, os autores curaram o NGD. Ele consiste em 1.500 quadros extraídos de 300 vídeos (equilibrados entre fontes locais, internacionais e nativas de redes sociais). O conjunto de dados inclui 4.749 anotações de nível de região em seis categorias: Gráficos de Notícias de Última Hora (Breaking News Graphics), Gráficos Digitais na Tela, Lower Thirds, Manchetes, Tickers e Outros Gráficos de Notícias. Os quadros foram padronizados para 640×640 pixels, aumentados com ajustes de brilho e ruído, e divididos em conjuntos de 93% para treinamento, 4% para validação e 3% para teste, com aplicação de deduplicação temporal para minimizar vazamentos (leakage).

2. O Pipeline de Extração de Nomes Precisos (ANEP - Accurate Name Extraction Pipeline):
   O ANEP é um pipeline interpretável de cinco estágios projetado para uma linhagem de dados transparente:

   • Processamento de Quadros: Amostragem a 1 FPS com remoção de redundância via perceptual hashing.
   • Detecção de Gráficos: Utilização de um detector YOLOv12 (médio) treinado do zero no NGD para localizar elementos gráficos.
   • Extração de Texto: Aplicação de OCR com realce de contraste e limiar adaptativo, filtrando saídas por confiança.
   • Reconhecimento de Entidades Nomeadas (NER) e Validação: Combinação de um modelo NER baseado em transformer ajustado (fine-tuned) com um pipeline linguístico suplementar e filtros heurísticos para validar nomes próprios.
   • Agrupamento e Geração de Linha do Tempo: Fusão de variantes de nomes usando similaridade difusa (fuzzy), Jaccard e baseada em embeddings para produzir nomes canônicos e perfis de ocorrência temporal.

3. Bases Comparativas:
   O pipeline determinístico foi avaliado contra dois sistemas multimodais generativos: Gemini 1.5 Pro e LLaMA 4 Maverick. Estes modelos processaram quadros de vídeo deduplicados (codificados em base64) usando prompts estruturados para extrair nomes próprios, com saídas retornadas em formato JSON.

Principais Contribuições

• Criação de Conjunto de Dados: A introdução do NGD, um corpus curado que captura a diversidade tipográfica e espacial dos gráficos de notícias modernos, permitindo a avaliação sistemática da extração de texto visual.
• Pipeline Determinístico: O desenvolvimento do ANEP, uma estrutura modular que integra Visão Computacional (CV), OCR e NER. Diferente dos modelos generativos de ponta a ponta, o ANEP oferece controle explícito, saídas consistentes e saliência verificável em cada estágio de processamento.
• Análise Sistemática: Um benchmark comparativo quantificando as compensações entre a auditabilidade e confiabilidade de pipelines determinísticos versus o raciocínio estocástico e a precisão bruta de abordagens multimodais generativas.

Resultos

• Detecção de Objetos: O modelo YOLOv12(m) treinado localmente alcançou o desempenho mais alto no NGD, atingindo 95,8% de mAP@0.5, com 93,9% de precisão e 93,5% de recall. A análise Grad-CAM confirmou o foco do modelo em regiões densas de texto, e ele demonstrou generalização robusta para transmissões não vistas, incluindo aquelas com reflexos e artefatos de compressão.
• Desempenho de Extração de Nomes:
  • Gemini 1.5 Pro: Alcançou a maior precisão bruta com um F1 score de 84,18% (93,33% de precisidade, 76,67% de recall) e o tempo de execução mais rápido (94,68s). No entanto, opera como uma "caixa preta" com interpretabilidade limitada.
  • ANEP: Entregou um F1 score equilibrado de 77,08% (79,92% de precisão, 74,44% de recall). Embora mais lento (542,15s) devido à sua natureza sequencial de múltiplos estágios, fornece rastreabilidade total e evita alucinações.
  • LLaMA 4 Maverick: Teve o desempenho mais fraco com um F1 score de 57,14%, enfrentando dificuldades com textos sobrepostos e limitações de janela de contexto em segmentos longos.
• Análise de Erros: As principais limitações do ANEP incluíram variações de string induzidas pelo OCR (especialmente com diacríticos) e dificuldades em resolver referências indiretas ou texto fortemente distorcido. Modelos generativos mostraram latência variável e problemas de reprodutibilidade.

Significância e Alegações
O artigo estabelece que, embora sistemas multimodais generativos possam alcançar uma precisão de extração bruta marginalmente superior, eles carecem da linhagem de dados transparente essencial para aplicações jornalísticas e forenses. A estrutura proposta pelo ANEP oferece uma base metodologicamente rigorosa e interpretável que prioriza a auditabilidade e a responsabilidade. Os achados da pesquisa com usuários reforçam isso, indicando que 62,2% dos respondentes confiam em sistemas automatizados apenas se sua operação for transparente.

Os autores concluem que pipelines determinísticos permanecem essenciais para cenários que exigem caminhos de decisão verificáveis, mesmo conforme os modelos generativos continuam a evoluir. O trabalho avança o campo da análise de mídia ao fornecer uma abordagem híbrida robusta que equilibra viabilidade operacional com os requisitos éticos de extração de informação na mídia de notícias moderna. Sugere-se como trabalho futuro abordar escritas não latinas, integrar metadados semânticos mais ricos (ex: afiliações) e explorar arquiteturas de transformers multimodais para desambiguação em tempo real.