ExposureEngine: Oriented Logo Detection and Sponsor Visibility Analytics in Sports Broadcasts

O artigo apresenta o ExposureEngine, um sistema automatizado que utiliza caixas delimitadoras orientadas (OBB) e uma camada de agentes baseada em linguagem natural para detectar com precisão logotipos de patrocinadores em transmissões esportivas e calcular métricas de visibilidade, superando as limitações dos métodos tradicionais de caixas alinhadas aos eixos.

O essencial

Imagine que você é um diretor de marketing de uma grande empresa de bebidas e quer saber: "Quanto o nosso logotipo apareceu na TV durante o jogo de futebol?"

Antigamente, para responder a isso, você teria que contratar uma equipe inteira de pessoas para assistir a horas de gravação, pausar o vídeo, contar manualmente cada vez que a marca aparecia e medir o tamanho dela. Era chato, demorado e cheio de erros humanos.

Agora, imagine um robô superinteligente que faz esse trabalho em segundos. É exatamente isso que o ExposureEngine faz, mas com um "superpoder" especial que os robôs antigos não tinham.

Aqui está a explicação simples, usando algumas analogias divertidas:

1. O Problema do "Caixa de Papelão" (HBB vs. OBB)

Antes, os sistemas de detecção de logotipos usavam o que chamamos de Caixa de Papelão Reta (HBB).

• A Analogia: Imagine que você tem um copo de água inclinado na mesa. Se você tentar cobri-lo com uma caixa de papelão quadrada e reta (sem inclinação), a caixa vai cobrir o copo, mas também vai cobrir muito espaço vazio ao redor (o fundo da mesa).
• O Erro: O robô antigo pensava: "Uau, a caixa é grande! A marca deve ter aparecido muito!" Mas, na verdade, ele estava contando o fundo da mesa como se fosse parte da marca. Isso inflava os números e enganava os anunciantes.

2. A Solução: A "Moldura de Foto Giratória" (OBB)

O ExposureEngine usa uma tecnologia chamada Detecção de Caixas Orientadas (OBB).

• A Analogia: Em vez de usar uma caixa de papelão reta, o ExposureEngine usa uma moldura de foto que gira. Se o logotipo na camisa do jogador estiver torto porque o jogador está correndo ou caindo, a moldura gira junto com ele.
• O Resultado: A moldura encaixa perfeitamente no logotipo, sem cobrir o fundo da mesa. Agora, o robô sabe exatamente o tamanho real da marca na tela. Se a marca está pequena e torta, ele mede isso com precisão cirúrgica.

3. O "Treinamento" do Robô

Para ensinar esse robô, os criadores não usaram apenas qualquer vídeo. Eles criaram um livro de exercícios gigante (um conjunto de dados) com mais de 1.000 momentos de jogos de futebol suecos.

• Eles mostraram ao robô 670 marcas diferentes, em situações difíceis: logotipos distorcidos pela curva da camisa, logotipos girando no ar, logotipos escondidos parcialmente.
• O robô aprendeu a "ver" esses logotipos como um humano experiente, mas na velocidade da luz.

4. O "Assistente de Voz" (A Camada de Agentes)

A parte mais mágica é como você conversa com o sistema. Você não precisa ser um programador ou usar planilhas complexas.

• A Analogia: Imagine que o sistema é um assistente pessoal muito esperto (como um Siri ou Alexa, mas focado em futebol).
• Como funciona: Você pode dizer: "Ei, mostre-me todos os momentos em que a marca 'Adidas' apareceu no segundo tempo e me envie um vídeo curto para o Instagram."
• O sistema entende sua frase, procura nos dados, corta o vídeo, escreve uma legenda legal e está pronto para postar. Ele transforma dados chatos em histórias fáceis de contar.

5. Por que isso é importante?

• Para as Empresas: Elas pagam milhões por publicidade. Com o ExposureEngine, elas sabem exatamente o que estão comprando. Se o logotipo apareceu apenas 2 segundos e estava pequeno, elas não pagam como se fosse 10 segundos grandes. É justiça financeira.
• Para as Transmissões: Permite criar resumos automáticos e relatórios instantâneos, economizando tempo e dinheiro.

Resumo da Ópera

O ExposureEngine é como um detetive de logotipos que usa óculos especiais para ver a inclinação exata das marcas na TV. Ele não se deixa enganar por caixas retas que cobrem o fundo errado. Ele mede tudo com precisão geométrica e depois conversa com você em linguagem natural para entregar relatórios e vídeos prontos.

É a evolução de "contar com os dedos" para "contar com inteligência artificial precisa e conversável".

Resumo técnico

Resumo Técnico: ExposureEngine

1. Problema Identificado

A medição da visibilidade de patrocinadores em transmissões esportivas é uma tarefa crítica de marketing, tradicionalmente realizada de forma manual, subjetiva e não escalável. Embora existam sistemas automatizados, a maioria deles depende de Caixas Limitantes Horizontais (HBB - Horizontal Bounding Boxes).

• Limitação Principal: As HBBs assumem que os objetos estão alinhados aos eixos. Em transmissões esportivas, os logotipos frequentemente aparecem rotacionados, distorcidos ou inclinados devido a ângulos de câmera dinâmicos, dobras em uniformes e distorções de perspectiva.
• Consequência: O uso de HBBs resulta em caixas que incluem áreas de fundo desnecessárias (pixels "desperdiçados"), levando a uma superestimação do tamanho do logotipo e a métricas de visibilidade imprecisas (como tempo de exposição e proeminência na tela). Isso afeta negativamente tarefas subsequentes, como remoção de logotipos ou edição de vídeo.

2. Metodologia Proposta

O artigo apresenta o ExposureEngine, um sistema end-to-end projetado para detecção de logotipos orientada e análise de visibilidade de patrocinadores, utilizando futebol como estudo de caso.

• Abordagem de Detecção (OBB): Em vez de HBBs, o sistema utiliza Caixas Limitantes Orientadas (OBB - Oriented Bounding Boxes). O modelo prevê não apenas a posição e o tamanho, mas também o ângulo de rotação, garantindo um ajuste geométrico preciso ao logotipo, independentemente da sua orientação na tela.
• Arquitetura do Modelo:
  • Baseado no YOLOv11 (comparado também com YOLOv8).
  • Utiliza uma função de perda personalizada: Varifocal Loss (VFL). A VFL foi escolhida para lidar com o desequilíbrio de classes (distribuição de cauda longa, onde alguns patrocinadores aparecem muito e outros raramente), penalizando negativamente exemplos fáceis e ponderando positivos de alta qualidade com base na precisão da localização.
  • Treinamento realizado em GPUs NVIDIA A100 com aumento de dados (rotação, escala, ajuste de contraste).
• Pipeline de Análise:
  1. Ingestão e Pré-processamento: Suporte para vídeo, imagens e streams HLS.
  2. Motor de Inferência: Executa a detecção OBB quadro a quadro.
  3. Processamento de Dados: Agrega detecções, aplica filtros temporais e espaciais e calcula métricas baseadas em polígonos (área real visível).
  4. Camada Agente (LLM): Integração com um modelo de linguagem (via framework LangGraph) que permite aos usuários fazer consultas em linguagem natural (ex: "Quem foi o patrocinador mais visível no segundo tempo?") e gerar relatórios ou clipes de vídeo automaticamente.

3. Contribuições Principais

O trabalho apresenta quatro contribuições fundamentais:

1. Modelo de Detecção OBB: Um modelo baseado em YOLOv11 treinado especificamente para detectar logotipos de patrocinadores com rotação e deformação.
2. Novo Dataset Público: Um conjunto de dados inédito composto por 1.103 quadros de partidas da liga de elite sueca de 2024, contendo 670 classes únicas de logotipos anotados com OBBs. Este é o primeiro dataset aberto com anotações OBB específicas para transmissões de futebol.
3. Dashboard Analítico: Uma interface completa que visualiza detecções, métricas de exposição e permite consultas interativas.
4. Sistema Agente Multi-camadas: Uma camada de inteligência baseada em LLM que orquestra agentes para análise, criação de destaques (highlights) e compartilhamento em redes sociais, traduzindo dados brutos em inteligência de negócios acionável.

4. Resultados e Avaliação

O sistema foi avaliado rigorosamente no conjunto de dados proposto:

• Desempenho do Modelo: A configuração YOLOv11-Medium alcançou o melhor desempenho, com:
  • mAP@0.5: 0,859
  • Precisão: 0,96
  • Revocação (Recall): 0,87
• Comparação OBB vs. HBB:
  • Embora a precisão de detecção (mAP) seja estatisticamente similar entre modelos OBB e HBB, a vantagem crítica do OBB é a precisão geométrica.
  • A análise da Taxa de Ajuste (Tightness Ratio - TR) mostrou que as HBBs incluem significativamente mais fundo desnecessário, especialmente quando os logotipos estão rotacionados (a eficiência cai para ~0,40 em ângulos de 55°-60°). As OBBs mantêm um ajuste compacto, essencial para métricas de área precisas.
• Alinhamento com Ground Truth: Mais de 96,8% das previsões atingiram um IoU (Interseção sobre União) > 0,5, e 63,4% atingiram um alinhamento muito apertado (> 0,9).
• Desempenho de Inferência: Com aceleração GPU, o sistema atinge ~20 FPS, permitindo dashboards quase em tempo real e geração automatizada de destaques.

5. Significado e Impacto

O ExposureEngine representa um avanço significativo na análise esportiva e de mídia:

• Precisão Métrica: Ao eliminar o ruído de fundo causado por caixas retangulares, o sistema fornece métricas de exposição (tempo e área) que são auditáveis e geometricamente fiéis, fundamentais para justificar taxas de publicidade e ROI.
• Escalabilidade e Automação: Substitui processos manuais lentos por um pipeline automatizado que lida com a complexidade visual de transmissões ao vivo.
• Acessibilidade via IA: A camada de agentes baseada em LLM democratiza o acesso aos dados complexos, permitindo que stakeholders não técnicos obtenham insights e conteúdo pronto para mídia através de linguagem natural.
• Reprodutibilidade: A disponibilização do dataset e do código fomenta a pesquisa acadêmica e o desenvolvimento de novos padrões na indústria de análise esportiva.

Em suma, o ExposureEngine resolve o problema da medição imprecisa de visibilidade em esportes ao combinar detecção de objetos orientada (OBB) com análise de dados guiada por linguagem natural, oferecendo uma solução completa, escalável e de alta precisão.