Resumo Técnico: GRU Hierárquica com Consultas de Slots Condicionadas à Entrada para Antecipação de Ações de Bola

Definição do Problema

O artigo aborda a tarefa de Antecipação de Ação de Bola em vídeos de transmissões de futebol, especificamente no contexto do benchmark SoccerNet Ball Action Anticipation (BAA). O desafio central é prever ações específicas relacionadas à bola que ocorrerão em uma janela de antecipação futura de 5 segundos, baseando-se em uma janela de observação precedente de 30 segundos. O sistema deve classificar essas ações em 10 classes distintas e determinar sua localização temporal precisa dentro da janela futura. A métrica de avaliação é a média da Precisão Média (mAP) calculada sobre seis tolerâncias temporais (variando de 1 segundo a infinito).

Metodologia

A abordagem proposta utiliza uma arquitetura hierárquica que combina codificação de características locais, agregação temporal global e um mecanismo de decodificação baseado em consultas (queries).

1. Extração de Características

O sistema utiliza um backbone de vídeo congelado (EfficientNetV2-B0 com blocos InvertedResidual3d e GeM pooling), pré-treinado na tarefa de Ball Action Spotting do SoccerNet.

• Estrutura de Entrada: A observação de 30 segundos é dividida em seis janelas de 5 segundos ($W=6$).
• Representação de Clip: Cada janela de 5 segundos (a 25 fps) é subdividida em $N_c=33$ clips, gerando uma sequência de vetores de características de 1280 dimensões ($F_w \in \mathbb{R}^{33 \times 1280}$).

2. Codificador Temporal Hierárquico

O processo de codificação opera em dois níveis:

• Transformer Local: Um Transformer de autoatenção de 2 camadas com pre-LN compartilhado processa cada janela de 5 segundos de forma independente. Ele captura padrões temporais intra-janela projetando as características para $d=256$ dimensões e adicionando embeddings de posição de clip aprendíveis. O Stochastic depth (DropPath) é utilizado para regularização.
• Agregador GRU: Para modelar dependências de longo alcance ao longo de toda a observação de 30 segundos, as janelas codificadas são reduzidas a 8 vetores de resumo via adaptive average pooling, criando uma sequência de 48 passos ($T=48$). Um GRU de camada única processa essa sequência para produzir um estado de memória $H$. Crucialmente, um parâmetro aprendível por janela permite que o modelo aplique pesos de importância uniformes ($\alpha_w$), permitindo que ele reduza o peso de segmentos iniciais não informativos da observação.

3. Decodificador de Slots Condicionado à Entrada

Em vez de utilizar consultas estáticas e fixas, o decodificador utiliza K=4 embeddings de slots aprendíveis que são dinamicamente inicializados com base no contexto da observação.

• Semeadura Contextual: Cada consulta de slot $q_k$ é formada pela adição de um embedding aprendível $e_k$ a um vetor de contexto derivado da média da memória GRU $H$. Isso permite que os slots adaptem seu estado inicial ao sequenciamento de entrada específico.
• Decodificação: Um decodificador Transformer de 4 camadas (com atenção cruzada e autoatenção) processa essas consultas contra a memória GRU.
• Cabeças Desacopladas: Cada slot produz três previsões independentes:
  1. Objeto (Objectness): Uma probabilidade binária ($p_{obj}$) indicando se o slot corresponde a um evento real.
  2. Classe: Uma distribuição softmax sobre as 10 classes de ação.
  3. Deslocamento Temporal (Temporal Offset): Uma distribuição softmax sobre 32 bins para prever o tempo preciso dentro da janela de 5 segundos.
     Nota: A separação da objetividade da previsão de classe evita o colapso da classe de fundo (background).

4. Estratégia de Treinamento

O pipeline de treinamento incorpora diversos mecanismos para lidar com o desequilíbrio de classes e a precisão temporal:

• Correspondência de Hungarian com Reponderação de Frequência: Para abordar o problema onde classes de ações raras são sistematicamente não correspondidas devido ao alto custo de classificação, o custo de correspondência é dividido por um peso de frequência inversa ($w_{cm}$). Isso favorece sistematicamente a atribuição de slots a eventos reais raros.
• Alvos Suaves Gaussianos (Gaussian Soft Targets): Em vez de supervisão de bin one-hot rígida para deslocamentos temporais, o modelo utiliza alvos suaves gaussianos centrados no bin da verdade fundamental (ground-truth). Isso penaliza erros temporalmente distantes de forma mais severa do que erros adjacentes, suavizando os gradientes.
• Tratamento de Desequilíbrio de Classes: Um amostrador aleatório ponderado aumenta significamente a frequência de classes raras (ex: TACKLE é amostrado 40x mais vezes).
• Aumento de Dados (Data Augmentation): O Feature MixUp é aplicado, misturando características de entrada e combinando perdas de amostras de origem.
• Cabeça Auxiliar: Uma cabeça 1D-CNN prevê a presença da ação por frame na última janela para fornecer supervisão auxiliar.

Principais Contribuições

1. Arquitetura Hierárquica: A integração de um Transformer local para características de nível de clip e um GRU para agregação temporal global permite que o modelo capture tanto interações finas quanto contexto de longo alcance de forma eficiente.
2. Consultas de Slots Condicionadas à Entrada: A introdução de consultas de slot semeadas pelo resumo do GRU (Eq. 1) substitui consultas estáticas por inicializações conscientes do contexto, melhorando o desempenho de validação em aproximadamente 0,8 pontos de mAP em comparação com embeddings estáticos.
3. Perda e Correspondência Especializadas: A proposta de correspondência de Hungarian reponderada por frequência visa especificamente o problema de desequilíbrio de classes na antecipação de ações, garantindo que classes raras não sejam ignoradas durante a otimização. Adicionalmente, os alvos suaves gaussianos para a divisão temporal (binning) melhoram a suavidade das previsões temporais.

Resultados

O método foi avaliado no benchmark SoccerNet Ball Action Anticipation:

• Desempenho: O modelo alcançou 17,91% de mAP no servidor de teste (média entre todas as tolerâncias).
• Comparação: Este resultado é competitivo com a linha de base FAANTRA fornecida pelos organizadores (18,05% mAP), apesar de o método proposto não empregar o ajuste fino (fine-tuning) do backbone de ponta a ponta.
• Insights de Ablação:
  • Reduzir o limiar de objetividade ($\tau$) de 0,3 para 0,05 aumentou o número de previsões por clip em cinco vezes, mas causou uma queda no mAP para 13,96%, confirmando que slots de baixa confiança geram saídas ruidosas.
  • Remover o mecanismo de consulta condicionada à entrada (retornando a slots estáticos) degradou o mAP de validação em ~0,8 pontos.

Significância e Alegações

O artigo posiciona sua significância ao fornecer uma arquitetura modular e robusta para a antecipação de ações de bola que lida efetivamente com o desequilíbrio de classes inerente e os requisitos de precisão temporal da tarefa. Os autores afirmam que seu método atinge um desempenho competitivo na divisão de desafio cego sem o custo computacional de realizar o fine-tuning de todo o backbone de vídeo. O trabalho demonstra que consultas de slot condicionadas à entrada e correspondência consciente da frequência são componentes críticos para melhorar a precisão da antecipação, particularmente para classes de ações sub-representadas. Os resultados sugerem que uma estrutura codificador-decodificador hierárquica cuidadosamente desenhada, combinada com modificações específicas de perda para desequilíbrio, é suficiente para aproximar-se do estado da arte neste domínio.