Resumo Técnico: OnPoint: Destilação de Múltiplos Níveis de Offline para Online para Localização de Ações Temporais Online com Supervisão por Pontos

Definição do Problema: POTAL (Localização de Ações Temporais Online com Supervisão por Pontos)

O artigo aborda uma lacuna crítica na Localização de Ações Temporais (TAL): a interseção entre eficiência de rótulo e restrições de inferência online. Os métodos de TAL existentes normalmente dependem de anotações densas de fronteiras temporais e acesso offline a sequências de vídeo completas, o que limita a escalabilidade e impede a implantação em cenários de streaming (ex: análise de esportes ao vivo, assistência cirúrgica, robótica). Por outro lado, os métodos de TAL Online (OnTAL) operam em ambientes de streaming, mas exigem supervisão de nível de segmento completa, o que é custoso de obter.

Os autores introduzem o POTAL (Point-Supervised Online TAL), uma nova configuração de tarefa onde:

1. A supervisão é esparsa: O treinamento utiliza apenas um único ponto temporal (timestamp) e um rótulo de classe por instância de ação, em vez de fronteiras completas de início/fim.
2. A inferência é estritamente online: O modelo deve processar vídeos em streaming quadro a quadro, realizando previsões sem acesso ao contexto futuro ou a capacidade de revisar decisões passadas.

O desafio central é que treinar um modelo online com apenas rótulos de pontos é inerentemente difícil devido à falta de pistas de fronteira e à ausência de contexto futuro necessário para definir a extensão das ações.

Metodologia: O Framework OnPoint

Para resolver o POTAL, os autores propõem o OnPoint, um framework de destilação de múltiplos níveis de offline para online. O sistema emprega um professor offline com supervisão por pontos (que tem acesso ao vídeo completo) para guiar um estudante estritamente online (que processa janelas de streaming). O professor gera sinais de supervisão estruturados que o estudante aprende a imitar usando apenas quadros passados e atuais.

O framework consiste em quatro componentes técnicos principais:

1. Sinais de Destilação de Múltiplos Níveis

O professor transfere conhecimento através de três sinais complementares:

• Pseudo-destilação de Nível de Instância: O professor offline gera o pseudo-segmento de verdade fundamental (fronteiras de início/fim) a partir de rótulos de pontos esparsos. Esses pseudo-rótulos supervisionam o módulo de predição de instância baseado em âncoras do estudante, fornecendo orientação de fronteira estruturada que o estudante não consegue inferir apenas dos pontos.
• Destilação de Subsequência de Ativação de Classe (CASS): Para aprimorar a representação temporal, o estudante alinha suas predições quadro a quadro dentro de uma janela deslizante com a Sequência de Ativação de Classe (CAS) do professor. Essa supervisão densa, de nível de quadro, fortalece a capacidade do backbone de capturar transições sutis de ação sem contexto futuro.
• Destilação de Nível de Janela de Antecipação: Para compensar a falta de contexto futuro, a CAS do professor é usada para prever a probabilidade de ações ocorrerem na próxima janela. Esse "conhecimento futuro" é destilado para a cabeça de antecipação do estudante, guiando-o em direção a fronteiras de ação iminentes.

2. Calibração de Atenção Guiada por Actionness

Decoders baseados em âncoras padrão geralmente carecem de priors explícitos de ação. O OnPoint introduz um mecanismo para calibrar os pesos de atenção no decoder transformer. Ele utiliza os scores de actionness derivados do preditor CASS (especificamente, o inverso da probabilidade de fundo) para enviesar os logits de atenção. Isso força o decoder a enfatizar quadros com alta probabilidade de ação e suprimir ruído de fundo, melhorando a qualidade das características das âncoras.

3. Supervisão de Pontos Auxiliar em Nível de Âncora

Para mitigar o risco de propagação de erro de pseudo-rótulos imperfeitos gerados pelo professor, o framework incorpora diretamente as anotações de pontos originais (ground-truth) como um sinal de supervisão auxiliar. Um módulo de Predição de Pontos em Nível de Âncora classifica se uma âncora contém um ponto e regride a distância entre o centro da âncora e o ponto. Isso fornece um sinal fraco, porém confiável, que estabiliza o treinamento.

4. Treinamento e Inferência

• Treinamento: O estudante online é treinado usando uma combinação ponderada de quatro perdas: perda de nível de instância (da pseudo-labels), perda CASS, perda de antecipação e perda de predição de pontos.
• Inferência: O professor offline é descartado. O estudante online processa janelas deslizantes, gera propostas via decoder de âncoras e aplica o Non-Maximum Suppression Online (ONMS) para entregar segmentos de ação imediatamente após a detecção.

Principais Contribuições

1. Formulação da Tarefa POTAL: A primeira definição formal de localização de ação temporal que impõe simultaneamente restrições estritas de inferência online e supervisão por nível de ponto, completa com protocolos de avaliação e baselines.
2. Framework OnPoint: O primeiro framework de destilação de offline para online para TAL sob supervisão por pontos. Ele une de forma única a lacuna entre o contexto de vídeo completo e as restrições de streaming via destilação de múltiplos níveis (pseudo-segmentos, CASS e antecipação).
3. Componentes Arquiteturais Inovadores:
   • Destilação CASS: A primeira integração de destilação baseada em CAS em um pipeline online para orientação temporal refinada.
   • Antecipação de Nível de Janela: Um mecanismo de destilação adaptado que ensina o modelo online a antecipar ações futuras com base no contexto temporal offline.
   • Decodificação Calibrada por Actionness: Um novo mecanismo de atenção que usa scores de actionness para refinar as características das âncoras na ausência de quadros futuros.
4. Mecanismo de Robustez: A introdução da supervisão direta de pontos em nível de âncora para estabilizar o treinamento contra ruídos nos pseudo-rótulos do professor.

Resultados Experimentais

Os autores avaliaram o OnPoint em cinco datasets: THUMOS'14, EGTEA, HOI4D-Office, FineAction e EPIC-Kitchens-100.

• Desempenho: O OnPoint superou consistentemente baselines fortes (incluindo abordagens sem destilação e outros métodos online treinados com supervisão total) em todos os datasets.
  • No THUMOS'14, alcançou um ganho médio de mAP de 4,8% sobre o melhor baseline, atingindo 61,9% de mAP médio (tIoU 0.1–0.5), superando vários métodos online totalmente supervisionados.
  • No EGTEA e HOI4D-O, apresentou ganhos consistentes de 3,4% e 2,3%, respectivamente, sobre os baselines.
• Estudos de Ablação: Remover qualquer um dos três sinais de destilação (CASS, Antecipação ou Nível de Instância) resultou em quedas de desempenho, confirmando a necessidade da abordagem de múltiplos níveis. O mecanismo de atenção calibrada por actionness sozinho contribuiu com uma melhoria de 2,0%.
• Robustez: O modelo demonstrou resiliência ao ruído nos pseudo-rótulos do professor quando a supervisão de pontos em nível de âncora estava ativa, mantendo a estabilidade onde a variante sem destilação falhou.
• Eficiência: O modelo online é computacionalmente eficiente (93M parâmetros, ~312 FPS em uma RTX 4090), oferecendo um equilíbrio favorável entre velocidade e precisão em comparação com modelos mais pesados como HAT ou MATR.

Significância e Alegações

O artigo posiciona o OnPoint como uma base sólida para a pesquisa em POTAL. Ele afirma ser o primeiro trabalho a conectar com sucesso a eficiência de rótulo das anotações de pontos com as restrições de causalidade estrita de streaming online.

Os autores enfatizam que, embora os Grandes Modelos Multimodais (LLMs) tenham sido testados para geração automática de rótulos, eles se mostraram pouco confiáveis para localização temporal precisa (alcançando apenas ~29% de mAP comparado aos ~90% do professor). Em contraste, o OnPoint demonstra que um professor offline específico para a tarefa, treinado em rótulos de pontos humanos fracos, pode transferir conhecimento de forma eficaz para um estudante online, permitindo a localização de ações em tempo real e escalável sem o custo proibitivo da anotação densa. O trabalho estabelece que uma TAL online de alto desempenho é alcançável mesmo com supervisão mínima, desde que a arquitetura de destilação correta seja empregada.