Resumo Técnico: VideoNet

Declaração do Problema

O reconhecimento de ações tem sido há muito tempo uma pedra angular da visão computacional, no entanto, os Modelos Visão-Linguagem (VLMs) modernos deixaram de ser amplamente avaliados nesta tarefa devido à escassez de dados diversificados, desafiadores e específicos de domínio. Os benchmarks existentes frequentemente focam em rótulos de granularidade grosseira (por exemplo, "escalada em rocha") ou atributos temporais de granularidade fina que carecem de aplicabilidade no mundo real (por exemplo, direção de rotação de objetos). Consequentemente, os VLMs não estão sendo testados em sua capacidade de reconhecer ações específicas de domínio — como um "salto triplo" no patinação artística ou uma "marcha de steppage" na neurologia —, o que requer não apenas percepção, mas também raciocínio composicional para distinguir variações sutis de nível especializado. A ausência de tais dados impede que os pesquisadores avaliem a generalizabilidade dos VLMs para tarefas do mundo real de nível especializado.

Metodologia

Construção do Benchmark (VideoNet)

Os autores introduzem o VideoNet, um benchmark cobrindo 1.000 ações distintas em 37 domínios (por exemplo, esportes, medicina, artesanato, dança) organizados em 7 categorias. O processo de construção envolveu:

1. Geração de Taxonomia: Uma abordagem de cima para baixo utilizando fontes escritas por especialistas e LLMs (complementadas por pesquisas na web) para definir ações e seus diferenciadores visuais.
2. Pipeline de Coleta de Dados: Um processo de anotação humana em três etapas:
   • Coleta: Anotadores encontram 7 clipes por ação de fontes web distintas.
   • Verificação: Anotadores verificam se os clipes contêm a ação e estão bem recortados. Não especialistas classificam os clipes como "contendo" ou "não contendo" a ação para reduzir a complexidade.
   • Recorte: Clipes mal recortados são refinados por anotadores treinados nas definições das ações.
3. Verificação de Rótulos: A verificação por especialistas em um subconjunto de 620 clipes confirmou uma taxa de precisão de 97,6%, validando a robustez do pipeline.
4. Geração de Negativos Difíceis: Para evitar que os modelos dependam de pistas de nível de cena, os autores geraram "negativos difíceis" (ações visualmente semelhantes ao alvo, mas distintas em técnica ou movimento) usando LLMs e modelos de raciocínio para filtrar ações co-ocorrentes ou ambíguas.
5. Configurações de Avaliação:
   • Múltipla Escolha: 4 opções (1 verdade fundamental, 3 negativos difíceis) por clipe.
   • Binário Few-Shot: Uma pergunta binária "Sim/Não" com $k \in \{0, 1, 2, 3\}$ exemplos de vídeo em contexto.

Conjunto de Dados de Treinamento

Reconhecendo que a anotação humana é muito cara para dados em escala de treinamento, os autores desenvolveram um pipeline totalmente automatizado para coletar ~500k pares de perguntas e respostas sobre vídeo (VQA) (filtrados para ~160k clipes de alta qualidade).

• Fonte: Vídeos raspados da web para os 37 domínios.
• Localização: Uso do Gemini 2.5 Flash para localizar os timestamps das ações.
• Estratégias de Rotulagem: Três estratégias de filtragem foram testadas:
  1. TranscriptLocalized: O nome da ação aparece na transcrição perto do clipe.
  2. TranscriptLocalizedTitleMatch: O nome da ação na transcrição e no título.
  3. SingleAction: Se o título mencionar uma ação e o localizador encontrar apenas um clipe, esse clipe é rotulado como a ação.
• Ajuste Fino: Um modelo Molmo2-4B foi ajustado finamente nesses conjuntos de dados.

Resultados Principais

Desempenho de VLMs no VideoNet

• Múltipla Escolha: Modelos abertos existentes de 8B lutam, alcançando apenas 45,0% de precisão (Qwen3-VL-8B), enquanto o melhor modelo proprietário (Gemini 3.1 Pro) atinge 69,9%. O acaso aleatório é de ~25%.
• Binário Zero-Shot: Em uma configuração binária relaxada (acaso aleatório 50%), modelos abertos atingem 59,2% (Qwen3-VL-8B), enquanto modelos proprietários estagnam em torno de 72%.
• Aprendizado Few-Shot: Os VLMs mostram capacidade limitada de aprender a partir de exemplos visuais em contexto.
  • Humanos não especialistas melhoram em +13,6% com exemplos de 3-shot.
  • Os VLMs melhoram em média apenas +2,9%, com alguns modelos (por exemplo, Gemini 3.1 Pro) apresentando na verdade um declínio no desempenho.
  • Isso sugere que os VLMs carecem dos mecanismos perceptivos para aprendizado visual few-shot eficiente em comparação com humanos.

Impacto dos Dados de Treinamento

• O ajuste fino do modelo Molmo2-4B no conjunto de dados SingleAction (o menor, mas subconjunto de maior qualidade) resultou em uma melhoria de 11,5 pontos percentuais na configuração de múltipla escolha, alcançando 53,5% de precisão.
• Crucialmente, este modelo de 4B ajustado finamente superou todos os modelos abertos existentes de 8B e aproximou-se do desempenho de modelos proprietários de 8B+, demonstrando que dados de treinamento específicos de domínio são mais críticos do que a escala do modelo para esta tarefa.
• O modelo ajustado finamente de 4B também alcançou 66,6% na configuração binária 0-shot, superando o desempenho 3-shot do Qwen3-VL-8B (66,2%).

Significado e Alegações

O artigo alega que o VideoNet revitaliza o reconhecimento de ações como uma tarefa de avaliação relevante para a era dos VLMs, focando em ações específicas de domínio e de granularidade fina. Os autores argumentam que:

1. Os VLMs atuais são deficientes no reconhecimento de ações específicas de domínio, lutando mesmo em configurações binárias relaxadas e falhando em aproveitar exemplos visuais few-shot de forma eficaz.
2. A qualidade dos dados e a especificidade de domínio são primordiais; um conjunto de dados de treinamento menor e de alta qualidade (SingleAction) permitiu que um modelo de 4B superasse modelos maiores de 8B, desafiando a noção de que a escala por si só resolve essas tarefas.
3. Lacuna Humano vs. Modelo: A lacuna significativa entre o desempenho few-shot humano e do modelo destaca uma limitação fundamental na capacidade atual dos VLMs de aprender padrões visuais a partir de demonstrações.
4. Pesquisa Futura: O conjunto de dados serve como um campo de testes para melhorar a percepção, o raciocínio visual e a compreensão de ações do mundo real, potencialmente desbloqueando aplicações em domínios assistidos por especialistas, como diagnósticos médicos ou treinamento esportivo.

Os autores enfatizam que seu trabalho fornece a infraestrutura necessária (benchmark e dados de treinamento) para avançar além de tarefas de raciocínio temporal de granularidade grosseira ou sintética em direção a uma compreensão genuína de vídeo de nível especializado.