Resumo Técnico: SkillMoV

Declaração do Problema

Estimar a proficiência humana a partir de vídeo é um desafio crítico para a avaliação automatizada de habilidades em domínios como treinamento esportivo, pedagogia musical e treinamento cirúrgico. Diferente do reconhecimento de ações, que identifica o que está sendo realizado, a estimativa de proficiência determina quão bem uma atividade é executada, baseando-se em pistas visuais sutis como postura, tempo e coordenação.

As abordagens existentes enfrentam duas limitações primárias:

1. Especificidade de Cenário: Muitos modelos são treinados para domínios de atividades únicas, o que limita a escalabilidade e exige modelos separados para diferentes tarefas.
2. Agregação Multiview Ineficaz: Métodos unificados atuais frequentemente dependem de esquemas de agregação compartilhados (ex: atenção padrão ou gating) que forçam todas as visões de câmera através da mesma transformação. Isso falha em considerar que diferentes pontos de vista sincronizados podem expor aspectos distintos da execução da habilidade (ex: extensão de membros vs. interação corpo-ambiente), potencialmente diluindo pistas de proficiência específicas de cada visão.

O objetivo é desenvolver um framework unificado, eficiente em parâmetros, que possa estimar a proficiência através de domínios de atividades heterogêneas usando vídeo multivisual sincronizado sem exigir supervisão de identidade de câmera ou cabeças específicas de cenário.

Metodologia: SkillMoV

Os autores propõem o SkillMoV, um framework construído sobre um backbone TimeSformer adaptado via LoRA. A inovação central é o Mixture-of-View Projector (MoVP), um módulo hierárquico que adapta o paradigma de Mixture-of-Experts (MoE) para características de visão específicas de cada câmera.

O MoVP consiste em quatro estágios sequenciais:

1. Roteamento de Mistura de Visão (MoV - Mixture-of-View):

   • Em vez de rotear tokens genéricos, o MoV trata as características de visão específicas de cada câmera como as unidades roteadas.
   • Um roteador suave (soft router) prevê uma distribuição de probabilidade sobre um conjunto de 12 especialistas MLP para cada visão.
   • Cada característica de visão é transformada por uma combinação ponderada desses especialistas.
   • Crucialmente, o conjunto de especialistas é compartilhado entre todas as câmeras, clipes e domínios de atividade, mas as preferências de roteamento são aprendidas sem supervisão explícita de identidade de câmera. Um regularizador de balanceamento de carga evita o colapso dos especialistas.

2. Atenção Entre Visões (Cross-View Attention):

   • As características roteadas são passadas por uma camada de autoatenção de múltiplas cabeças onde as visões atuam como uma sequência.
   • Isso permite que câmeras sincronizadas alinhem evidências complementares antes da agregação final.

3. Ancoragem de Protótipos (Prototype Anchoring):

   • O modelo aprende quatro vetores protótipos (um para cada nível de proficiência: Novato, Especialista Inicial, Especialista Intermediário, Especialista Avançado).
   • Esses protótipos atuam como tokens de âncora aprendíveis em um bloco de atenção cruzada, onde as características de visão servem como queries.
   • A representação resultante é agrupada (pooled), e as similaridades de cosseno entre o recurso agrupado e os protótipos são computadas.

4. Projeção de Portão Condicionada ao Protótipo (Prototype-Conditioned Gated Projection):

   • O embedding de habilidade final é gerado via um módulo de projeção de portão (gated projection).
   • O portão é condicionado tanto aos recursos ocultos expandidos quanto ao vetor de similaridade derivado dos protótipos.
   • Isso permite que a projeção se adapte dinamicamente com base na relação da amostra com as âncoras de proficiência aprendidas.

Estratégia de Treinamento:

• Backbone: TimeSformer-base pré-treinado no Kinetics-600, adaptado via LoRA (Rank 64, $\alpha$ 128. Apenas os adaptadores LoRA e o MoVP são treináveis.
• Objetivo: Perda de entropia cruzada balanceada por classe para lidar com o desequilíbrio de dados.
• Regularização: O stochastic view dropout (probabilidade 0.2) é aplicado durante o treinamento para configurações de múltiplas câmeras para evitar o overfitting a visões dominantes.
• Dados: Avaliado no benchmark EgoExo4D através de seis domínios de habilidade (Basquete, Escalada, Culinária, Dança, Música, Futebol) usando três configurações de visão: Ego (1 câmera), Exos (4 câmeras) e Ego+Exos (5 câmeras).

Principais Contribuições

1. Framework SkillMoV: Um framework unificado e eficiente em parâmetros para estimativa de proficiência multiescenário a partir de vídeo multivisual sincronizado.
2. Roteamento de Mistura de Visão (MoV): Uma nova adaptação de MoE onde o roteamento é aplicado às características de visão específicas de cada câmera, permitindo preferências de especialistas suaves e dependentes da visão sem rótulos de identidade de câmera.
3. Mixture of View Projector (MoVP): Uma arquitetura hierárquica que integra roteamento MoV, atenção entre visões, ancoragem de protótipos e portão condicionado ao protótipo.
4. Avaliação Sistemática: Estudos de ablação abrangentes e comparações entre configurações de visão, componentes arquiteturais e estratégias de amostragem temporal no benchmark EgoExo4D.

Resultados

O modelo foi avaliado no benchmark de estimativa de proficiência EgoExo4D.

• Desempenho Geral (Configuração Exos): O SkillMoV alcançou 50,17% de acurácia geral na configuração Exos (4 câmeras exocêntricas). Isso supera o resultado mais forte reportado entre os métodos comparados (SkillFormer+PATS com 46,60%) em 3,57 pontos percentuais.
• Configuração Ego+Exos: O SkillMoV alcançou 47,63%, mantendo-se competitivo com o melhor resultado reportado nesta configuração (ProfVLM com 48,20%), com uma diferença de apenas 0,57 pp.
• Configuração Apenas Ego: O desempenho foi menor, com 40,00%, consistente com um design otimizado para roteamento multivisual.
• Desempenho por Cenário: O SkillMoV alcançou o melhor resultado no cenário de Futebol (79,17%) em todas as configurações de visão e apresentou o perfil de desempenho mais equilibrado entre as atividades na configuração Exos, com o menor desvio padrão (14,65 pp) entre os principais competidores.

Estudos de Ablação (Configuração Exos):

• Roteamento MoV: Substituir o MoV por agrupamento de atenção (attentive pooling) causou a maior queda (-6,61 pp), confirmando a eficácia do roteamento de especialista condicionado à visão.
• Atenção Entre Visões: A remoção reduziu a acurácia em 4,92 pp.
• Ancoragem de Protótipo: A remoção reduziu a acurácia em 4,07 pp.
• Stochastic View Dropout: A remoção reduziu a acurácia em 3,90 pp.
• Eficiência: O SkillMoV treina apenas 23,32% de seus parâmetros (via LoRA e o projetor leve), adicionando um overhead mínimo (o tempo de treinamento aumentou em cerca de 3,5 minutos; a memória de inferência aumentou em 0,02 GB) em comparação com um baseline apenas com LoRA.

Significância e Alegações

O artigo afirma que o SkillMoV demonstra que a estimativa de proficiência se beneficia de representações suavizadas e condicionadas à visão em vez de forçar todas as visões através de uma única projeção compartilhada.

• Roteamento Condicionado à Visão: A análise de roteamento confirma que o modelo aprende preferências de especialistas suaves e dependentes da visão sem supervisão explícita. Diferentes câmeras e domínios de atividade ativam subconjuntos diferentes de especialistas, embora o conjunto de especialistas permaneça compartilhado e ativo (sem colapso).
• Dominância Exocêntrica: Os resultados destacam que as visões exocêntricas (Exos) fornecem pistas de proficiência mais confiáveis do que as visões egocêntricas para este benchmark específico, provavelmente porque os rótulos de proficiência são anotados com base em perspectivas externas. Adicionar o fluxo egocêntrico não melhorou o desempenho, sugerindo que mais visões não são automaticamente melhores se elas não se alinham com a evidência visual subjacente aos rótulos.
• Eficiência de Parâmetros: O framework alcança resultados de estado da arte na configuração Exos enquanto mantém um perfil eficiente em parâmetros, adequado para treinamento unificado de múltiplos domínios.

Os autores observam modestamente as limitações, incluindo o fato de que os protótipos aprendidos não formam uma escala ordinal calibrada (sua estrutura de similaridade de cosseno não é monotônica) e que os subconjuntos de teste por cenário (ex: Futebol) são pequenos. Trabalhos futuros são propostos para abordar restrições de geometria de protótipo, amostragem temporal adaptativa e análise detalhada de falhas.