Resumo Técnico: Compreensão Aprimorada por Colaboração de Modelos para Detecção de Erros Egocêntricos de Cauda Longa

Definição do Problema

O artigo aborda o desafio da detecção de erros egocêntricos, uma tarefa distinta do reconhecimento de ações padrão. O objetivo é determinar se um usuário realiza uma ação incorretamente em vídeos instrucionais. Esta tarefa é caracterizada por duas dificuldades primárias:

1. Distribuição de Cauda Longa (Long-Tailed Distribution): Amostras de erros são raras e frequentemente ambíguas em comparação com ações corretas, levando modelos convencionais ao sobreajuste (overfitting) da classe dominante de acertos.
2. Tipos de Erros Multisemânticos: Os erros ocorrem em diferentes níveis. Alguns são erros de execução local (a ação específica é realizada incorretamente), enquanto outros são erros procedimentais (a ação é executada corretamente de forma isolada, mas é inapropriada para o estágio atual do fluxo de trabalho geral).

Abordagens de modelo único existentes frequentemente lutam para capturar eficientemente tanto o contexto do fluxo de trabalho em nível macro quanto os detalhes de execução em nível micro simultaneamente.

Metodologia: UE-MCM

Os autores propõem o Método de Colaboração de Modelos com Compreensão Aprimorada (UE-MCM), uma arquitetura de dois ramos projetada para equilibrar velocidade, precisão e raciocínio contextual.

1. Arquitetura de Dois Ramos

O sistema consiste em dois ramos complementares que processam as entradas de formas distintas e são fundidos de maneira adaptativa:

• Ramo de Modelo Grande (Raciocínio de Grão Fino):

  • Entrada: Apenas o segmento de ação de grão fino ($V^f_{t:t+\tau}$).
  • Backbone: Utiliza o modelo Qwen3-VL Embedding para extrair representações de alta capacidade e semanticamente ricas.
  • Função: Foca em determinar se a manipulação específica contém um erro de execução. O modelo de embedding é congelado durante o treinamento para preservar sua força semântica enquanto otimiza o classificador.

• Ramo de Modelo Pequeno (Raciocínio de Nível de Fluxo de Trabalho):

  • Entrada: Tanto o vídeo completo de grão grosso ($V^c_{0:T}$) quanto o segmento de grão fino ($V^f_{t:t+\tau}$).
  • Backbone: Construído sobre um codificador de vídeo CLIP4CLIP, que é inicializado a partir de um modelo CLIP aprimorado por Reconstrução Contrastiva de Difusão (DCR).
  • Função: Realiza a compreensão de vídeo de grão grosso de forma eficiente. Ao observar conjuntamente o fluxo de trabalho e o segmento específico, identifica ações que estão corretas localmente, mas são inconsistentes com o procedimento geral.
  • Aprimoramento: A técnica DCR melhora o codificador visual ao introduzir sinais contrastivos guiados pela reconstrução, garantindo que a representação preserve tanto a semântica discriminativa de classe quanto a informação perceptual detalhada.

2. Portão de Colaboração Adaptativo (Adaptive Collaboration Gate)

As previsões de ambos os ramos não são simplesmente calculadas pela média, mas sim fundidas através de um portão de colaboração leve.

• O portão recebe as características projetadas de ambos os ramos ($\bar{h}_s, \bar{h}_l$) e seu produto elemento a elemento.
• Ele produz pesos normalizados ($\alpha_s, \alpha_l$) via uma função softmax.
• Os logits finais são computados como uma soma ponderada: $z = \alpha_s z_s + \alpha_l z_l$.
• Este design permite que o sistema equilibre dinamicamente o raciocínio de consistência do fluxo de trabalho versus o julgamento de correção da ação para cada entrada.

3. Otimização de Cauda Longa

Para lidar com o severo desequilíbrio de classes entre ações corretas e erros raros, os classificadores são otimizados usando uma função de objetivo composta que combina três perdas complementares:

• Entropia Cruzada Reponderada ($L_{WCE}$): Aumenta a penalidade para amostras de erros sub-representadas com base na frequência da classe.
• Perda Orientada à AUC ($L_{AUC}$): Melhora a qualidade do ranking ao incentivar amostras de erro a receberem pontuações mais altas do que as amostras corretas.
• Ajuste Sensível ao Rótulo ($L_{LA}$): Calibra a fronteira de decisão usando prioridades empíricas de classe.

O objetivo final é $L = L_{WCE} + \lambda_{AUC}L_{AUC} + \lambda_{LA}L_{LA}$.

Principais Contribuições

1. Colaboração de Dois Ramos: A introdução do UE-MCM, que separa o raciocínio de execução de grão fino (Ramo Grande) do raciocínio de consistência de fluxo de trabalho (Ramo Pequeno), abordando a natureza multinível dos erros.
2. Aprimoramento de Representação: A aplicação da Reconstrução Contrastiva de Difusão (DCR) para aprimorar codificadores baseados em CLIP para uma melhor preservação de detalhes visuais e contexto procedimental.
   estratégia de Cauda Longa: A integração de entropia cruzada reponderada, aprendizado orientado à AUC e ajuste sensível ao rótulo para visar especificamente o recall e o ranking de instâncias de erros raros.

Resultados Experimentais

O sistema foi avaliado no conjunto de teste do HoloAssist 2026 Mistake Detection Challenge.

• Desempenho: O método proposto alcançou um F-score de 0,60 utilizando apenas a modalidade RGB.
• Comparações:
  • Superou significativamente o baseline TimeSformer (F-score 0,35) e a solução de melhor desempenho de 2024 (F-score 0,51).
  • Melhorou a solução de melhor desempenho de 2025 (F-score 0,57), particularmente em Recall de Acertos (0,97 vs 0,97, com melhor precisão) e Recall de Erros (0,62 vs 0,63, com melhor precisão).
• Eficiência: O método atingiu um desempenho competitivo usando apenas entradas RGB, igualando ou superando modelos que dependiam de entradas multimodais (ex: RGB + Mãos + Olhos).

Significância e Alegações

O artigo afirma que o UE-MCM equilibra efetivamente velocidade e precisão, tornando-o adequado para detectar erros sutis, raros e ambíguos em vídeos instrucionais egocêntricos. Ao modelar explicitamente a distinção entre erros de execução local e inconsistências procedimentais, e ao otimizar para distribuições de cauda longa, o sistema fornece uma solução robusta para a detecção de erros no mundo real, onde o desequilíbrio de dados é uma restrição crítica. Os autores enfatizam que sua abordagem integra com sucesso o raciocínio de nível de ação, a consistência de nível de fluxo de trabalho, o aprimoramento de representação e a otimização de cauda longa em um framework unificado.