ESTANet: Efficient Online Error Detection in Procedural Videos via Prediction Inconsistency

Resumo Técnico: ESTANet

Definição do Problema
O artigo aborda o desafio da detecção de erros em tempo real e online em vídeos procedimentais. Diferente dos métodos offline que processam vídeos inteiros, os sistemas online devem operar causalmente usando apenas quadros passados e atuais, um requisito para implantação prática em dispositivos vestíveis (ex: Microsoft HoloLens, Apple Vision Pro) que auxiliam usuários em tarefas cotidianas. O sistema deve detectar dois tipos distintos de erros:

1. Erros de Execução: Ações que são interrompidas, realizadas incorretamente ou que são estranhas ao processo (ex: deixar cair uma faca, adicionar açúcar em vez de mel).
2. Erros Procedimentais: Desvios na sequência, como a omissão, repetição ou ordenação incorreta de etapas (ex: apertar as pernas de uma mesa antes de inserir um suporte transversal).

Os métodos online existentes sofrem de limitações: frequentemente detectam apenas o primeiro erro, negligenciam erros de execução sutis, dependem de Grandes Modelos de Linguagem (LLMs) pesados que prejudicam o desempenho em tempo real ou exigem vídeos anotados com erros e sem erros durante o treinamento.

Metodologia: ESTANet
Os autores propõem o ESTANet (Error-Sensitive and Temporally-vArying Network), um framework leve que detecta erros explorando as inconsistências de predição entre um pequeno conjunto de detectores de ação. A hipótese central é que detectores de ação com diferentes sensibilidades e contextos temporais divergirão naturalmente em suas predições quando um erro ocorre, enquanto permanecerão consistentes em execuções corretas.

O framework consiste em quatro detectores divididos em duas categorias:

1. Detectores Padrão vs. Sensíveis a Erros (Capturando Erros de Execução):

   • Detectores Padrão: Utilizam uma arquitetura simples composta por uma Unidade Recorrente de Portão (GRU) de camada única seguida por uma cabeça de classificação linear. São treinados para produzir predições estáveis.
   • Detectores Sensíveis a Erros: Incorporam um módulo Temporal-Aware Dynamic (TAD). O módulo TAD gera pesos e vieses dinâmicos para a transformação afim das características do quadro antes que elas entrem na GRU. Esses parâmetros são dependentes da entrada e conscientes do tempo, tornando o detector altamente sensível a dados fora da distribuição (ou seja, erros de execução), levando a predições inconsistentes em comparação aos detectores padrão.

2. Design Temporalmente Variável (Capturando Erros Procedimentais):

   • O sistema treina detectores com diferentes tamanhos de janela temporal: uma janela pequena ($s$) e uma janela grande ($l$).
   • Estratégia para Seleção de Janela: Em vez de uma busca exaustiva de hiperparâmetros, os autores propõem uma estratégia robusta e específica para cada dataset:
     • $s$ é definido como a duração média mais curta de qualquer ação no dataset, forçando o detector a depender de um contexto parcial.
     • $l$ é calculado para cobrir $\beta$ (definido como 2) ações precedentes completas para aproximadamente $\theta$ (definido como 50%) das ações no dataset.
   • Isso garante que, quando um erro procedimental (ex: uma etapa ausente) ocorre, o detector com a janela grande (que depende de dependências de longo alcance) predirá de forma diferente do detector com a janela pequena (que depende de contexto de curto alcance).

Inferência e Lógica de Decisão
Durante a inferência, o sistema processa os quadros causalmente. Ele gera quatro predições de ação por quadro:

• $y^{s-st}$ e $y^{s-lg}$: Detectores padrão com janelas pequena e grande.
• $y^{e-st}$ e $y^{e-lg}$: Detectores sensíveis a erros com janelas pequena e grande.

O sistema constrói quatro pares de comparação para verificar a concordância:

1. $(y^{s-st}, y^{e-st})$ e $(y^{s-lg}, y^{e-lg})$: Detectam erros de execução comparando as predições padrão vs. sensíveis a erro.
2. $(y^{s-st}, y^{s-lg})$ e $(y^{e-st}, y^{e-lg})$: Detectam erros procedimentais comparando as predições entre diferentes janelas temporais.

Um quadro é sinalizado como erro ($z_t = 1$) se pelo menos três dos quatro pares apresentarem uma incompatibilidade (votação majoritária). O modelo é treinado exclusivamente em vídeos sem erros, utilizando uma combinação de perda de entropia cruzada e uma perda de suavização para garantir a consistência temporal.

Principais Contribuições

• Perspectiva Inovadora: O artigo desloca o foco do design de arquiteturas complexas para o aproveitamento dos comportamentos intrínsecos de predição dos detectores de ação. Demonstra que as inconsistências entre detectores simples são um sinal poderoso para a detecção de erros.
• Arquitetura Leve: O ESTANet evita componentes pesados como LLMs ou aprendizado em grafos complexos, utilizando apenas GRUs e um módulo TAD leve, garantindo eficiência em tempo real para dispositivos de borda.
• Estratégia Robusta de Seleção de Janela: O artigo introduz um método automatizado e agnóstico ao dataset para determinar os tamanhos ideais de janela temporal ($s$ e $l$), eliminando a necessidade de buscas heurísticas demoradas.
• Detecção Unificada: O framework aborda simultaneamente erros de execução e procedimentais sem exigir dados de erro anotados durante o treinamento.

Resultados Experimentais
Os autores avaliaram o ESTANet em três datasets: EgoPER (contendo ambos os tipos de erro), Assembly-101-O e EPIC-Tent-O (focados em erros procedimentais).

• EgoPER: O ESTANet alcançou desempenho estado da arte com F1@10 de 47.2, F1@25 de 37.8 e F1@50 de 21.6, superando baselines como PREGO e DTGL.
• Assembly-101-O: O método alcançou um Avg-F1 de 59.6, superando DTGL (53.5) e PREGO (32.5).
• EPIC-Tent-O: O ESTANet alcançou um Avg-F1 de 70.2, superando significativamente DTGL (46.5) e PREGO (29.4).
• Eficiência: O modelo mantém a eficiência em tempo real devido ao seu design leve, evitando os problemas de latência associados às abordagens baseadas em LLM.

Significância e Alegações
O artigo afirma que o ESTANet fornece uma solução prática e poderosa para a detecção de erros online ao aproveitar as propriedades intrínsecas dos detectores de ação, em vez de aumentar a complexidade arquitetônica. Os autores enfatizam que sua abordagem se alinha às restrições do mundo real, onde vídeos normais (sem erros) são abundantes, mas dados de erro anotados são escassos. Ao alcançar o estado da arte com um simples conjunto de GRUs, o trabalho sugere que a inconsistência de predição é um sinal fundamental e subutilizado para detectar desvios em tarefas procedimentais.