Why Can't I Open My Drawer? Mitigating Object-Driven Shortcuts in Zero-Shot Compositional Action Recognition

Título: Por que não consigo abrir minha gaveta? Mitigando Atalhos Orientados a Objetos no Reconhecimento de Ações Composicionais Zero-Shot

1. O Problema: Falhas no Reconhecimento de Ações Composicionais Zero-Shot (ZS-CAR)

O Reconhecimento de Ações Composicionais Zero-Shot (ZS-CAR) visa identificar combinações novas de verbos e objetos (ex: "abrir gaveta") que não foram vistas durante o treinamento, utilizando vocabulários de verbos e objetos compartilhados.

O artigo identifica um modo de falha crítico: os modelos tendem a prever o verbo com base em atalhos orientados a objetos (object-driven shortcuts) em vez de analisar a evidência temporal do vídeo.

• Causa Raiz 1: Supervisão Esparsa e Viesada. Os conjuntos de dados cobrem apenas uma fração minúscula do espaço combinatorial de verbos-objetos. Isso cria fortes priors de co-ocorrência (ex: se o objeto é "gaveta", o modelo assume que o verbo é "abrir", pois essa é a combinação mais frequente nos dados de treino).
• Causa Raiz 2: Assimetria na Dificuldade de Aprendizado. Objetos são visualmente explícitos e fáceis de reconhecer em um único quadro (estático). Verbos, por outro lado, exigem raciocínio temporal sobre múltiplos quadros. Os modelos tendem a explorar o sinal mais fácil de aprender (o objeto) para prever a ação, ignorando a dinâmica temporal necessária para distinguir verbos opostos (ex: "abrir" vs. "fechar").

Consequência: O modelo generaliza mal para composições não vistas, frequentemente confundindo ações temporais opostas apenas porque o objeto é o mesmo, levando a uma alta taxa de erro em cenários do mundo real.

2. Metodologia: Diagnóstico e Framework RCORE

Os autores propõem um framework de aprendizado diagnóstico chamado RCORE (Robust COmpositional REpresentations), composto por dois reguladores principais para mitigar esses atalhos.

A. Diagnóstico Quantitativo

Antes de propor a solução, os autores introduzem métricas para diagnosticar o problema:

• FSP (False Seen Prediction): A fração de amostras não vistas que são incorretamente classificadas como composições vistas durante o treino.
• FCP (False Co-occurrence Prediction): A fração de erros que recaem sobre as composições de alta frequência (co-ocorrência) no treino.
• Compositional Gap ($\Delta_{CG}$): Mede se o modelo se beneficia de prever a composição conjunta além de prever verbo e objeto independentemente. Um gap negativo indica falha na composição.

B. O Framework RCORE

O RCORE atua em duas frentes para forçar o modelo a aprender representações temporais robustas:

1. Regularização de Prior de Co-ocorrência (CPR - Co-occurrence Prior Regularization):

   • Supervisão Sintetizada: Cria novos vídeos de treinamento sintetizando composições não vistas. Isso é feito injetando o objeto estático de um vídeo em outro vídeo que contém a ação (verbo), preservando a dinâmica temporal do verbo original.
   • Regularização de Hard Negatives: O modelo é penalizado se ele der pontuação alta a pares de verbos-objetos frequentes (que atuam como "hard negatives") para as composições sintetizadas. Isso força o modelo a não depender apenas da estatística de co-ocorrência.
   • Expansão Adaptativa do Espaço de Rótulos: Em vez de treinar apenas sobre o espaço fechado de composições vistas, o método expande o espaço de rótulos de forma adaptativa por batch, permitindo o treinamento supervisionado de novas combinações sem instabilizar a otimização.

2. Regularização de Ordem Temporal para Composição (TORC - Temporal Order Regularization for Composition):

   • Sensibilidade à Ordem: O TORC força o modelo a distinguir entre a sequência temporal original e versões perturbadas (revertidas ou embaralhadas).
   • Perda de Cosine ($L_{cos}$): Minimiza a similaridade entre as características do verbo original e as do verbo revertido (ex: "abrir" deve ser muito diferente de "fechar").
   • Perda de Entropia ($L_{ent}$): Penaliza previsões confiantes quando a ordem temporal é destruída. Se o modelo ainda consegue prever o verbo com alta confiança mesmo com o vídeo embaralhado, significa que ele está usando apenas pistas estáticas (objeto), e não a dinâmica temporal.

3. Principais Contribuições

1. Diagnóstico de Atalhos: Identificação empírica de que a dificuldade assimétrica entre verbos e objetos, somada à escassez de dados, leva a atalhos orientados a objetos.
2. Métricas de Diagnóstico: Introdução de FSP e FCP para quantificar especificamente o quanto os modelos colapsam em composições vistas/frequentes.
3. Framework RCORE: Uma solução que combina síntese de dados (CPR) e regularização temporal (TORC) para forçar a aprendizagem baseada em evidências temporais.
4. Novo Benchmark (EK100-com): Adaptação do dataset EPIC-KITCHENS-100 para ZS-CAR, apresentando uma esparsidade composicional ainda mais severa (7,5% de cobertura) do que o padrão Sth-com (12,8%), servindo como um teste mais rigoroso.

4. Resultados Experimentais

Os experimentos foram realizados nos datasets Sth-com e EK100-com, utilizando backbones como CLIP e InternVideo2.

• Melhoria na Generalização: O RCORE supera consistentemente o estado da arte (C2C [20]). No Sth-com com backbone CLIP, houve um aumento de 4,6 pontos na precisão de verbos em composições não vistas e 3,8 pontos na precisão da composição não vista.
• Redução de Atalhos: O RCORE reduz drasticamente as taxas de FSP e FCP durante o treinamento, indicando que o modelo deixa de depender de estatísticas de co-ocorrência.
• Gap Composicional Positivo: Diferente dos baselines que apresentam um Compositional Gap negativo em dados não vistos (indicando que prever a composição é pior que prever as partes separadamente), o RCORE consegue um gap positivo, provando que aprendeu a interação verbo-objeto.
• Robustez Temporal: Em testes com vídeos temporalmente embaralhados, o RCORE sofre uma queda de desempenho muito maior que o baseline. Isso confirma que o RCORE realmente depende da ordem temporal para prever verbos, enquanto o baseline depende de pistas estáticas.
• Desempenho sem Calibração: O RCORE mantém alto desempenho em protocolos de "mundo aberto" (open-world) sem a necessidade de calibração de viés usando o conjunto de teste, algo crucial para aplicações reais.

5. Significado e Impacto

Este trabalho é fundamental para o avanço da compreensão de vídeo, pois:

• Expõe uma falha sistêmica: Mostra que modelos modernos de vídeo, mesmo com pré-treinamento massivo, ainda falham em aprender a dinâmica temporal quando confrontados com dados esparsos e viesados.
• Oferece uma solução prática: O RCORE não requer mudanças na arquitetura do backbone, mas sim uma estratégia de treinamento (regularização) que pode ser aplicada a diversos modelos.
• Define novos padrões de avaliação: A proposta de avaliação "open-world" sem calibração de viés no conjunto de teste oferece uma métrica mais justa e realista para o ZS-CAR, evitando a inflação artificial de resultados.

Em resumo, o artigo demonstra que para que uma IA entenda ações complexas como "abrir uma gaveta", ela não pode apenas reconhecer a gaveta; ela deve ser forçada a aprender a sequência temporal do movimento, superando a tentação de usar atalhos estatísticos.