Learning to Deny: Action Denial in Multimodal Large Language Models

Resumo Técnico: Aprendendo a Negar: Negação de Ação em Modelos de Linguagem de Grande Escala Multimodais

Definição do Problema
Apesar dos rápidos avanços na compreensão de vídeo, os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) exibem um ponto cego crítico: a incapacidade de negar de forma confiável uma ação quando fortes pistas contextuais estão presentes, mas o movimento definidor está ausente. Os modelos atuais exibem uma "agradabilidade" ou viés afirmativo, frequentemente prevendo que uma ação está ocorrendo com base na presença de objetos, atores ou cenários relevantes, mesmo quando a dinâmica temporal específica necessária para essa ação está ausente. Os benchmarks existentes (ex: Kinetics, UCF101) consistem primariamente em exemplos positivos, reforçando correlações espúrias entre contexto e ação, em vez de ensinar os modelos a verificar o movimento causal. Consequentemente, os modelos falham em distinguir entre uma cena onde uma ação poderia acontecer e uma cena onde ela está acontecendo.

Metodologia
Os autores propõem uma abordagem de duas frentes envolvendo um novo benchmark e um framework de raciocínio causal:

1. Benchmark UCF101-ActionDenial (UCF101-AD):

   • Construção: Um conjunto de dados de 11.283 vídeos derivados de categorias do UCF101, apresentando clipes pareados de "Presença de Ação" (positivo) e "Negação de Ação" (negativo).
   • Design Negativo: Os clipes negativos preservam o contexto típico (pessoas, objetos, locais) da ação alvo, mas excluem explicitamente o movimento definidor. Eles são categorizados em dois tipos:
     • Tipo 1 (Apenas Contexto): Objetos salientes e o ambiente estão presentes, mas não ocorre interação (ex: uma pessoa perto de um piano sem tocar).
     • Tipo 2 (Mesmo Contexto, Movimento Diferente): O cenário e os objetos estão presentes, mas o ator realiza uma ação diferente e plausível (ex: driblar uma bola de basquete sem fazer uma enterrada).
   • Protocolo de Avaliação: Os modelos são testados via uma configuração de Pergunta de Múltipla Escolha (MCQ), onde devem selecionar a legenda correta entre opções que incluem a ação alvo, distratores e uma opção "Nenhum".

2. Framework CausalAct:

   • Formulação do Grafo Causal: Os autores modelam o reconhecimento de ação como um Grafo Acíclico Dirigido (DAG) onde uma ação ($A$) é o resultado de uma cadeia causal: Contexto (Pessoas $P$, Objetos $O$, Local $L$) $\to$ Relações (Espaciais $S$, Interação $I$) $\to$ Movimento ($M$) $\to$ Ação ($A$).
   • Prompting (CausalAct-0): A estrutura do grafo é instanciada como um prompt de linguagem natural, guiando o modelo para verificar a cadeia causal (especificamente a presença do movimento $M$) antes de confirmar uma ação.
   • Finetuning: Para abordar casos em que os modelos falham em seguir prompts, os autores introduzem tarefas auxiliares de finetuning. Os modelos são treinados em tarefas de Visual Question Answering (VQA) centradas em grafos (sondando identidades de nós, relações de arestas e caminhos causais) derivadas da estrutura do grafo. Crucialmente, essas tarefas não expõem os rótulos de verdade fundamental (ground-truth) das ações para evitar o vazamento de rótulos (label leakage), forçando o modelo a aprender a estrutura do raciocínio causal.

Resultos Principais

• Falha da Linha de Base: A avaliação de 20 MLLMs de última geração (incluindo Ovis, Intern, Qwen, VideoLLaMA e GPT-4o mini) revela uma lacuna severa de desempenho. Enquanto os modelos alcançam alta precisão (>85-95%) em clipes padrão de Presença de Ação, seu desempenho em clipes de Negação de Ação colapsa, com a maioria dos modelos pontuando abaixo de 50% (frequentemente na faixa de 20-25%). Isso indica uma forte dependência de atalhos contextuais em vez da verificação de movimento.
• Humano vs. Modelo: Avaliadores humanos alcançaram 86,6% de precisão na tarefa de negação, confirmando que o conjunto de dados é solucionável e que a falha é específica das arquiteturas atuais dos modelos.
• Correlação de Vieses: O estudo encontra uma correlação positiva entre "aprendizado por atalho" (falha em negar) e "sicofancia" (concordar com uma premissa). Modelos que selecionam incorretamente uma ação distratora em MCQs também são mais propensos a responder incorretamente "Sim" a perguntas binárias sobre a presença da ação.
• Modelos de Raciocínio: Contra-intuitivamente, modelos de "pensamento" (aqueles com etapas de raciocínio explícitas) frequentemente performam pior do que modelos padrão nesta tarefa, pois suas cadeias de raciocínio tendem a superindexar o contexto visual e alucinar ações em vez de justificar a ausência.
• Eficácia do CausalAct:
  • Zero-Shot: Backbones de linguagem mais fortes (ex: Ovis2.5-9B, Qwen2.5-VL-7B) mostram melhoria na precisão de negação quando guiados por prompts CausalAct, embora modelos mais fracos possam sofrer degradação.
  • Finetuning: O finetuning de modelos menores em tarefas de VQA baseadas em grafos melhora significativamente a precisão de Negação de Ação, mudando o comportamento de atalhos contextuais para a verificação da cadeia causal.
  • Generalização: A abordagem CausalAct-0 transfere-se para datasets externos (K400, HMDB51, SSv2, Diving48), melhorando a precisão de negação em diversas distribuições.
  • Ablação: O desempenho cai quando a estrutura do grafo causal é podada ou randomizada após o finetuning, confirmando que os modelos aprendem a utilizar as dependências causais específicas em vez de apenas seguir padrões de texto arbitrários. Além disso, atualizar o codificador de visão durante o finetuning é essencial; congelá-lo leva a uma degradação significativa de desempenho.

Significância e Alegações
O artigo afirma fornecer a primeira avaliação sistemática de "negação de ação" em MLLMs, expondo uma limitação fundamental onde os modelos equivalem contexto com a ocorrência de uma ação. Os autores argumentam que a compreensão robusta de vídeo requer a capacidade de raciocinar causalmente sobre a ausência de movimento, não apenas sua presença.

A significância do trabalho reside em:

1. Diagnóstico: Identificar que os MLLMs atuais carecem de um mecanismo para verificar movimentos definidores, levando a falsos positivos em aplicações críticas como vigilância e sistemas autônomos.
2. Benchmarking: Introduzir o UCF101-AD como uma ferramenta necessária para diagnosticar e melhorar o raciocínio causal, indo além do reconhecimento de ação positiva padrão.
3. Insight Metodológico: Demonstrar que a negação é uma habilidade de raciocínio aprendível. Ao estruturar a compreensão da cena através de grafos causais e treinar modelos para verificar precondições (interação e movimento), é possível mitigar o viés afirmativo e reduzir falsos positivos sem depender de rótulos de ação negativa durante o treinamento.

Os autores mantêm uma postura modesta, observando que, embora o CausalAct melhore o desempenho, ele não resolve totalmente o problema, e que os modelos de "pensamento" atuais ainda lutam com restrições negativas. O trabalho serve como uma fundação para o avanço do raciocínio causal em sistemas multimodais.