Know-Show: Benchmarking Video-Language Models on Spatio-Temporal Grounded Reasoning

Título: Know-Show: Avaliação de Modelos de Linguagem e Vídeo (Video-LMs) no Raciocínio Fundamentado Espaço-Temporal

1. O Problema

Os Grandes Modelos de Linguagem Multimodal (Video-LMs) têm avançado significativamente na compreensão de vídeos, permitindo que modelos como GPT-4o, Gemini e Qwen interpretem e conversem sobre conteúdo visual. No entanto, o artigo identifica uma lacuna crítica: a fraqueza no raciocínio fundamentado (grounded reasoning).

Atualmente, os modelos tendem a realizar duas tarefas de forma desconectada:

1. Raciocínio: Inferir ações ou semânticas abstratas.
2. Localização: Identificar onde (espaço) e quando (tempo) algo ocorre.

O problema central é que os modelos frequentemente "sabem" a resposta (raciocínio correto) mas não conseguem "mostrar" a evidência visual e temporal correspondente, ou vice-versa. Eles falham em vincular ações, humanos, objetos e interações (como mãos manipulando objetos) aos seus contextos espaciais e temporais precisos. Benchmarks existentes focam ou apenas em localização (detecção de objetos) ou apenas em raciocínio (perguntas de múltipla escolha), mas não exigem que o modelo faça ambos simultaneamente com fundamentação explícita.

2. Metodologia e Proposta

O trabalho propõe duas contribuições principais: um novo benchmark e um framework de melhoria de modelo.

A. O Benchmark Know-Show
O Know-Show é um conjunto de dados e framework de avaliação unificado projetado para testar a capacidade de um modelo de "saber e mostrar" (know-and-show).

• Estrutura: Consiste em 2.500 perguntas de alta qualidade, criadas por humanos, baseadas em três datasets: Charades, Action Genome e Ego4D.
• Cenários de Teste: O benchmark divide-se em duas categorias principais, cada uma com sub-cenários de complexidade crescente:
  1. Raciocínio Espacial Fundamentado Condicionado à Ação:
     • Pessoa: Vincular uma ação a uma pessoa específica.
     • Objeto: Vincular uma ação a um objeto específico.
     • Pessoa-Objeto (Co-grounded): Vincular a ação a ambos e entender a interação.
     • Mão-Objeto (Co-grounded): Raciocínio de contato fino (ex: qual mão segura qual objeto), considerado o mais desafiador.
  2. Raciocínio Temporal Fundamentado Condicionado à Ação:
     • Determinar a ordem relativa das ações e sua localização temporal absoluta (início/fim).
• Critério de Avaliação: Um modelo só recebe crédito se acertar a resposta E fornecer a caixa delimitadora (bounding box) e o timestamp corretos dentro de uma margem de erro (IoU e precisão temporal).

B. O Framework GRAM (Grounded Reasoning Augmentation Module)
Para tentar superar as limitações dos modelos atuais sem re-treinamento, os autores propõem o GRAM, um módulo "plug-and-play" e livre de treinamento (training-free).

• Seleção de Tokens de Vídeo Baseada em Atenção: Durante o processo de decodificação (resposta), sempre que o modelo inicia um novo passo de raciocínio, o GRAM analisa o mapa de atenção desse token através de todas as camadas do modelo. Ele seleciona os $N$ tokens de vídeo mais relevantes (que o modelo "está olhando") e os concatena com a entrada do decodificador. Isso força o modelo a fundamentar cada passo lógico na evidência visual local.
• Tokens de Timestamp Explícitos: O modelo atual (Qwen2.5-VL) usa codificação posicional implícita para tempo, o que se mostrou insuficiente para localização absoluta precisa. O GRAM insere tokens de tempo explícitos (ex: <0.0s>, <5.1s>) intercalados com os tokens de vídeo, fornecendo âncoras temporais diretas ao modelo.

3. Resultados Principais

Os experimentos foram realizados em diversos modelos de código aberto (Qwen, VideoChat2, LLaVA-OneVision, VideoR1, etc.) e fechados (GPT-4o, Gemini).

• Desempenho Humano vs. Máquina: Humanos atingem mais de 75% de precisão em todos os cenários, estabelecendo um limite superior claro. Os modelos atuais, mesmo os mais avançados, estão muito abaixo desse patamar.
• Hierarquia de Dificuldade: O desempenho dos modelos segue a ordem: Pessoa > Objeto > Pessoa-Objeto > Mão-Objeto.
  • Modelos conseguem localizar pessoas razoavelmente bem, mas falham ao vincular a ação correta a elas dentro da janela temporal.
  • A tarefa de Mão-Objeto é onde todos os modelos falham quase completamente, indicando uma incapacidade de raciocínio de interação fina e contato físico.
• Raciocínio Temporal: Embora os modelos tenham uma noção relativa de ordem temporal, falham na localização temporal absoluta (precisão de segundos), com erros médios (MAD) altos.
• Eficácia do GRAM:
  • O GRAM melhorou consistentemente o desempenho do modelo base (Qwen2.5-VL 7B) em todas as categorias.
  • A combinação de seleção de tokens de atenção (ST-GR) e timestamps explícitos (ETT) foi crucial.
  • Mesmo com melhorias, o GRAM ainda não alcança o nível humano, mas demonstra que a lacuna pode ser reduzida através de melhor alinhamento arquitetural entre raciocínio e evidência visual.
• Falha do Prompting: Ajustes de prompt (Zero-shot vs. Chain-of-Thought) não geraram melhorias significativas, indicando que o problema é estrutural (representação e fundamentação), não apenas de instrução.

4. Contribuições Chave

1. Know-Show Benchmark: O primeiro benchmark unificado que exige simultaneamente raciocínio de alto nível e fundamentação espaço-temporal (localização de entidades e tempo) em vídeos. Ele expõe a desconexão entre o que os modelos "sabem" e o que eles "mostram".
2. Avaliação Abrangente: Uma análise detalhada de modelos SOTA (State-of-the-Art), revelando que, apesar dos avanços, eles carecem de capacidades fundamentais para aplicações do mundo real que exigem confiabilidade e interpretabilidade (ex: robótica, cuidados com idosos).
3. GRAM (Grounded Reasoning Augmentation Module): Uma solução prática e livre de treinamento que melhora a fundamentação de modelos existentes, servindo como uma linha de base forte para futuras pesquisas.

5. Significado e Impacto

Este trabalho é fundamental para o avanço da IA multimodal em direção a sistemas confiáveis e interpretáveis.

• Aplicações Críticas: Em cenários como robótica, carros autônomos e monitoramento de segurança, não basta o modelo dizer "alguém caiu"; ele precisa saber quem caiu, onde e quando, com base em evidências visuais verificáveis.
• Direção Futura: O estudo sugere que o progresso futuro não virá apenas de modelos maiores, mas de mecanismos arquiteturais que forcem o modelamento relacional explícito (quem interage com o quê, quando e onde) e a supervisão temporal fina.
• Transparência: Ao exigir que os modelos "mostrem" suas evidências, o Know-Show promove a criação de sistemas de IA mais transparentes e menos propensos a alucinações, onde o raciocínio é diretamente ancorado na realidade visual do vídeo.

Em resumo, o artigo estabelece que os Video-LMs atuais ainda não são confiáveis para raciocínio fundamentado no mundo real e oferece tanto uma ferramenta de avaliação rigorosa (Know-Show) quanto uma direção técnica (GRAM) para superar essas limitações.