Resumo Técnico: A Armadilha de Baixa Frequência: Modelos de Vídeo-Linguagem Falham na Contabilização Simples de Eventos

Declaração do Problema

Benchmarks de vídeo do mundo real para Modelos de Vídeo-Linguagem (VLMs) frequentemente emaranham múltiplas variáveis — contagem de eventos, taxa, duração, complexidade visual e semântica — tornando difícil isolar modos de falha específicos. Embora os benchmarks programáticos existentes ofereçam melhor controle, eles tipicamente pontuam apenas a resposta final, falhando em auditar se o modelo perdeu eventos, confundiu seu tempo, perdeu o rastreamento de uma sequência ou errou apenas durante a agregação. Consequentemente, métricas de precisão de resposta final podem ocultar um acesso temporal fraco ou um raciocínio frágil, mascarando o fato de que os modelos podem falhar na contabilidade elementar de eventos à medida que a carga temporal aumenta.

Metodologia

Os autores introduzem o perfilamento paramétrico baseado em traços (trace-grounded parametric profiling), um framework de avaliação controlado projetado para isolar a capacidade de raciocínio temporal da complexidade visual.

Espaço de Tarefas Controladas

O estudo utiliza vídeos gerados programaticamente usando o motor de animação Manim para garantir controle preciso de quadro a quadro sobre trajetórias espaciais e temporais. Três domínios distintos são avaliados:

1. Bola Saltitante (Bounce Ball): Contagem de contatos com a parede de uma bola saltitante.
2. Piscar (Blinking): Contagem de pulsos visuais de um objeto (eventos transitórios).
3. Máquina de Estados (State Machine): Contagem de transições de estado categórico (eventos persistentes).

Parâmetros Experimentais

O framework varia sistematicamente dois parâmetros ortogonais enquanto mantém a renderização, a semântica e as regras da tarefa fixas:

• Contagem de Eventos ($N$): Variando de 0 a 12.
• Frequência de Eventos ($F$): Variando de 0,5 Hz a 4,0 Hz.
• Duração: Todos os clipes têm duração fixa de 24 segundos. A sequência de eventos ativa abrange aproximadamente $N/F$ segundos, com quadros estáticos preenchendo o restante.

Verdade Fundamental (Ground Truth) e Métricas

Cada vídeo é pareado com um traço de verdade fundamental executável contendo carimbos de tempo (timestamps) de eventos, mudanças de estado e contagens cumulativas. Isso permite uma avaliação granular além da simples precisão da resposta final. As principais métricas incluem:

• Correspondência Exata da Resposta Final (Acc): Se a contagem relatada é igual a $N$.
• Precisão ($P$) e Recall ($R$) do Traço: Alinhamento entre os carimbos de tempo relatados pelo modelo e a verdade fundamental dentro de uma janela relativa à taxa $\delta(F) = 1/(2F)$.
• Razão de Observação Visual (VOR): A razão entre eventos relatados e eventos reais ($M/N$), indicando excesso ou falta de relatório.
• Taxa de Correção Acidental (ACR): Casos em que a contagem final está correta, apesar de um traço de baixa fidelidade.
• Taxa de Falha de Raciocínio (RFR): Casos em que o traço é fiel (F1 alto), mas a contagem final está incorreta.

Modelos Avaliados

O foco principal da avaliação recai sobre o Gemini 3.6 Flash (recebendo entrada de ~1 FPS) e o Qwen3-VL-235B (recebendo 2 FPS). Verificações complementares entre sistemas incluem várias escalas do Qwen3-VL e InternVL3.5.

Principais Contribuições

1. Framework de Avaliação Controlada: Substitui pontuações agregadas únicas por superfícies de capacidade mapeadas sobre a contagem de eventos ($N$) e a frequência ($F$).
2. Benchmark Baseado em Traço: Audita os eventos relatados pelo modelo contra a verdade fundamental executável, distinguindo entre contagens corretas não suportadas e recuperação fiel de eventos.
3. Intervenções Direcionadas: Diagnostica fontes de erro via amostragem mais densa, quadros-chave centrados em eventos (evidência de oráculo) e várias estratégias de prompting (ex: Cadeia de Pensamento, rastreamento estruturado).
4. Transferência para Vídeos Naturais: Valida se os padrões de falha observados em configurações controladas persistem em vídeos de eventos repetidos do mundo real (dataset TransRAC).

Resultados

Falha Temporal em Estágios

Os resultados revelam um padrão de falha "em estágios" dependente da representação do evento (persistente vs. transitório):

• Eventos Persistentes (Máquina de Estados): O Gemini 3.6 Flash conta de forma confiável até $N=12$ a 0,5 Hz e 1,0 Hz. O desempenho degrada conforme a frequência aumenta, caindo para $N=2$ a 1,5 Hz.
• Eventos Transitórios (Piscar): Não existe uma região de contagem positiva confiável; o modelo falha em acessar consistentemente eventos transitórios mesmo em contagens e frequências baixas.
• Regime de Alta Carga: Em condições de alta contagem e alta frequência, apenas 0,2% das contagens finais estão corretas, e o modelo recupera apenas 18,1% dos eventos reais.

O Papel do Acesso Visual vs. Raciocínio

• Densidade de Amostragem: Aumentar a taxa de amostragem de 1 FPS para 4 FPS melhorou a precisão da Bola Saltitante de 19,6% para 29,3%. No entanto, a sequência relatada concordou com a verdade fundamental apenas 3,7% das vezes. Isso indica que quadros extras podem inflar as pontuações finais (via correção acidental) sem produzir uma recuperação de eventos fiel.
• Quadros-Chave de Oráculo: Fornecer quadros-chave centrados em eventos (removendo o fardo da busca) elevou a precisão para 68,6% para $N \le 5$, mas o desempenho colapsou para $N \ge 6$. Isso sugere que, embora o acesso visual seja um gargalo, a retenção e acumulação da sequência continuam sendo fatores limitantes mesmo quando os eventos são perfeitamente localizados.
• Estratégias de Prompting: Várias técnicas de prompting (Resposta Direta, Traço Estruturado, Multi-Turn, CoT, Role Prompting) produziram ganhos similares e limitados, e não expandiram a região operacional confiável.

Diagnósticos de Nível de Traço

• Baixa Carga: Os modelos frequentemente exibem excesso de relatório (VOR > 1) e correção acidental, onde a contagem final está certa apesar de carimbos de tempo perdidos ou alucinados.
• Alta Carga: O modo de falha dominante muda para sub-relato (VOR < 1) e omissão. O modelo relata menos eventos do que ocorrem, e os poucos eventos relatados são frequentemente precisos temporalmente, mas incompletos.
• Erros de Agregação: Uma Taxa de Falha de Raciocínio (RFR) não nula indica que, mesmo quando o modelo recupera com sucesso a sequência de eventos (F1 de traço alto), ele às vezes falha ao agregá-los corretamente em uma contagem final.

Transferência para Vídeos Naturais

A avaliação no dataset TransRAC confirma que a concentração de sucesso em contagens baixas de eventos ($N \le 4$) persiste em vídeos naturais com movimento de câmera e desordem, reforçando que o padrão de falha é robusto entre domínios.

Significância e Alegações

O artigo argumenta que a precisão da resposta final sozinha caracteriza mal o raciocínio temporal. Um modelo pode chegar ao número correto por meio de suposições ou agregação de eventos alucinados, mascarando uma incapacidade fundamental de rastrear sequências temporais.

Os autores alegam que:

1. A Representação do Evento Importa: Se um evento é persistente ou transitório dita o acesso inicial à evidência.
2. O Acesso Visual é Necessário, mas Insuficiente: Aumentar a densidade de quadros ou fornecer quadros-chave de oráculo melhora o desempenho, mas não elimina a fronteira imposta pelo comprimento da sequência e pela retenção.
3. Falha em Estágios: O processo de falha envolve estágios distintos: primeiro, acessar o evento; segundo, reter a sequência; e terceiro, agregar a contagem.
4. Mudança de Avaliação: O perfilamento baseado em traço desloca a avaliação de vídeo de métricas agregadas para um diagnóstico detalhado de onde o raciocínio temporal falha (acesso vs. retenção vs. agregação) e se a evidência relatada realmente suporta a resposta final.

O estudo conclui que os atuais VLMs lutam com a contabilidade elementar de eventos à medida que a carga temporal aumenta, uma limitação que persiste mesmo com prompting avançado ou aumento da amostragem visual.