💻 computer science

PushupBench: Your VLM is not good at counting pushups

O artigo apresenta o **PushupBench**, um novo conjunto de dados para avaliar a capacidade de contagem de repetições em vídeos, demonstrando que os modelos de linguagem visual (VLMs) atuais falham nessa tarefa, mas que o treinamento focado em contagem pode melhorar o raciocínio temporal geral.

Autores originais: Shengzhi Li, Jiarun Chen, Karun Sharma, Jiaqi Su, Shichao Pei

Publicado 2026-04-28

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Shengzhi Li, Jiarun Chen, Karun Sharma, Jiaqi Su, Shichao Pei

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

🤖 O Problema: O Robô que "Vê", mas não "Conta"

Imagine que você está assistindo a um vídeo de um atleta fazendo flexões. Se eu te perguntar: "O que está acontecendo no vídeo?", você responderia instantaneamente: "Um homem está fazendo exercícios". Isso é o que os modelos de Inteligência Artificial atuais (os chamados VLMs) fazem muito bem. Eles têm uma ótima percepção semântica — eles entendem o "contexto".

Mas, se eu te perguntar: "Quantas flexões ele fez exatamente?", a coisa muda de figura. É aqui que a IA "trava".

O artigo "Your VLM is not good at counting pushups" (Sua IA não é boa em contar flexões) mostra que, embora os robôs saibam o que está acontecendo, eles são péssimos em acompanhar o ritmo e a repetição. Eles conseguem descrever a cena, mas perdem a conta no meio do caminho.

🏋️ O "PushupBench": O Teste de Stress do Atleta Digital

Para provar isso, os pesquisadores criaram o PushupBench. Imagine que, em vez de dar uma prova de múltipla escolha para a IA, eles a colocaram em uma academia e disseram: "Olhe para este vídeo de 1 minuto e me diga o número exato de repetições".

Eles usaram vídeos reais de criadores de conteúdo de fitness de vários países para garantir que a IA não pudesse "decorar" o movimento. O resultado foi um choque: até os modelos mais avançados (como o Gemini do Google) erraram muito, acertando menos da metade das vezes.

🧠 O "Truque do Chute": Por que eles erram?

O estudo descobriu algo curioso e um pouco "preguiçoso" na IA. Sabe quando você está em uma prova e, como não sabe a resposta, chuta o número que mais aparece? A IA faz o mesmo!

Como a maioria das pessoas faz séries de 10 repetições na academia, a IA aprendeu que, se ela chutar "10" para qualquer vídeo, ela terá uma chance razoável de acertar. Ela não está realmente contando o movimento; ela está apenas jogando com a estatística. É como um juiz de futebol que, em vez de olhar a jogada, apenas apita o que ele acha que é o mais comum.

🚀 A Grande Descoberta: Contar é o "Treino de Base" da Inteligência

Aqui está a parte mais incrível do artigo: os pesquisadores decidiram "treinar" a IA para contar de verdade. Eles pegaram apenas 391 exemplos muito bem selecionados (um número minúsculo para os padrões de IA) e ensinaram a IA a focar no movimento, não no chute.

E o que aconteceu? A IA ficou mais inteligente de forma geral!

Pense nisso como um atleta que começa a fazer exercícios de equilíbrio e coordenação. Ele não está apenas treinando o equilíbrio; ele está preparando o corpo inteiro para correr mais rápido, saltar mais alto e ter mais força.

Ao aprender a contar (que exige atenção ao tempo, ao início e ao fim de cada movimento), a IA melhorou sua capacidade de entender outros vídeos complexos, como entender a direção de um objeto ou a sequência de uma ação.

📝 Resumo da Ópera

A IA é boa em "ler a cena", mas ruim em "seguir o ritmo".
Ela tenta "trapacear" chutando números comuns (como o 10).
Ensinar a IA a contar com precisão é como um "treino de fundamentos": isso melhora a inteligência dela para entender o mundo de forma muito mais profunda e temporal.

Resumo Técnico: "Your VLM is not good at counting pushups"

1. O Problema: A Lacuna entre Semântica e Raciocínio Temporal

Embora os Grandes Modelos de Visão-Linguagem (VLMs) tenham avançado significativamente no reconhecimento semântico (ex: identificar que alguém está fazendo agachamentos), eles falham criticamente em tarefas de raciocínio temporal fino, especificamente na contagem de repetições.

O problema central é que a contagem exige o rastreamento de mudanças de estado ao longo do tempo, detecção de limites de ação e manutenção de uma contagem coerente sob variações de velocidade e movimento de câmera. Os modelos atuais tendem a falhar de duas formas:

Exploração Estatística (Mode Collapse): Modelos mais fracos não "contam", mas apenas preveem o número mais comum no conjunto de dados (ex: prever sempre "10" repetições).
Exploração de Atalhos (Reward Hacking): Modelos utilizam OCR para ler contadores de texto na tela ou tentam inferir a contagem baseando-se no número de frames, em vez de entender o movimento físico.

2. Metodologia

A. PushupBench (O Novo Benchmark):
Os autores introduziram o PushupBench, um benchmark composto por 446 clipes de vídeo de longa duração (média de 36,7s), coletados de 11 criadores de conteúdo de fitness de 10 países diferentes. O objetivo foi garantir diversidade de gênero, geografia e estilo para evitar a memorização.

B. Curadoria de Dados e Treinamento (DAPO):
Os autores realizaram um experimento de aprendizado por reforço (RL) para ajustar o modelo Qwen3-VL-4B-Thinking. Eles descobriram que a qualidade dos dados é mais importante que a quantidade:

Reduziram o conjunto de treinamento de 968 para 391 amostras altamente curadas.
Filtros aplicados: Removeram vídeos com resolução temporal insuficiente (baseado no Teorema de Nyquist-Shannon), removeram amostras onde o número de repetições era exatamente 10 (para evitar o colapso de modo) e removeram vídeos com textos/contadores na tela (para evitar o uso de OCR como atalho).
Utilizaram o algoritmo DAPO (uma variante do GRPO) com uma função de recompensa linear invariante à escala para fornecer gradientes suaves.

3. Principais Contribuições

PushupBench: Um benchmark rigoroso para avaliar o raciocínio temporal em vídeos de exercícios.
Demonstração de Transferência de Habilidade: Provaram que o treinamento em contagem de repetições não é uma habilidade isolada, mas um proxy para o raciocínio temporal geral.
Análise de Falhas de VLM: Identificação detalhada de como modelos exploram estatísticas de dados e elementos visuais (texto na tela) para "enganar" as métricas de precisão.

4. Resultados

Desempenho dos Modelos no PushupBench:
- O melhor modelo de fronteira (Gemini 3 Flash) atingiu 42,1% de precisão exata.
- Modelos de código aberto (como o Qwen3-VL-4B) tiveram um desempenho muito inferior, em torno de 6% a 9%.
- O uso da métrica $R^2$ revelou que modelos de código aberto estavam apenas prevendo a moda do dataset, enquanto o Gemini realmente correlacionava a contagem com o movimento.
Generalização (O maior achado):
O ajuste fino (fine-tuning) em apenas 391 amostras de contagem melhorou o desempenho em outros benchmarks de compreensão de vídeo não relacionados:
- MVBench: +2,45
- PerceptionTest: +1,23
- TVBench: +2,75
- Observação crucial: O ganho ocorreu em tarefas de raciocínio temporal (como direção de movimento e sequência de ações), enquanto tarefas puramente espaciais (como contagem de objetos estáticos) até declinaram.

5. Significância

O trabalho demonstra que a capacidade de um modelo de "contar" o que acontece no tempo é um indicador fundamental de sua inteligência temporal. Ao resolver o problema da contagem de repetições, o modelo desenvolve uma compreensão mais profunda de como os eventos se desenrolam cronologicamente, o que se traduz em uma melhor compreensão de vídeo de forma geral. Isso sugere que o treinamento focado em tarefas temporais finas pode ser uma estratégia eficiente para elevar o nível de raciocínio de VLMs.