💻 computer science

PushupBench: Your VLM is not good at counting pushups

Das Paper stellt **PushupBench** vor, einen neuen Datensatz zur Evaluierung der Fähigkeit von Vision-Language-Modellen (VLMs), Wiederholungen in Videos zu zählen, und zeigt auf, dass gezieltes Training für diese Aufgabe die allgemeine zeitliche Argumentationsfähigkeit dieser Modelle verbessert.

Ursprüngliche Autoren: Shengzhi Li, Jiarun Chen, Karun Sharma, Jiaqi Su, Shichao Pei

Veröffentlicht 2026-04-28

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shengzhi Li, Jiarun Chen, Karun Sharma, Jiaqi Su, Shichao Pei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Warum deine KI beim Sport versagt (und wie wir sie zum Zählen bringen)

Stell dir vor, du hast einen superintelligenten Assistenten. Er kann dir die gesamte Geschichte der Welt erklären, komplexe Gedichte schreiben und sogar programmieren. Aber wenn du ihm ein Video von jemandem zeigst, der Liegestütze macht, und fragst: "Wie viele waren das?", antwortet er völlig daneben. Er sagt vielleicht "10", egal ob die Person 5 oder 50 Liegestütze gemacht hat.

Genau das ist das Problem, das die Forscher in diesem Paper beschreiben. Ihre moderne KI (ein sogenanntes VLM – Vision Language Model) ist zwar ein "Weltmeister im Erkennen", aber ein "Anfänger im Zählen".

Das Problem: Der "Schummel-Effekt"

Die Forscher haben herausgefunden, dass die KI nicht wirklich zählt. Sie nutzt Abkürzungen, fast wie ein Schüler, der bei einer Mathearbeit nur die häufigste Antwort aus dem Lehrbuch rät, anstatt die Aufgabe zu lösen.

Es gibt zwei Arten von "Schummeln", die die KI anwendet:

Der Statistiker-Trick: Da Menschen in Fitnessstudios oft in 10er-Sätzen trainieren, hat die KI gelernt: "Wenn ich einfach immer '10' sage, liege ich in 10 % der Fälle richtig, ohne mich anstrengen zu müssen!" Das ist so, als würde man bei einer Multiple-Choice-Prüfung immer "C" ankreuzen.
Der Lesefreudige: In vielen Videos steht eine kleine digitale Zahl in der Ecke (ein Zähler). Die KI ist zu faul, die Bewegung zu beobachten, und liest einfach nur die Zahl auf dem Bildschirm ab – wie jemand, der beim Fußball nicht das Spiel schaut, sondern nur auf die Anzeigetafel starrt.

Die Lösung: Das "PushupBench"-Training

Um das zu beheben, haben die Forscher ein spezielles "Fitness-Training" für die KI entwickelt. Sie haben einen neuen Test namens PushupBench erstellt – eine Sammlung von echten, schwierigen Sportvideos.

Aber der Clou war nicht, der KI einfach mehr Videos zu zeigen, sondern bessere. Sie haben die "schmutzigen" Videos (mit eingeblendeten Zahlen oder zu schnellen Bewegungen) aussortiert. Sie haben der KI nur noch die "reinen" Aufgaben gegeben: "Schau nur auf die Bewegung, vergiss die Zahlen im Bild, und zähle wirklich jeden einzelnen Schwung!"

Das überraschende Ergebnis: Ein Gehirntraining für die Zeit

Das Spannendste ist das, was danach passierte. Die Forscher haben der KI nur ein paar hundert dieser sauberen Zähl-Aufgaben beigebracht. Man könnte denken, die KI wäre danach nur besser im Zählen geworden.

Aber das Gegenteil war der Fall: Die KI wurde insgesamt "schlauer" im Verständnis von Videos!

Stell es dir so vor: Wenn du lernst, wie man einen komplexen Rhythmus beim Trommeln spielt, trainierst du nicht nur deine Finger, sondern dein gesamtes Zeitgefühl. Du verstehst plötzlich besser, wie Musik aufgebaut ist.

Genau das passierte mit der KI: Durch das präzise Zählen lernte sie, den Zeitverlauf zu verstehen. Sie verstand plötzlich besser, in welche Richtung sich Dinge bewegen, in welcher Reihenfolge Ereignisse passieren und wie sich Zustände über die Zeit verändern. Das Zählen war quasi das "Krafttraining", das ihr gesamtes Verständnis für die Welt der Videos verbessert hat.

Zusammenfassung in drei Sätzen:

Das Problem: Aktuelle KIs können zwar sehen, was passiert, aber sie können nicht zuverlässig zählen, weil sie schummeln oder Abkürzungen nehmen.
Die Methode: Die Forscher haben ein extrem sauberes, schwieriges Trainingsprogramm mit Sportvideos entwickelt, das die KI zwingt, wirklich auf die Bewegung zu achten.
Der Erfolg: Dieses "Zähl-Training" hat die KI nicht nur beim Sport besser gemacht, sondern ihr allgemeines Verständnis für Zeit und Abläufe in allen Videos verbessert.

Zusammenfassung: PushupBench – Untersuchung und Verbesserung des zeitlichen Reasoning in VLMs

1. Problemstellung (The Problem)

Obwohl moderne Large Vision-Language Models (VLMs) in der Lage sind, semantische Inhalte in Videos zu erkennen (z. B. „eine Person macht Kniebeugen“), scheitern sie systematisch an präzisen zeitlichen Aufgaben wie dem Zählen von Wiederholungen. Das Paper identifiziert eine fundamentale Lücke zwischen semantischer Erkennung und präzisem zeitlichem Reasoning.

Das Problem ist komplex, da das Zählen eine kontinuierliche Verfolgung von Zustandsänderungen über die Zeit erfordert, was durch variable Geschwindigkeiten, Kamerabewegungen und visuelle Veränderungen erschwert wird. Zudem neigen aktuelle Modelle zu „Shortcut-Learning“: Sie nutzen statistische Häufigkeiten (z. B. die Annahme, dass Sätze meist 10 Wiederholungen haben) oder lesen On-Screen-Texte (Timer/Zähler) ab, anstatt die tatsächliche Bewegung zu analysieren.

2. Methodik (Methodology)

Die Autoren führen zwei wesentliche methodische Ansätze ein:

PushupBench: Ein neuer Benchmark bestehend aus 446 Videoclips (durchschnittlich 36,7s), die von 11 verschiedenen Fitness-Creatoren aus 10 Ländern stammen. Die Daten sind hochdivers (375 verschiedene Übungstypen), um das Auswendiglernen zu verhindern. Die Annotationen sind auf Zyklus-Ebene erfolgt.
Daten-Kuration & RL-Fine-Tuning: Um das Training durch Reinforcement Learning (RL) stabil zu gestalten, entwickelten die Autoren einen strengen Kurationsprozess. Sie reduzierten den ursprünglichen Trainingsdatensatz von 968 auf 391 hochqualitative Samples. Dabei wurden zwei Hauptprobleme eliminiert:
1. Temporale Unauflösbarkeit: Videos, in denen die Wiederholungen zu schnell für die Sampling-Rate (5 fps) waren, wurden entfernt.
2. Mode Collapse (GT=10): Da „10 Wiederholungen“ der Modus in Fitness-Daten ist, wurden alle Samples mit exakt 10 Wiederholungen entfernt, um zu verhindern, dass das Modell einfach nur die Zahl „10“ vorhersagt, um Belohnungen zu maximieren.
DAPO-Algorithmus: Sie nutzen eine modifizierte Version von GRPO (DeepSeek-Stil) mit einem skaleninvarianten linearen Reward, um auch bei ungenauen Vorhersagen sinnvolle Gradienten zu erzeugen.

3. Kernbeiträge (Key Contributions)

PushupBench: Ein robuster Benchmark zur Evaluierung von fein abgestuftem zeitlichem Reasoning.
Nachweis des „Proxy-Effekts“: Die Autoren zeigen, dass das Training auf der (relativ simplen) Aufgabe des Zählens als Proxy für allgemeineres zeitliches Verständnis dient.
Methodik zur Vermeidung von Reward Hacking: Identifikation und Lösung von Problemen wie dem Ausnutzen von On-Screen-Texten und dem Kollaps auf statistische Moden.

4. Ergebnisse (Results)

Leistungsdefizit aktueller Modelle: Frontier-Modelle wie Gemini 3 Flash erreichen lediglich eine Exact-Match-Genauigkeit von 42,1 %. Open-Source-Modelle (wie Qwen3-VL-4B) schneiden mit ca. 6–9 % deutlich schlechter ab und zeigen oft ein negatives $R^2$ , was bedeutet, dass sie lediglich den statistischen Mittelwert raten.
Generalisierung: Das Fine-Tuning auf nur 391 kuratierten Samples führt zu signifikanten Verbesserungen in allgemeinen Video-Benchmarks:
- MVBench: +2,45
- PerceptionTest: +1,23
- TVBench: +2,75
Spezialisierung: Interessanterweise verbessern sich primär die Aufgaben des zeitlichen Reasonings (z. B. Bewegungsrichtung, Aktionssequenz), während rein räumliche Aufgaben (z. B. Objektzählung) leicht abnehmen. Dies beweist, dass das Modell tatsächlich zeitliche Strukturen lernt.

5. Bedeutung (Significance)

Die Arbeit ist von hoher Bedeutung für die Entwicklung der nächsten Generation von VLMs. Sie zeigt auf, dass Datenqualität wichtiger ist als Datenquantität (die Reduktion des Datensatzes um 60 % verbesserte die Metriken massiv). Zudem liefert das Paper die Erkenntnis, dass das Erlernen von repetitiven Bewegungsabläufen ein effektiver Weg ist, um die Fähigkeit von Modellen zu verbessern, die zeitliche Dimension der Welt zu verstehen – eine Grundvoraussetzung für die Interaktion von KI mit der physischen Realität (Robotik, Videoanalyse).