🤖 AI

SITUATE -- Synthetic Object Counting Dataset for VLM training

Das Paper stellt SITUATE vor, einen neuartigen synthetischen Datensatz, der darauf ausgelegt ist, Vision-Language-Modelle auf räumlich beschränkten Zählaufgaben zu trainieren, wobei gezeigt wird, dass das Fine-Tuning auf diesen kontrollierten Daten die Generalisierung auf Out-of-Distribution-Benchmarks im Vergleich zu bestehenden realen Datensätzen signifikant verbessert.

Ursprüngliche Autoren: René Peinl, Vincent Tischler, Patrick Schröder, Christian Groth

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: René Peinl, Vincent Tischler, Patrick Schröder, Christian Groth

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr intelligenten Roboter-Assistenten, der groß darin ist, Bilder zu beschreiben. Wenn Sie ihm ein Foto eines Sonnenuntergangs zeigen, kann er über den orangefarbenen Himmel und die Wolken berichten. Aber wenn Sie ihn fragen: „Wie viele Vögel sind in diesem Himmel?“, fängt er oft an zu raten, gibt die falsche Anzahl an oder erfindet Fakten. Es ist wie ein Schüler, der großartig im Verfassen von Aufsätzen ist, aber bei einfacher Mathematik völlig versagt.

Dieses Paper stellt ein neues Trainingswerkzeug namens SITUATE vor, um diesen Robotern zu helfen, beim Zählen besser zu werden – insbesondere dann, wenn Objekte versteckt, unterschiedlich gefärbt oder an spezifischen Stellen platziert sind.

Hier ist die Aufschlüsselung ihrer Arbeit unter Verwendung einfacher Analogien:

Das Problem: Roboter können nicht gut zählen

Aktuelle KI-Modelle sind wie Menschen, die ein Gesicht sofort erkennen können, aber Schwierigkeiten haben, eine Menge zu zählen.

Die „Muster“-Falle: Einige bestehende Trainingsdaten sind wie ein Fangfragen-Quiz. Wenn ein Bild immer neun Gegenstände in einer bestimmten Anordnung zeigt, lernt der Roboter, die Form von „neun“ zu erkennen, anstatt die Gegenstände tatsächlich zu zählen. Es ist, als würde ein Schüler den Lösungsschlüssel auswendig lernen, anstatt die Mathematik dahendurch zu verstehen.
Das „echte Welt“-Chaos: Andere Datensätze verwenden echte Fotos, aber diese sind zu unordentlich. Objekte sind hinter anderen verborgen (Okklusion), oder die Fragen sind vage. Es ist, als würde man jemanden bitten, die Äpfel in einer Obstschale zu zählen, während jemand anderes sie ständig hin und her bewegt.
Das Ergebnis: Die Roboter raten. Sie sagen vielleicht, eine Henne habe drei Beine, weil sie einmal eine seltsame Henne „erinnert“ haben, oder sie scheitern daran, grüne Beeren zu zählen, wenn das Bild leicht verschwommen ist.

Die Lösung: Ein „Trainingsgym“, genannt SITUATE

Die Autoren haben einen neuen Datensatz namens SITUATE (Synthetic Object Counting Dataset) erstellt. Betrachten Sie dies als ein virtuelles Trainingsgym, das innerhalb eines 3D-Computerprogramms (Blender) gebaut wurde.

Anstatt unordentliche echte Fotos zu verwenden, haben sie perfekte, saubere 3D-Szenen erschaffen:

Der Aufbau: Stellen Sie sich einen Raum mit einem Tisch in der Mitte vor.
Die Objekte: Sie platzieren geometrische Formen (Würfel, Kugeln, Kegel) auf, unter oder um den Tisch herum.
Die Regeln: Sie kontrollieren alles. Sie wissen genau, wie viele rote Kegel links auf dem Tisch liegen, wie viele blaue Kugeln unter dem Tisch sind, und sie stellen sicher, dass die Objekte nicht zu stark verdeckt werden.
Die Fragen: Sie stellen dem Roboter spezifische Fragen wie: „Wie viele grüne Kegel befinden sich rechts neben dem Tisch auf dem Boden?“

Dies ist vergleichbar damit, einem Schüler ein Mathearbeitsbuch zu geben, in dem die Aufgaben perfekt klar sind, damit er tatsächlich das Konzept des Zählens lernt, anstatt nur Bilder auswendig zu lernen.

Das Experiment: Den Roboter lehren

Die Forscher nahmen ein populäres KI-Modell (Qwen 2.5 VL) und gaben ihm einen „Crashkurs“ unter Verwendung ihres neuen SITUATE-Gyms. Sie probierten verschiedene Lehrstile aus:

Der „verbose“ Stil (ausführlich): Der Roboter wurde gelehrt, seine Gedanken Schritt für Schritt durchzugehen (z. B. „Ich sehe hier zwei Kegel, dort drei...“).
Der „non-verbose“ Stil (nicht ausführlich): Der Roboter wurde gelehrt, einfach nur die endgültige Zahl zu nennen.
Der „gemischte“ Stil: Eine Kombination aus ihrem neuen Gym und einem bestehenden Datensatz (Pixmo).

Die Ergebnisse: Was hat funktioniert?

Der „verbose“ Stil war ein zweischneidiges Schwert: Wenn der Roboter gefragt wurde, große Zahlen zu zählen (5 oder mehr), half es ihm, die Schritte durchzugehen, um die richtige Antwort zu erhalten. Bei kleinen Zahlen fing er jedoch an zu „halluzinieren“ (Dinge zu erfinden), um die Lücken zu füllen. Es war wie ein Schüler, der so sehr versucht, seinen Rechenweg zu erklären, dass er versehentlich zusätzliche Zahlen erfindet.
Der „gemischte“ Ansatz gewann: Das beste Ergebnis wurde durch die Kombination des neuen SITUATE-Gyms mit dem bestehenden Pixmo-Datensatz erzielt. Dies schuf einen Roboter, der sowohl einfache als auch komplexe Zählaufgaben besser bewältigen konnte als zuvor.
Generalisierung: Die wichtigste Erkenntung ist, dass das Training auf diesem sauberen, synthetischen Gym dem Roboter tatsächlich geholfen hat, beim Zählen in unordentlichen, realen Fotos (wie dem TallyQA-Datensatz) besser zu werden. Es ist, als würde man mit einem perfekten Basketballkorb in einer Sporthalle trainieren und plötzlich plötzlich besser darin werden, Körbe im windigen Park zu werfen.

Das Fazit

Das Paper argumentiert, dass wir, um Roboter zum genauen Zählen zu bringen, einen Mittelweg zwischen „zu einfach“ (2D-Cartoons) und „zu unordentlich“ (echte Fotos) benötigen. Der SITUATE-Datensatz bietet diesen Mittelweg.

Durch das Training an diesen kontrollierten 3D-Szenen lernten die Roboter, tatsächlich zu zählen, anstatt nur basierend auf Mustern zu raten. Die Autoren planen, das Gym in Zukunft noch realistischer zu machen, indem sie Objekte wie Tassen, Bälle und Kerzen hinzufügen, um die Lücke zwischen ihrer perfekten 3D-Welt und der realen Welt weiter zu schließen.

Kurz gesagt: Sie haben einen sauberen, kontrollierten 3D-Spielplatz gebaut, um der KI beizubringen, richtig zu zählen, und es stellte sich heraus, dass das Training in diesem Spielplatz die KI auch beim Zählen in der realen Welt intelligenter gemacht hat.

Technisches Resümee: SITUATE – Ein synthetischer Datensatz zur Objektzählung für das Training von VLMs

Problemstellung

Vision-Language-Modelle (VLMs) haben beachtliche Erfolge beim Bildbeschreibungen und bei der visuellen Beantwortung von Fragen erzielt, kämpfen jedoch weiterhin mit präziser quantitativer Logik, insbesondere beim Zählen von Objekten und dem Verständnis räumlicher Beziehungen. Aktuelle Modelle scheitern oft daran, visuelle Erkennung in genaue Zahlen zu übersetzen, besonders wenn die Anzahl der Objekte fünf übersteigt oder wenn Objekte verdeckt sind. Bestehende Datensätze weisen eine Dichotomie auf: Einfache 2D-Benchmarks wie CountBench erlauben es Modellen, visuelle Muster zu erlernen (z. B. das Erkennen eines spezifischen Musters für die Zahl Neun), anstatt echtes Zählen zu praktizieren, während reale Datensätze wie TallyQA und Pixmo count unter Ambiguität, starker Okklusion und mangelnder Kontrolle über die räumliche Komposition leiden. Zudem zeigen Modelle, die auf diesen Datensätzen trainiert wurden, oft Bias-Effekte, indem sie nicht generalisieren können, wenn die Objektanzahl von der Trainingsverteilung abweicht oder wenn spezifische Attribute (wie die Farbe) abgefragt werden. Derzeit gibt es keinen vereinheitlichten Ansatz, der das Zählen und das räumliche Verständnis gleichzeitig in einer kontrollierten, aber anspruchsvollen Umgebung adressiert.

Methodik

Datensatzkonstruktion (SITUATE)

Die Autoren führen SITUATE ein, einen neuartigen synthetischen Datensatz, der die Lücke zwischen künstlicher 2D-Grafik und unkontrollierten realen Fotos schließen soll.

Generierungspipeline: Der Datensatz wurde mittels Blender und BlenderProc generiert, wobei eine Python-API für die prozedurale Generierung genutzt wurde.
Szenenkomposition: Die Szenen bestehen aus einem Tisch in einem Raum mit variierenden Hintergründen und Bodenstrukturen. Objekte (Würfel, Kugeln, Kegel, Zylinder) werden auf, unter, vor oder links/rechts vom Tisch platziert.
Kontrollierte Komplexität: Um ein klares visuelles Verständnis bei gleichzeitiger Herausforderung zu gewährleisten, wird die horizontale Ausdehnung des Tisches in Bins unterteilt, um Objektüberlappungen und übermäßige Okklusion zu verhindern.
Qualitätskontrolle: Ein Validierungsprozess stellt sicher, dass ein ausreichender Kontrast zwischen Objekten und Hintergründen mittels der $\Delta E$ -Farbdifferenz im Lab-Farbraum besteht. Bilder mit $\Delta E < 12,5$ werden neu gerendert.
Datenskalierung: Der Datensatz enthält 23.252 Bild-Frage-Antwort-Tripel (abgeleitet aus 6.875 einzigartigen Bildern, die aus 5 Kameraperspektiven gerendert wurden). Er konzentriert sich auf Objektanzahlen im Bereich von 0 bis 15, mit einem spezifischen Schwerpunkt auf dem Bereich 5–15.
Fragetypen: Pro Bild werden sechs Fragetypen generiert: Farbe, Form, Ort, Objekt, zusammengesetzt (composite) und adversarial (Fragen nach nicht existenten Objekten).
Ground Truth: Drei Ground-Truth-Formate werden bereitgestellt: numerisch, kurz und ausführlich (Schritt-für-Schritt-Begründung).

Experimenteller Aufbau

Um die Effektivität des Datensatzes zu evaluieren, haben die Autoren das Qwen 2.5 VL 7B Modell mittels LoRA (Low-Rank Adaptation) unter Verwendung des UnSloth-Frameworks feinjustiert.

Trainingsvarianten: Es wurden vier Varianten erstellt:
1. Verbose: Trainiert auf SITUATE mit ausführlichen (verbose) Ground Truths.
2. Non-verbose: Trainiert auf SITUATE mit kurzen Ground Truths.
3. Pixmo: Trainiert auf einer Teilmenge des Pixmo-count-Datensatzes (abgestimmt auf die Ground-Truth-Verteilung).
4. Mixed: Eine Kombination aus SITUATE (verbose) und Pixmo.
Trainingsparameter: Die Modelle wurden für eine Epoche auf 23.252 Items mit einer Batch-Größe von 4 trainiert, unter Verwendung des AdamW 8-bit Optimierers, einer Lernrate von 1e-4 und einem Warmup von 300 Schritten.
Evaluierung: Die Modelle wurden auf held-out SITUATE-Daten, Pixmo count, CountBench und einer gefilterten Teilmenge von TallyQA (fokussiert auf Zählungen von 5–15) getestet.

Kernergebnisse

Performance auf SITUATE

Baseline: Das untrainierte Qwen 2.5 VL 7B erreichte 36,3 % Genauigkeit auf dem SITUATE-Testset.
Auswirkung des Fine-Tunings:
- Verbose SITUATE: Verbesserte die Genauigkeit auf 50,3 %.
- Mixed (SITUATE + Pixmo): Erreichte die höchste Genauigkeit von 52,7 %.
- Non-verbose & Pixmo-only: Beide Varianten führten zu einer geringeren Genauigkeit auf SITUATE (29,5 % bzw. 27,3 %) im Vergleich zur Baseline, was darauf hindeutet, dass das Training ausschließlich auf realen Daten oder nicht-verbose synthetischen Daten nicht gut auf die spezifischen räumlichen Bedingungen von SITUATE übertragbar ist.

Generalisierung und Cross-Dataset-Performance

Pixmo Count: Die Mixed-Variante erreichte 60,0 % Genauigkeit, eine signifikante Verbesserung gegenüber der Baseline (51,8 %) und den SITUATE-only Varianten. Dies zeigt, dass das SITUATE-Training die Generalisierung auf reale Daten (Pixmo count) verbessert.
CountBench: Die Baseline performte gut (81,9 %). Die Mixed-Variante behielt diese Leistung bei (81,9 %), während die Pixmo-Variante sie leicht auf 85,1 % verbesserte.
TallyQA: Alle Modelle hatten aufgrund der inhärenten Ambiguität und Okklusion des Datensatzes Schwierigkeiten. Die Mixed-Variante erreichte 27,5 %, eine leichte Verbesserung gegenüber der Baseline (25,5 %).
Vergleich mit anderen Modellen:
- Molmo 7B-D: Performte exzellent auf Pixmo (87,1 %) und CountBench (92,7 %), wurde aber vom Qwen 3 VL 32B auf SITUATE übertroffen (79,2 % vs. 47,4 % für Molmo).
- Qwen 3 VL 32B: Zeigte die besten Generalisierungsfähigkeiten über alle Benchmarks hinweg, insbesondere auf SITUATE, war jedoch nicht auf die in dieser Studie verwendeten spezifischen Datensätze feinjustiert worden.

Qualitative Beobachtungen

Verbose vs. Non-Verbose: Der Verbose-Trainingsstil verbesserte die Leistung bei Zählungen von 5 und mehr, führte jedoch zu Halluzinationen bei kleineren Zahlen (z. B. das Erfinden von Objekten, um eine Zielsumme zu erreichen).
Die „Sechs“-Anomalie: Das Baseline-Modell zeigte einen deutlichen Abfall der Genauigkeit bei der Zahl sechs (19 %) im Vergleich zu fünf (39 %) und sieben (35 %). Der Mixed-Datensatz konnte dies erfolgreich entschärfen und steigerte die Genauigkeit für sechs auf 61 %.
Adversarial Questions: Das Non-verbose-Modell überpasste (overfit) auf Adversarial-Fragen und behauptete häufig, dass null Objekte vorhanden seien, während die Baseline diese korrekt handhabte.

Bedeutung und Behauptungen

Das Paper behauptet, dass SITUATE eine kritische Lücke im VLM-Training füllt, indem es eine kontrollierte Umgebung bietet, die räumliches Denken und präzises Zählen ohne die Ambiguität realer Fotos erzwingt.

Generalisierung: Die primäre Erkenntnis ist, dass das Fine-Tuning auf SITUATE (speziell die Mixed-Variante) die Fähigkeit eines Modells verbessert, auf Out-of-Distribution reale Daten (Pixmo count) zu generalisieren, während das Training allein auf Pixmo die Performance auf SITUATE nicht verbessert.
Lernmechanismus: Die Studie legt nahe, dass VLMs effektiver zählen lernen können, wenn sie auf Daten trainiert werden, die die Objektplatzierung und Attribute explizit trennen, anstatt sich auf statistische Biases in realen Datensätzen zu verlassen.
Zukünftiger Nutzen: Die Autoren postulieren, dass SITUATE als wertvoller Benchmark dient, um die „echten“ Zählfähigkeiten von VLMs zu evaluieren und zwischen Mustererkennung und tatsächlicher quantitativer Logik zu unterscheiden.

Limitationen

Die Autoren räumen mehrere Limitationen ein:

Synthetische Natur: Der Datensatz ist auf vier geometrische Objektklassen und ein einzelnes Szenenlayout (Tisch in einem Raum) beschränkt, wennglich Kameraperspektiven und Texturen variieren.
Modellumfang: Die Experimente beschränkten sich auf das Fine-Tuning eines einzelnen Modells (Qwen 2.5 VL 7B) für eine einzige Epoche; Ergebnisse für andere Architekturen oder längere Trainingspläne wurden nicht explizit getestet.
Human Baseline: Es wurde keine menschliche Baseline etabliert, obwohl die Autoren schätzen, dass die menschliche Genauigkeit angesichts der kontrollierten Natur der Bilder bei 90–95 % läge.
Objektumfang: Die aktuellen Objekte sind abstrakt; zukünftige Arbeiten zielen darauf ab, fotorealistische Texturen und komplexere Objektbeziehungen (z. B. Tassen, Bälle) einzuführen.