💻 computer science

From Bounding Boxes to Visual Reasoning: An On-Policy Data Annotation Tool for Vision-Language Models

Dieses Paper stellt ScreenAnnotator vor, ein Open-Source On-Policy-Datenannotationstool, das die Lücke zwischen Bounding Boxes und visuellem Schließen schließt, indem es räumliche, semantische und strukturelle Primitive in einem einzigen Schema vereinheitlicht und dadurch eine hocheffiziente Datensynthese ermöglicht sowie die Leistung von Vision-Language-Modellen bei komplexen Denkaufgaben signifikant steigert.

Ursprüngliche Autoren: Like Zhang, Runliang Niu, Shiqi Wang, Xiyu Hu, Qianli Xing, Pan Wang, Qingzu He, Qi Wang

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Like Zhang, Runliang Niu, Shiqi Wang, Xiyu Hu, Qianli Xing, Pan Wang, Qingzu He, Qi Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber derzeit noch tollpatschigen Roboter beizubringen, komplexe Bilder wie Flussdiagramme oder Mobile-App-Bildschirme zu verstehen. Sie möchten nicht, dass der Roboter nur sagt: „Hier ist ein Kasten“, sondern dass er erklärt, was dieser Kasten ist, warum er dort ist und wie er mit anderen Kästen verbunden ist.

Das Problem ist, dass die Werkzeuge, die wir derzeit verwenden, um Roboter zu „lehren“ (sogenannte Annotations-Tools), wie alte Klemmbretter sind. Sie sind gut darin, einfach ein Rechteck um eine Katze zu zeichnen und „Katze“ darauf zu schreiben. Aber sie sind schrecklich für die komplexen, vielschichtigen Anweisungen, die moderne Roboter benötigen. Sie sind starr, langsam und sobald man dem Roboter etwas beigebracht hat, muss man wieder bei Null anfangen, um ihm etwas anderes beizubringen.

Die Autoren dieses Papers haben ein neues Tool namens ScreenAnnotator entwickelt, um dies zu beheben. So funktioniert es, unter Verwendung einfacher Analogien:

1. Der „Alles-in-einem“-Lego-Stein (Unified Annotation Atom)

Alte Tools behandeln den Ort, den Namen und die Beschreibung eines Bildes als drei separate Blätter Papier. Wenn man eines verliert, sind die Daten zerstört.

ScreenAnnotator erstellt einen einzigen „Super-Stein“ (einen Annotation Atom). Stellen Sie sich einen Lego-Stein vor, der Folgendes besitzt:

Eine GPS-Koordinate (wo er ist).
Ein Namensschild (was er ist).
Eine detaillierte Geschichte, die darauf geschrieben steht (eine freie Beschreibung).
Eine Liste spezifischer Merkmale (wie „sitzend“, „braun“ oder „dringend“).

Indem man all diese Informationen in einer einzigen Einheit zusammenklebt, erhält der Roboter ein viel reicheres, vollständigeres Bild der Welt.

2. Die „Co-Pilot“-Trainingsschleife (On-Policy Annotation)

Normalerweise ist das Lehren eines Roboters eine Einbahnstraße: Menschen zeichnen Kästen, dann lernt der Roboter, dann zeichnen Menschen mehr Kästen. Der Roboter hilft dem Menschen nie.

ScreenAnnotator verwandelt dies in einen Tanz.

Schritt 1: Der Roboter (der „Co-Pilot“) betrachtet ein neues Bild und versucht zu erraten, wo die Kästen sind und was sie bedeuten.
Schritt 2: Ein Mensch betrachtet die Vermutung des Roboters. Wenn der Roboter recht hat, sagt der Mensch nur: „Gut gemacht!“ (was Zeit spart). Wenn der Roboter falsch liegt, korrigiert der Mensch ihn.
Schritt 3: Der Roboter lernt sofort aus dieser Korrektur und wird besser, bevor er sich das nächste Bild ansieht.

Das Ergebnis: Zu Beginn ist der Roboter tollpatschig und braucht viel Hilfe. Aber während er lernt, wird er so gut, dass der Mensch den Bildschirm kaum noch berühren muss. Der Job des Menschen wandelt sich von „die Arbeit erledigen“ zu „die Arbeit überprüfen“. Das Paper zeigt, dass der Roboter bei Flussdiagrammen schließlich fast 100 % der Zeit korrekt arbeitet. Bei App-Bildschirmen liegt er bei 77 %. Die Aufgabe des Menschen verschiebt sich von der „Ausführung“ zur „Kontrolle“.

3. Der „Lügendetektor“ (Bayesian Annotation Verifier)

Selbst mit einem Co-Piloten passieren Fehler. Woher weiß man, ob der Roboter mit voller Überzeugung falsch liegt?

Das Tool enthält einen speziellen Lügendetektor (einen Bayesian Annotation Verifier). Dies ist kein Mensch, sondern ein intelligenter Algorithmus, der wie ein Qualitätskontrolleur fungiert.

Er betrachtet jeden einzelnen Kasten, den der Roboter zeichnet, und fragt: „Wie sicher sind wir uns, dass dies korrekt ist?“
Wenn der Roboter selbstbewusst auftritt, die Mathematik aber besagt, dass die Aussage wackelig ist, schlägt der Lügendetektor Alarm.
Diese „verdächtigen“ Elemente werden zur Zweitprüfung an den Menschen zurückgesendet.

Dies stellt sicher, dass der Roboter nicht aus seinen eigenen Fehlern lernt. Das Paper fand heraus, dass dieses Tool unglaublich gut darin ist, Fehler aufzuspüren, und in den obersten 1 % der markierten Artikel 2- bis 3-mal mehr Fehler findet, als wenn man einfach zufällige Bilder zur Kontrolle auswählen würde.

4. Das „Rezeptbuch“ (Template-Driven Synthesis)

Hier liegt die größte Zeitersparnis. Normalerweise, wenn man einem Roboter eine neue Aufgabe beibringen möchte (wie „Zähle die Kästen“ oder „Finde den Pfad von A nach B“), muss man Menschen anheuern, um tausende Bilder neu zu beschriften.

ScreenAnnotator nutzt einen Rezeptbuch-Ansatz.

Sobald der Mensch das Bild mit den „Super-Steinen“ beschriftet hat (Schritt 1), kann das System automatisch tausende verschiedene Fragen und Antworten aus demselben einzelnen Bild generieren.
Es ist, als hätte man eine hochwertige Zutat (das beschriftete Bild) und nutzt ein Rezept, um gleichzeitig einen Kuchen, einen Kuchen und Kekse zu backen.
Man muss das Bild nicht neu beschriften; man muss nur das „Rezept“ (die Vorlage) ändern, um andere Fragen zu stellen.

Der große Gewinn

Die Autoren haben dies an zwei Dingen getestet: Flussdiagrammen (Diagramme, die Prozesse zeigen) und Mobile-App-Screenshots.

Effizienz: Die Zeit, die für die Beschriftung eines Bildes benötigt wurde, sank signifikant, sobald der Roboter intelligenter wurde.
Intelligentere Roboter: Als sie die Daten aus ScreenAnnotator nutzten, um einen Roboter zu trainieren, sprang die Fähigkeit des Roboters, Flussdiagramme zu verstehen, von 41 % Genauigkeit auf 76,1 %. Das ist ein gewaltiger Sprung, der beweist, dass bessere Datentools intelligentere Roboter erschaffen.

Kurz gesagt: ScreenAnnotator ist ein Werkzeug, das es Robotern ermöglicht, Menschen beim Beschriften von Daten zu helfen, die Fehler des Roboters automatisch abzufangen und dann aus einem einzigen beschrifteten Bild hunderte verschiedene Trainingsübungen zu erstellen – was den gesamten Prozess schneller, günstiger und wesentlich effektiver macht.

Technisches Resümee: SCREENANNOTATOR

Problemstellung

Vision-Language Models (VLMs) entwickeln sich von der einfachen visuellen Wahrnehmung hin zu einer anspruchsvollen, fundierten strukturierten visuellen Argumentation. Das Training von Modellen für diese fortgeschrittenen Fähigkeiten erfordert Daten, die räumliche Koordinaten, Open-Vocabulary-Beschreibungen, strukturierte Attribute und topologische Beziehungen in einer einzigen Repräsentation vereinen. Bestehende Datenannotationswerkzeuge erfüllen diese Anforderungen jedoch nicht und leiden unter drei systematischen Engpässen:

Begrenzte Ausdrucksstärke: Aktuelle Werkzeuge sind in geschlossenen Detektionsparadigmen verankert und versäumen es, räumliche Orte, freie Texte und strukturierte Attribute gemeinsam zu binden.
Entkopplung von Annotation und Training: Bestehende Pipelines sind linear und offline; es fehlt an interaktivem On-Policy-Feedback oder selbstüberwachten Qualitätskontrollmechanismen.
Geringe Wiederverwendbarkeit von Daten: Diverse Downstream-Aufgaben erfordern oft redundante Neuannotationen derselben Bilder, da die Werkzeuge keine dynamische Konvertierung statischer Labels in variierende Reasoning-Aufgaben unterstützen.

Diese Infrastrukturlücke behindert die skalierbare Kuratierung hochwertiger Daten, die für die fortgeschrittene VLM-Argumentation notwendig sind.

Methodik: SCREENANNOTATOR

Um diese Lücke zu schließen, führen die Autoren SCREENANNOTATOR ein, ein Open-Source-Annotationswerkzeug, das speziell für das VLM-Training entwickelt wurde. Das Framework besteht aus drei Kernkomponenten:

1. Unified Annotation Atom Schema

Die Autoren definieren ein einheitliches „Annotations-Atom“ ( $a_i$ ), das vier Primitiven in einer einzigen Einheit bindet:

Räumliche Lokalisierung: Bounding Boxes ( $b_i$ ).
Kategoriale Identität: Aufgabenspezifische Labels ( $\ell_i$ ).
Semantik der natürlichen Sprache: Freitextliche Beschreibungen ( $d_i$ ), die Open-Vocabulary-Semantik ermöglichen.
Strukturiertes Domänenwissen: Key-Value-Attribute ( $k_i$ ), die durch ein deklaratives Schema definiert sind.
Dieses Schema geht über einfache Bounding Boxes hinaus, um Instanz-Referenzierung und reiche semantische Informationen zu unterstützen.

2. On-Policy Annotation Loop

Um die Entkopplung von Annotation und Training zu adressieren, implementiert das Tool einen iterativen On-Policy-Loop:

Modellgestützte Prä-Annotation: Ein Policy-Modell (das einen Objektdetektor und ein VLM kombiniert) generiert Kandidaten-Atome (Boxen, Labels, Beschreibungen, Attribute) für neue Bild-Batches.
Menschliche Überprüfung und Korrektur: Annotatoren korrigieren Fehler in den Vorschlägen des Modells.
Bayesian Annotation Verifier (BAV): Ein selbstüberwachter Qualitätskontrollmodul scannt Annotationen auf Defekte. Es schätzt die Posteriori-Wahrscheinlichkeit einer fehlerhaften Annotation mittels eines Bayesian Classifier Heads mit MC Dropout. Instanzen mit hoher Unsicherheit werden für eine zweite menschliche Überprüfung markiert.
On-Policy Model Update: Der korrigierte Datensatz wird mit bisherigen Daten zusammengeführt, und sowohl das Policy-Modell als auch der Verifier werden gemeinsam neu trainiert. Das aktualisierte Modell ersetzt das vorherige unmittelbar für die nächste Runde, wodurch ein koevolutionärer Kreislauf entsteht, der die menschliche Korrekturbelastung im Laufe der Zeit reduziert.

3. Template-gesteuerte Multi-Task-Datensynthese

Um die Wiederverwendbarkeit von Daten zu lösen, entkoppelt das Framework die Datendiversität von den Annotationskosten. Ein einzener Satz von Annotations-Atomen wird via Schema-Templates dynamisch in diverse VLM-Reasoning-Aufgaben (z. B. Attributsuche, relationale Argumentation, räumliche Inferenz) konvertiert.

Ein LLM lädt ein domänenspezifisches Schema und expandiert es in diverse Konversationstemplates.
Diese Templates werden gegen die annotierten Proben instanziiert, wobei textliche Antworten an räumliche Evidenzen (Grounding-Marker) gebunden werden.
Dies ermöglicht es, dass eine einzige Annotationsleistung mehrere Downstream-Aufgaben unterstützt, ohne dass eine Neuannotation erforderlich ist.

Wichtigste Beiträge

ScreenAnnotator Tool: Ein neuartiges Open-Source-Werkzeug, das das Closed-Set-Detektionsparadigma durch ein einheitliches Annotations-Atom-Schema erweitert, welches reiche Semantik und Instanz-Referenzierung unterstützt.
On-Policy Annotation Loop: Ein Framework, das ein schnelles On-Policy-Modell-Update und einen Bayesian Annotation Verifier (BAV) zur selbstüberwachten Qualitätskontrolle bietet. Experimente zeigen eine klare positive Rückkopplungsschleife, bei der die menschliche Korrekturzeit und der Aufwand sinken, während sich das Modell verbessert.
Wiederverwendbare Annotationsleistung: Ein Template-gesteuertes Synthese-Verfahren, das einmalige Annotationen in Multi-Task-VLM-Trainingsdaten transformiert und so den marginalen Supervision-Gewinn jeder Annotation drastisch erhöht.

Experimentelle Ergebnisse

Das Framework wurde in zwei Szenarien evaluiert: Flowchart-Parsing und Mobile GUI Screenshot Understanding.

Annotationseffizienz (RQ1):
- Im Flowchart-Szenario stieg die Modellakzeptanzrate auf nahezu 100 %, während die Abschlussrate im Verlauf der Runden auf ~20 % sank.
- Im GUI-Szenario stieg die Akzeptanzrate von 0 % auf 77 %, während die Abschlussraten von 100 % auf 40,6 % fielen.
- Die Zeit pro Bild-Annotation sank im Verlauf des Loops stetig, was die Verschiebung der Arbeitslast vom Menschen zum Modell bestätigt.
Qualitätskontrolle (RQ2):
- Der BAV priorisierte Fehler effektiv, ohne dass manuelle Qualitätslabels vorlagen. Im Flowchart-Szenario erfassten die obersten 1 % der markierten Boxen etwa 2,9-mal mehr wahre Fehler als eine Zufallsstichprobe (Lift@1% = 2,89).
- Im GUI-Szenario erreichte der Lift@1% einen Wert von 3,69, was eine starke Trennung heterogener Fehler demonstriert.
Aufgabenleistung (RQ3):
- Das Fine-Tuning eines VLM (Qwen3-VL-8B) auf den aus Flowchart-Annotationen synthetisierten Daten lieferte eine durchschnittliche Genauigkeit von 76,1 %, was einem absoluten Gewinn von 35,1 Prozentpunkten gegenüber dem Basismodell (41,0 %) entspricht.
- Signifikante Verbesserungen wurden über alle 12 Aufgabentypen hinweg beobachtet, insbesondere bei der räumlichen Inferenz (24,5 % $\to$ 89,0 %) und der Identifizierung von Nachfolgern (29,3 % $\to$ 90,6 %).
- Qualitative Fallstudien bestätigten, dass das feinabgestimmte Modell in der Lage war, strukturierte Multi-Hop-Argumentation und präzise Lokalisierung durchzuführen, an denen das Basismodell scheiterte.

Bedeutung und Ansprüche

Das Paper behauptet, dass SCREENANNOTATOR eine hochskalierbare und einfach zu bedienende Lösung für die Kuratierung von Datensätzen bietet, die den Anforderungen an fortgeschrittene VLM-Argumentation gerecht werden. Die primäre Bedeutung liegt in:

Überbrückung der Infrastrukturlücke: Es adressiert direkt die Diskrepanz zwischen konventionellen Annotationswerkzeugen und den komplexen, fundierten Datenanforderungen moderner VLMs.
Effizienz und Qualität: Durch die Integration von On-Policy-Lernen und Bayesianischer Verifizierung reduziert es die menschlichen Labeling-Kosten bei gleichzeitiger Aufrechterhaltung einer hohen Datenintegrität durch selbstüberwachte Fehlererkennung.
Daten-Wiederverwendbarkeit: Es zeigt auf, dass eine einzige Annotationsleistung dynamisch für diverse Reasoning-Aufgaben umgewidmet werden kann, wodurch die Notwendigkeit redundanter Neuannotationen entfällt.

Die Autoren weisen auf Einschränkungen hinsichtlich des Szenariokus (aktuell auf Flowcharts und GUIs fokussiert) hin und schlagen zukünftige Arbeiten zur aktiven Stichprobenwahl sowie zur Erweiterung der Unsicherheitsschätzung auf Freitextbeschreibungen vor. Das Tool wird als Open-Source zur Förderung der Community-Adoption veröffentlicht.