💻 computer science

DV-SFT: Direct Vision Supervision for Fine-Grained Visual Understanding

Dieser Artikel schlägt Direct Vision Supervised Fine-Tuning (DV-SFT) vor, eine Methode, die das feingranulare visuelle Verständnis in multimodalen großen Sprachmodellen verbessert, indem visuelle Token durch entsprechende Textlabels, die aus OCR-Szenarien abgeleitet werden, explizit überwacht werden, wodurch eine überlegene Leistung erzielt wird, ohne dass architektonische Änderungen oder zusätzliche Komponenten erforderlich sind.

Ursprüngliche Autoren: Jianfei Zhao, Feng Zhang, Xin Sun, Chong Feng, Bing Wang, Zhixing Tan

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jianfei Zhao, Feng Zhang, Xin Sun, Chong Feng, Bing Wang, Zhixing Tan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „blinde" Schüler

Stellen Sie sich einen brillanten Schüler (das KI-Modell) vor, der einen Test macht, bei dem er ein Bild betrachtet und dann eine Antwort schreibt.

Wie es normalerweise funktioniert: Der Lehrer (der Trainingsalgorithmus) bewertet nur die geschriebene Antwort des Schülers. Ist die Antwort richtig, erhält der Schüler einen goldenen Stern. Ist sie falsch, bekommt er ein rotes X.
Der Fehler: Dem Schüler wird nie gesagt, was er im Bild richtig oder falsch gesehen hat. Er weiß nur, ob der letzte Satz richtig war. Im Laufe der Zeit könnte der Schüler die richtige Antwort durch Glück oder durch das Auswendiglernen von Mustern erraten, aber er „sieht" die Details des Bildes nicht wirklich. Er ist im Wesentlichen „blind" für die spezifischen visuellen Hinweise, was zu Fehlern führt, wie zum Beispiel das Halluzinieren von Objekten, die nicht vorhanden sind.

Die alten Lösungen: Komplizierte Umwege

Frühere Forscher versuchten dies zu beheben, indem sie zusätzliche Schritte hinzufügten:

Der „Übersetzer"-Ansatz: Sie fügten eine zweite Maschine hinzu, um das Bild in eine Beschreibung zu übersetzen, und zwangen den Schüler, diese zu matchen.
Der „Rekonstruktions"-Ansatz: Sie forderten den Schüler auf, das Bild aus dem Gedächtnis nachzuzeichnen.
Das Problem: Diese Methoden sind so, als würde man den Schüler bitten, ein neues Klassenzimmer zu bauen, einen neuen Übersetzer einzustellen und eine neue Sprache zu lernen, nur um ein kleines Problem zu beheben. Sie sind kompliziert, langsam und erfordern eine Veränderung des Gehirns des Schülers (der Architektur des Modells).

Die neue Lösung: DV-SFT (Direct Vision Supervision)

Die Autoren dieses Papers schlagen eine viel einfachere „Black-Box"-Lösung namens DV-SFT vor.

Die Kernidee:
Anstatt auf die endgültige Antwort zu warten, um den Schüler zu bewerten, bewertet der Lehrer den Schüler, während er das Bild betrachtet.

Wie es funktioniert (Der „OCR"-Trick):
Die Forscher stellten fest, dass es in Bildern mit Text (wie einem Schild mit „STOP") eine perfekte Übereinstimmung zwischen Bild und Wort gibt.

Das Setup: Sie nehmen ein Bild mit Text.
Das Label: Sie sagen der KI: „Wenn du auf diesen spezifischen Pixelbereich des Bildes schaust, ist das Wort, das du 'denken' solltest, 'STOP'."
Das Training: Sie zwingen die KI, das Wort „STOP" basierend nur auf diesem winzigen Bildausschnitt vorherzusagen, unter Verwendung exakt derselben Mathematik, die sie zum Schreiben von Sätzen verwendet.

Die Analogie:
Stellen Sie sich einen Lehrer vor, der auf einen einzelnen Buchstaben in einem Wort an einer Tafel zeigt und sagt: „Du schaust auf diesen Buchstaben. Deine Aufgabe ist es, 'A' zu sagen."

Alte Art: Der Lehrer wartet, bis der Schüler den ganzen Satz „Apfel" geschrieben hat, um zu sehen, ob er es richtig hat.
DV-SFT-Art: Der Lehrer zeigt auf das 'A' und sagt: „Sag jetzt 'A'." Dann zeigt er auf das 'p' und sagt: „Sag jetzt 'p'."

Warum das besonders ist

Keine Operation erforderlich: Sie müssen das Gehirn der KI nicht aufschneiden oder neue Teile hinzufügen. Es funktioniert mit dem bestehenden Modell genau so, wie es ist.
Direktes Feedback: Der visuelle Teil der KI erhält direktes Feedback, genau wie der Textteil. Er lernt: „Oh, dieses spezifische visuelle Muster bedeutet das Wort 'Baum'."
Der „Glättungs"-Trick: Manchmal enthält ein einzelner Bildausschnitt Teile von zwei Wörtern, oder die „Augen" der KI betrachten das gesamte Bild auf einmal. Die Autoren fügten eine „Glättungs"-Technik hinzu (wie eine sanfte Stütze), damit die KI lernt, dass ein Ausschnitt mit dem Wort, auf dem er liegt, verwandt sein könnte, aber auch mit den Wörtern in der Nähe. Dies verhindert, dass die KI verwirrt wird.

Die Ergebnisse: Was ist passiert?

Die Forscher testeten dies bei verschiedenen Aufgaben, einschließlich dem Lesen von Dokumenten, dem Verstehen von Diagrammen und allgemeinen Fragen zu Bildern.

Besseres Lesen: Die KI wurde viel besser darin, Text in Bildern zu lesen (OCR). Sie hörte auf zu raten und fing an, die Buchstaben tatsächlich zu „sehen".
Besseres allgemeines Sehen: Obwohl sie nur auf textlastigen Bildern trainiert wurde, wurde die KI besser im Verstehen von nicht-textuellen Bildern (wie das Erkennen eines roten Balls oder eines rennenden Hundes).
- Analogie: Es ist wie ein Musiker zu lehren, Notenblätter perfekt zu lesen. Auch wenn man nur mit Notenblättern übt, verbessert sich das Gehör für jede Musik, weil man gelernt hat, genauer hinzuhören.
Erfolg außerhalb der Domäne: Die KI hat nicht nur die Trainingsbilder auswendig gelernt; sie lernte eine allgemeine Fähigkeit zum „Schauen", was ihr half, bei Bildern, die sie noch nie gesehen hatte, gut abzuschneiden.

Die Einschränkungen (Was das Paper zugibt)

Die Autoren sind ehrlich darüber, wo diese Methode ihre Grenzen hat:

Text ist einfach, Objekte sind schwer: Es ist einfach, einen Bildausschnitt mit einem Wort wie „Katze" zu matchen, weil das Wort auf dem Bild geschrieben steht. Es ist viel schwieriger, dies für ein Bild eines Sonnenuntergangs oder einer komplexen Szene zu tun, in der es keine Wörter als Labels gibt.
Eins-zu-Eins vs. Eins-zu-Viele: Bei ihrem Training erhält ein Bildausschnitt ein Wort-Label. Aber im echten Leben kann ein Ausschnitt einen „roten Ball" enthalten (zwei Konzepte). Die aktuelle Methode hat mit dieser Komplexität ein wenig Schwierigkeiten.

Zusammenfassung

DV-SFT ist eine clevere, kostengünstige Möglichkeit, KI-Modellen beizubringen, tatsächlich zu „sehen", indem ihnen direktes Feedback darüber gegeben wird, worauf sie schauen, anstatt nur ihre endgültigen Antworten zu bewerten. Es nutzt die leicht zu matchende Beziehung zwischen Text und Bildern, um die „Augen" der KI zu trainieren, was zu einem intelligenteren, genaueren Modell führt, ohne das gesamte System neu aufbauen zu müssen.

Technische Zusammenfassung: DV-SFT (Direkte visuelle Überwachung für feinabgestimmtes visuelles Verständnis)

Problemstellung

Multimodale Large Language Models (MLLMs) werden typischerweise end-to-end mit einem Next-Token-Vorhersageziel trainiert, bei dem Überwachungssignale ausschließlich auf Text-Token angewendet werden. Folglich werden visuelle Token – die primären Träger visueller Information – nur implizit als Teil des Kontexts optimiert. Dieser Mangel an direkter semantischer Führung führt zu einem grobgranularen visuellen Verständnis, bei dem feinabgestimmte Details oft übersehen oder halluziniert werden.

Bestehende Versuche, die visuelle Präzision durch Überwachung visueller Token zu verbessern, stoßen auf erhebliche Grenzen:

Indirektheit: Methoden, die auf Belohnungssignalen oder Repräsentationsausrichtung basieren, liefern eine grobe oder verrauschte Überwachung.
Fehlende Zielkongruenz: Ansätze wie die Vorhersage des nächsten visuellen Tokens oder die Rekonstruktion auf Pixelebene stehen oft im Widerspruch zum Ziel des visuellen Verständnisses.
Architektonische Komplexität: Die meisten Methoden erfordern zusätzliche Komponenten (z. B. Decoder, Tokenizer) oder zusätzliche Durchläufe nach vorne, was die praktische Anwendbarkeit behindert und die Aufrechterhaltung eines einheitlichen Trainingsparadigmas erschwert.

Es besteht weiterhin ein offener Bedarf nach einer direkten, intuitiven und architektonisch einfachen Form der visuellen Überwachung, die sich nahtlos in das Standard-MLLM-Training integrieren lässt.

Methodik: Direct Vision Supervised Fine-Tuning (DV-SFT)

Die Autoren schlagen DV-SFT vor, eine Methode, die explizite, token-level-Überwachung für visuelle Token unter Verwendung desselben Next-Token-Vorhersageziels konstruiert, das auch für Text verwendet wird. Die Kernhypothese besagt, dass Wörter, die den Inhalt eines Bildpatches beschreiben, als direkte Labels für die entsprechenden visuellen Token dienen können.

Schlüsselkomponenten

Erstellung von Visuellen Labels:
Um die Herausforderung der Beschriftung visueller Token zu adressieren, nutzen die Autoren die direkte Vision-Text-Korrespondenz in OCR-bezogenen Szenarien mittels zweier Pipelines:
- Image-to-Label: Verwendet Text-Erkennungs- und Text-Recognition-Modelle, um Wörter und deren räumliche Positionen zu extrahieren. Wörter werden dem visuellen Token zugeordnet, das ihrer unteren rechten Ecke entspricht.
- Label-to-Image: Verwendet Zeichenwerkzeuge, um Dokumente aus unimodalen Datensätzen auf ein leeres Bildpatch-Gitter zu rendern, wodurch eine präzise Ausrichtung zwischen Wörtern und visuellen Token sichergestellt wird.
- Filterung: Wörter mit übermäßigen Tokenisierungslängen oder -höhen werden verworfen, um die Annotationspräzision zu gewährleisten.
Trainingsziel:
DV-SFT behandelt das MLLM als Blackbox und erfordert keine architektonischen Modifikationen. Die Gesamtverlustfunktion kombiniert die Standard-Textüberwachung ( $L_t$ ) mit der direkten visuellen Überwachung ( $L_v$ ):
$L = L_t + \lambda L_v$
Dabei ist $L_v$ der Kreuzentropieverlust, der auf visuellen Token unter Verwendung ihrer entsprechenden Wort-Labels berechnet wird. Um ein paralleles Training zu gewährleisten, wird für die Verlustberechnung nur das erste Token des visuellen Labels verwendet.
Visuelles Glätten (Vision Smoothing):
Da visuelle Encoder bidirektionale Eigenschaften besitzen (im Gegensatz zur kausalen Natur des LLM), kann ein einzelner visueller Token semantische Informationen aus nachfolgenden Token enthalten. Um dies zu adressieren, führen die Autoren Vision Smoothing ein, inspiriert durch Label Smoothing. Dies ermöglicht es einem visuellen Token, sein eigenes Label zu lernen, während es gleichzeitig andere in dem Bild vorhandenen visuellen Labels lernt, wodurch eine Informationsbeschränkung verhindert wird.

Hauptbeiträge

Neues Trainingsparadigma: Die Einführung von DV-SFT, die eine direkte Token-level-Überwachung auf visuellen Token ermöglicht, ohne die Modellarchitektur oder Durchläufe nach vorne zu modifizieren, wodurch ein vollständig einheitliches, end-to-end-Trainingsparadigma erhalten bleibt.
Pipeline zur Label-Erstellung: Das Design einer Offline-Pipeline, die OCR und Zeichenwerkzeuge nutzt, um feinabgestimmte, Token-level-Überwachung für visuelle Token zu generieren.
Empirische Validierung: Umfangreiche Experimente zeigen, dass DV-SFT die visuellen Fähigkeiten signifikant verbessert und Standard-Supervised Fine-Tuning (SFT) sowie repräsentationsbasierte Baselines (z. B. BASIC) über mehrere Benchmarks hinweg übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten DV-SFT an drei Basismodellen (Qwen3-VL-2B, Qwen3-VL-8B und Qwen3-1.7B) über acht Benchmarks hinweg.

In-Domain-Leistung: DV-SFT erzielte konsistente Vorteile gegenüber Standard-SFT bei Aufgaben zum Verständnis von Dokumenten und Diagrammen (DocVQA, InfographicVQA, SQuAD). Bemerkenswerterweise übertraf es die BASIC-Methode, die bei kleineren Modellen aufgrund suboptimaler Repräsentationsqualität unter Modelldegradation litt.
Out-of-Domain-Generalisierung: DV-SFT zeigte eine starke Generalisierung bei Aufgaben wie ChartQA, OCRBench, OCRVQA und TextVQA. Die Leistungsgewinne waren bei Out-of-Domain-Aufgaben (durchschnittliche Verbesserung von 1,6 %) ausgeprägter als bei In-Domain-Aufgaben (0,74 %), was auf eine echte Verbesserung des visuellen Verständnisses und nicht auf eine aufgaben spezifische Überanpassung hindeutet.
Multimodale Ausrichtung: Die Analyse des Trainingsprozesses zeigte, dass die visuelle Überwachung das Erlernen visueller Merkmale beschleunigt, insbesondere in den frühen Trainingsphasen und bei unimodalen Modellen, die von Grund auf lernen.
Zeichenerkennung: DV-SFT verbesserte die Genauigkeit der Zeichenerkennung sowohl bei kontextuellen als auch bei nicht-kontextuellen (semantisch bedeutungslosen) Texterkennungsaufgaben und bestätigte damit die Verbesserung des feinabgestimmten visuellen Verständnisses.
Allgemeine visuelle Fähigkeit: Die Evaluation am MME-Benchmark (allgemeine visuelle Wahrnehmung und Kognition) zeigte, dass textbasierte visuelle Überwachung die allgemeinen visuellen Fähigkeiten nicht beeinträchtigt; vielmehr verbessert sie die Gesamtleistung leicht, was darauf hindeutet, dass die erlernten Mechanismen auch auf nicht-textbasierte Szenarien generalisieren.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass DV-SFT eine praktische und effektive Lösung für das Problem des grobgranularen visuellen Verständnisses in MLLMs bietet. Indem die visuelle Überwachung als Standard-Next-Token-Vorhersageaufgabe behandelt wird, erreicht die Methode:

Eliminierung architektonischer Overheads: Sie erfordert keine zusätzlichen Decoder, Tokenizer oder Durchläufe nach vorne, was sie für jede bestehende MLLM-Pipeline sofort anwendbar macht.
Verbesserung des feinabgestimmten Verständnisses: Die direkte Überwachung zwingt das Modell, visuelle Token mit spezifischem semantischem Inhalt auszurichten, was Halluzinationen reduziert und die Präzision verbessert.
Verbesserung der Ausrichtungseffizienz: Die Methode erreicht eine höhere multimodale Ausrichtungseffizienz im Vergleich zu indirekten Überwachungsmethoden.

Die Autoren schließen, dass ihre aktuelle Implementierung zwar auf OCR-Szenarien zur Label-Erstellung angewiesen ist, das Prinzip der direkten visuellen Überwachung jedoch ein notwendiger Schritt hin zu robusterem MLLM-Training ist, wobei zukünftige Arbeiten geplant sind, diese Methoden auf breitere visuelle Domänen jenseits von Text zu erweitern.