Technische Samenvatting: DV-SFT (Direct Vision Supervision voor Gedetailleerd Visueel Begrip)

Probleemstelling

Multimodale Grootte Taalmodellen (MLLMs) worden doorgaans end-to-end getraind met een next-token predictiedoel, waarbij supervisiesignalen uitsluitend op teksttokens worden toegepast. Bijgevolg worden visuele tokens – de primaire dragers van visuele informatie – slechts impliciet geoptimaliseerd als onderdeel van de context. Dit gebrek aan directe semantische begeleiding leidt tot grofkorrelig visueel begrip, waarbij gedetailleerde aspecten vaak worden over het hoofd gezien of gehallucineerd.

Bestaande pogingen om visuele precisie te verbeteren door supervisie op visuele tokens toe te passen, lopen tegen aanzienlijke beperkingen aan:

1. Indirectheid: Methoden die vertrouwen op beloningssignalen of representatie-uitlijning bieden grove of ruisachtige supervisie.
2. Doelwitmisalignering: Benaderingen zoals next-visual-token predictie of reconstructie op pixelniveau staan vaak in strijd met het doel van visueel begrip.
3. Architecturale Complexiteit: De meeste methoden vereisen extra componenten (bijvoorbeeld decoders, tokenizers) of extra forward passes, wat de praktische toepasbaarheid belemmert en een verenigd trainingsparadigma in de weg staat.

Er blijft een open behoefte bestaan aan een directe, intuïtieve en architecturaal eenvoudige vorm van visiesupervisie die naadloos integreert in de standaard MLLM-training.

Methodologie: Direct Vision Supervised Fine-Tuning (DV-SFT)

De auteurs stellen DV-SFT voor, een methode die expliciete supervisie op token-niveau voor visuele tokens construeert met behulp van hetzelfde next-token predictiedoel dat ook voor tekst wordt gebruikt. De kernhypothese is dat woorden die de inhoud van een afbeeldingspatch beschrijven, kunnen dienen als directe labels voor de corresponderende visuele tokens.

Belangrijkste Componenten

1. Constructie van Visuele Labels:
   Om de uitdaging van het labelen van visuele tokens aan te pakken, maken de auteurs gebruik van de directe visie-tekstcorrespondentie in OCR-gerelateerde scenario's via twee pijplijnen:

   • Image-to-Label: Gebruikt tekstdetectie- en herkenningsmodellen om woorden en hun ruimtelijke locaties te extraheren. Woorden worden uitgelijnd met de visuele token die overeenkomt met hun rechterbenedenhoek.
   • Label-to-Image: Gebruikt tekenhulpmiddelen om documenten uit unimodale datasets weer te geven op een leeg raster van afbeeldingspatches, waardoor een precieze uitlijning tussen woorden en visuele tokens wordt gegarandeerd.
   • Filtering: Woorden met overmatige tokenisatielengtes of -hoogtes worden verworpen om de precisie van de annotatie te waarborgen.

2. Trainingsdoel:
   DV-SFT behandelt de MLLM als een black box en vereist geen architecturale wijzigingen. De totale verliesfunctie combineert standaard tekstsupervisie ($L_t$) met directe visiesupervisie ($L_v$):
   $$L = L_t + \lambda L_v$$
   Waarbij $L_v$ de cross-entropy-verlies is die wordt berekend op visuele tokens met behulp van hun corresponderende woordlabels. Om parallelle training te waarborgen, wordt voor de verliesberekening alleen het eerste token van het visielabel gebruikt.

3. Visiegladstrijking (Vision Smoothing):
   Aangezien visuele encoders bidirectionele kenmerken bezitten (in tegenstelling tot de causale aard van de LLM), kan een enkele visuele token semantische informatie bevatten van daaropvolgende tokens. Om dit aan te pakken, introduceren de auteurs Vision Smoothing, geïnspireerd op label smoothing. Hierdoor kan een visuele token zijn eigen label leren terwijl het ook andere visielabels in de afbeelding leert, waardoor informatiebeperking wordt voorkomen.

Belangrijkste Bijdragen

1. Nieuw Trainingsparadigma: De voorstelling van DV-SFT, die directe supervisie op token-niveau op visuele tokens mogelijk maakt zonder de modelarchitectuur of forward-paden te wijzigen, waardoor een volledig verenigd, end-to-end trainingsparadigma behouden blijft.
2. Pijplijn voor Labelconstructie: Het ontwerp van een offline pijplijn die gebruikmaakt van OCR en tekenhulpmiddelen om gedetailleerde supervisie op token-niveau voor visuele tokens te genereren.
3. Empirische Validatie: Uitgebreide experimenten die aantonen dat DV-SFT de visuele capaciteiten aanzienlijk verbetert en standaard Supervised Fine-Tuning (SFT) en op representatie gebaseerde baselines (bijvoorbeeld BASIC) overtreft op meerdere benchmarks.

Experimentele Resultaten

De auteurs hebben DV-SFT geëvalueerd op drie basismodellen (Qwen3-VL-2B, Qwen3-VL-8B en Qwen3-1.7B) over acht benchmarks.

• In-Domain Prestaties: DV-SFT behaalde consistente voordelen ten opzichte van standaard SFT op taken voor document- en grafiekbegrip (DocVQA, InfographicVQA, SQuAD). Opmerkelijk is dat het de BASIC-methode overtrof, die op kleinere modellen last had van modeldegradatie door suboptimale representatiekwaliteit.
• Out-of-Domain Generalisatie: DV-SFT toonde sterke generalisatie op taken zoals ChartQA, OCRBench, OCRVQA en TextVQA. De prestatiewinsten waren duidelijker op out-of-domain taken (gemiddelde verbetering van 1,6%) in vergelijking met in-domain taken (0,74%), wat wijst op een echte verbetering van visueel begrip in plaats van taakspecifieke overfitting.
• Multimodale Uitlijning: Analyse van het trainingsproces toonde aan dat visiesupervisie het leren van visuele kenmerken versnelt, met name in de vroege stadia van training en voor unimodale modellen die vanaf nul leren.
• Karakterherkenning: DV-SFT verbeterde de nauwkeurigheid van karakterherkenning op zowel contextuele als niet-contextuele (semantisch betekenisloze) tekstherkenningsopdrachten, wat de verbetering van gedetailleerd visueel begrip bevestigt.
• Algemene Visuele Capaciteit: Evaluatie op de MME-benchmark (algemene visuele perceptie en cognitie) gaf aan dat tekstgebaseerde visiesupervisie de algemene visuele capaciteiten niet verslechtert; integendeel, het verbetert de algehele prestaties licht, wat suggereert dat de geleerde mechanismen generaliseren naar niet-tekstscenario's.

Betekenis en Beweringen

Het artikel stelt dat DV-SFT een praktische en effectieve oplossing biedt voor het probleem van grofkorrelig visueel begrip in MLLMs. Door visiesupervisie te behandelen als een standaard next-token predictietaken, doet de methode het volgende:

• Elimineert Architecturale Overhead: Het vereist geen extra decoders, tokenizers of forward passes, waardoor het direct toepasbaar is op elke bestaande MLLM-pijplijn.
• Versterkt Gedetailleerd Begrip: Directe supervisie dwingt het model om visuele tokens uit te lijnen met specifieke semantische inhoud, wat hallucinaties vermindert en de precisie verbetert.
• Verbeterde Uitlijningsefficiëntie: De methode bereikt een hogere multimodale uitlijningsefficiëntie in vergelijking met indirecte supervisiemethoden.

De auteurs concluderen dat, hoewel hun huidige implementatie vertrouwen op OCR-scenario's voor labelconstructie, het principe van directe visiesupervisie een noodzakelijke stap is naar robuustere MLLM-training, met gepland toekomstig werk om deze methoden uit te breiden naar bredere visuele domeinen buiten tekst.