Technische Samenvatting: Verhongeren om te Waarnemen

Probleem: Het Fenomeen van Luie Waarneming

Vision-Language Models (VLM's) die worden ingezet als gesitueerde agenten in omgevingen met hoge resolutie vereisen actieve waarneming—het vermogen om dynamisch te beslissen waar men moet kijken via operaties zoals inzoomen, uitsnijden en verschuiven. Echter, huidige trainingsparadigma's (Supervised Fine-Tuning en Reinforcement Learning) produceren vaak modellen die luie waarneming vertonen. Deze modellen nabootsen de syntactische vorm van waarnemingsacties (bijvoorbeeld het genereren van correcte inzoomcommando's) zonder functioneel afhankelijk te zijn van hun output.

De oorzaak is een fundamentele leerasymmetrie: wanneer een ruwe globale weergave, gecombineerd met sterke taalkundige prioren, voldoende is voor gematigde nauwkeurigheid, heeft het model geen op gradiënten gebaseerde prikkel om te investeren in de computationeel moeilijkere strategie van meervoudige visuele zoektochten. Als een model kan slagen zonder actief te kijken, zal het nooit leren om te kijken. Diagnostisch bewijs toont aan dat het vervangen van intermediaire visuele observaties door lege invoer of het corrumperen van tool-aanroepen de nauwkeurigheid van het model vaak onveranderd laat, wat wijst op afhankelijkheid van taalkundige prioren in plaats van visueel bewijs.

Methodologie: Verhongeren om te Waarnemen

Om dit aan te pakken, stellen de auteurs Verhongeren om te Waarnemen voor, een trainingsparadigma dat beperkte visuele bandbreedte afdwingt. Het kernmechanisme beperkt de visuele observatie bij elke redeneerstap tot een strak tokenbudget ($B$), zodat geen enkele weergave (inclusief de initiële globale glimp) voldoende informatie bevat om de taak betrouwbaar te voltooien. Dit dwingt actieve waarneming af als de enige haalbare strategie voor succes.

Het framework werkt in twee fasen binnen standaard post-training pipelines (SFT gevolgd door RL):

1. Tokenbewuste Visuele Instructietuning (SFT):

   • Doel: Het beleid opstarten met een gedragsprior voor actieve waarneming onder tokenbeperkingen.
   • Dataconstructie: Trajecten worden gegenereerd via Teacher Model Distillatie (met gebruik van een sterke leraar in een beperkte omgeving met afwijzingssteekproeven) en Trajectherschrijving (het converteren van bestaande hoogwaardige datasets voor tool-gebruik naar tokenbewuste formaten door weergaven te undersamplen en ruimtelijke coördinaten te heraligneren).
   • Beperking: De visuele observatie $v_t$ wordt gegenereerd door een deterministische undersampling-operator $D(\cdot, B)$ die wordt toegepast op het uitgesneden gebied van de originele afbeelding, zodat het tokenaantal nooit $B$ overschrijdt.

2. Reinforcement Learning via Waarnemingsverhongering:

   • Doel: Een echte functionele afhankelijkheid van visuele observaties ontwikkelen door autonome exploratie.
   • Resolutie-afhankelijk Budget: Het tokenbudget $B$ schaalt dynamisch met de native resolutie van de invoerafbeelding ($B(X) = \text{clip}(\lfloor |X|/\gamma \rfloor, B_{\min}, B_{\max})$) om consistente druk van waarnemingsverhongering te behouden over diverse invoer.
   • Beloningssignaal: Het framework maakt gebruik van een minimalistische, schaarse beloning ($R=1$ voor correct antwoord, $0$ anders). Omdat het visuele budget structureel het oplossen van fijne details vanuit de globale weergave alleen onmogelijk maakt, moet het model intermediaire focusacties uitvoeren om de beloning te bereiken. Geen aanvullende verliezen of beloningvorming zijn vereist.
   • Optimalisatie: Het beleid wordt geoptimaliseerd met GRPO (Group Relative Policy Optimization) op trajecten die zijn verzameld binnen de beperkte omgeving.

Belangrijkste Bijdragen

• Identificatie van Luie Waarneming: Het artikel identificeert en traceert het falen van huidige VLM's om echt te vertrouwen op actieve visuele operaties naar een leerasymmetrie waarbij passieve shortcuts domineren.
• Paradigma Verhongeren om te Waarnemen: Een nieuw trainingsmechanisme dat als plug-in component in standaard SFT-gevolgd-door-RL pipelines kan worden geïntegreerd. Het vereist geen architecturale wijzigingen, aanvullende verliezen of complexe beloningvorming.
• Overdraagbaarheid van Vaardigheden: De auteurs leveren het eerste bewijs dat vaardigheden voor actieve waarneming die onder beperkte training zijn geleerd, robuust worden overgedragen naar onbeperkte testomstandigheden.
• Efficiëntiewinsten: De aanpak levert aanzienlijke efficiëntievoordelen op, met een reductie van de trainingsduur met ongeveer 50% en een vermindering van de inferentielatentie met 2,7–5,1× vanwege het verminderde aantal visuele tokens dat per stap wordt verwerkt.

Resultaten

De auteurs evalueerden hun model (gebaseerd op Qwen2.5-VL-7B) tegen sterke baselines (zoals DeepEyes, Chain-of-Focus, PixelReasoner) over diverse benchmarks, waaronder HR-Bench, V* Bench en redeneertaken met een hoge intensiteit van waarneming (MME-RealWorld-Lite, RealWorldQA).

• Onbeperkte Prestaties: Ondanks dat het model uitsluitend werd getraind onder beperkingen van visuele bandbreedte, behaalde het een totale score van 64,59 op onbeperkte benchmarks, waarmee het de sterkste 7B-schaal tool-verrijkte baseline (DeepEyes met 61,77) met een duidelijke marge overtrof.
• Robuustheid onder Beperkingen: Onder strikte tokenbudgetten ($B=256$) degradeerde het voorgestelde model met slechts 0,18 punten ten opzichte van zijn onbeperkte prestaties. In tegenstelling hiermee leden baselines die zonder visuele beperkingen waren getraind prestatieverliezen van 6,96 tot 7,29 punten, wat aantoont dat hun "actieve waarneming" oppervlakkig was en instortte toen visuele rijkdom werd verwijderd.
• Ablatiestudies:
  • SFT versus RL: Tokenbewuste SFT alleen verbeterde de prestaties ten opzichte van standaard SFT, maar de combinatie met beperkte RL leverde de beste resultaten op.
  • Noodzaak van SFT: Het starten van RL vanuit een basismodel zonder SFT veroorzaakte dat het beleid instortte in "lui" gedrag (afhankelijkheid van taalkundige prioren), wat bevestigt dat SFT een noodzakelijke gedragsprior biedt.
  • Noodzaak van Beperkingen: RL getraind zonder visuele beperkingen (zelfs met SFT-initialisatie) resulteerde in lagere ratios voor actieve waarneming en lagere uiteindelijke nauwkeurigheid vergeleken met de volledig beperkte pipeline.

Betekenis

Het artikel betoogt dat superieure visuele redenering niet voortkomt uit invoerdichtheid, maar uit de optimalisatiedruk om informatie efficiënt te extraheren. Door passieve observatie tijdens het trainen structureel onbeschikbaar te maken, wordt het model gedwongen de functionele afhankelijkheid tussen lokale visuele aanwijzingen en taaksucces te internaliseren. Dit paradigma verschuift actieve waarneming van een optionele verbetering naar een fundamentele capaciteit, waardoor de inzet van robuuste, efficiënte visuele agenten in rekenkracht-beperkte omgevingen (bijvoorbeeld toepassingen op het apparaat) mogelijk wordt zonder prestaties in omgevingen met hoge resolutie te offeren. Het werk suggereert dat visuele bandbreedte moet worden behandeld als een bewuste ontwerptvariabele voor het bouwen van perceptueel onderbouwde vision-language agenten.