Technische Samenvatting: Over Localiteit en Lengte-generalisatie in Visueel Redeneren

Probleemstelling

Huidige state-of-the-art visiemodellen, met name die gebaseerd op Transformers, verwerken afbeeldingen doorgaans globaal in een enkele forward pass. Hoewel deze modellen menselijke prestaties bereiken bij taken zoals beeldbeschrijving en visuele vraagbeantwoording, vertrouwen ze op globale berekeningen die fundamenteel verschillen van het menselijk zicht, dat informatie verwerkt via een reeks lokale, foveale blikken verbonden door saccades.

Het centrale probleem dat in dit werk wordt geadresseerd is lengte-generalisatie in visueel redeneren: het vermogen van een model om taken op te lossen die het aggregeren van lokale informatie over een afbeelding vereisen wanneer het aantal entiteiten of de complexiteit van de taak de trainingsdistributie overstijgt. Door parallellen te trekken met bevindingen in taalmodellen (bijv. Dubois et al., 2020; Anil et al., 2022), onderzoeken de auteurs of globale visiemodellen falen in het generaliseren naar langere, complexere visuele sequenties omdat ze "globale shortcuts" leren in plaats van ware compositionele redeneerstrategieën. Het artikel stelt dat, in tegenstelling tot tekstuele taken waarbij informatie al is gedecomposeerd in sequentiële tokens, visuele taken vereisen dat het model actief verspreide ruimtelijke informatie verzamelt en aggregeert, een proces dat potentieel wordt belemmerd door globale perceptie.

Methodologie

Testomgeving voor Lengte-generalisatie

De auteurs introduceren een reeks visuele redeneertaken die zijn ontworpen om extrapolatievermogens te evalueren:

1. Visuele Pariteit: Een visuele analogie van het binaire pariteitsprobleem. Het model moet $N$ binaire schakelaars (0 of 1) lokaliseren die willekeurig op een 2D-canvas zijn verdeeld en bepalen of de som van de ingedrukte toestanden oneven of even is. Dit test permutatie-invariante aggregatie.
2. State Machine: Een taak die ordegevoelige statusupdates vereist. Schakelaars triggeren regels (incrementeer/decrementeer) op een numerieke status, waarbij pijlen de volgorde van de traversatie aangeven. Dit test sequentieel redeneren en statusbewaking.
3. Recall (Herinnering): Een controletaak bestaande uit visuele retrieval (het vinden van een specifiek object tussen afleiders) zonder statusbewaking, ontworpen om te testen of generalisatiefouten specifiek zijn voor statusbewaking of van toepassing zijn op alle visuele taken.
4. Vinden van Wortels: Een real-world wiskundige redeneertaak die de lokalisatie van specifieke subplots en functies vereist om wortels te identificeren, wat prestaties op complexe, gestructureerde data test.

Het FOVEAGENT-LSTM Model

Om de hypothese te testen dat lokale perceptie en recurrentie noodzakelijk zijn voor generalisatie, stellen de auteurs FOVEAGENT-LSTM voor, een recurrent visiemodel geïnspireerd door biologische foveatie.

• Inputmechanisme: In elke tijdstap ontvangt het model twee inputs: een hoog-resolutie foveale blik ($G_l$) voor fijne details en een laag-resolutie perifere blik ($G_p$) voor navigatie.
• Architectuur: De blikken worden gecodeerd door ResNet-encoders en geconcateneerd, waarna ze worden doorgegeven aan een LSTM-backbone.
• Actieruimte: Het model geeft een verplaatsingsvector uit (hoek en magnitude) om de volgende kijklocatie te bepalen en een stop-bit om taakvoltooiing te signaleren.
• Probes (Sondes): Intermediaire supervisie wordt geleverd via "probes" (bijv. de status van de huidige schakelaar) om chain-of-thought redeneren na te bootsen en de data-efficiëntie te verbeteren.

Experimentele Opzet

De auteurs vergelijken FOVEAGENT-LSTM met sterke baselines, inclusief QWEN2.5-VL-3B-INSTRUCT (fijngetuned) en diverse closed-source modellen (GPT-4o, Claude Sonnet). Experimenten worden uitgevoerd op In-Distribution (InD) data (bijv. 2–10 schakelaars) en Out-of-Distribution (OOD) data (bijv. 11–20 schakelaars, variërende resoluties). De studie onderzoekt systematisch de ablaties van:

• Perceptietype: Globaal beeld versus Lokaal+Globaal versus Strikt Lokaal (Foveated).
• Architectuur: Recurrent (LSTM) versus Non-recurrent (Transformers, Lineaire RNN's zoals Mamba/XLSTM).
• Blikparameters: De grootte en resolutie van de perifere en foveale views.

Belangrijkste Bijdragen

1. Lengte-generalisatie als Visuele Benchmark: Het artikel vestigt visuele redeneertaken die het aggregeren van lokale informatie vereisen als een fundamentele testomgeving voor lengte-generalisatie, waarbij de nadruk wordt gelegd op de kloof in huidige evaluaties die zich richten op in-distributie prestaties.
2. Identificatie van Globale Shortcuts: De auteurs demonstreren dat huidige visie- en visie-taalmodellen, ondanks sterke in-distributie prestaties, falen in het extrapoleren naar langere visuele sequenties. Dit falen wordt toegeschreven aan het feit dat de modellen globale shortcuts leren die breken bij toenemende visuele complexiteit.
3. De Noodzaak van Localiteit en Recurrentie: Het werk herleidt het falen tot twee specifieke factoren:
   • Globale Perceptie: Modellen met toegang tot de volledige afbeelding (zelfs recurrente) falen in het generaliseren OOD, wat suggereert dat het zien van de hele afbeelding shortcut-leren mogelijk maakt.
   • Non-Recurrentie: Modellen met lokale perceptie maar non-recurrent backbones (Transformers, Lineaire RNN's) falen ook in het generaliseren.
   • Conclusie: Zowel strikt lokale perceptie als recurrent proces zijn noodzakelijk en gezamenlijk voldoende voor robuuste OOD-generalisatie in status-tracking taken.
4. Onderscheid tussen Recall en Statusbewaking: Het artikel toont aan dat terwijl globale modellen falen bij statusbewaking, ze wel slagen bij "recall" taken (visuele retrieval zonder statusbewaking), wat bevestigt dat het generalisatiefalen specifiek is voor sequentiële status-aggregatie.
5. Real-World Validatie: De bevindingen worden gevalideerd op een real-world wiskundige redeneertaak (Vinden van Wortels), waarbij wordt aangetoond dat foveale benaderingen aanzienlijk beter presteren dan globale modellen in OOD-settings, zelfs wanneer de rekenbudgetten gelijk zijn.

Resultaten

• Generalisatieprestaties: FOVEAGENT-LSTM behoudt een hoge nauwkeurigheid op OOD-taken (bijv. 11–20 schakelaars) waar globale modellen (QWEN2.5-VL) een scherpe daling in prestaties laten zien.
• Ablatie van Perceptie: Modellen getraind met toegang tot de volledige hoog-resolutie afbeelding (Global of Local+Global setups) falen in het generaliseren OOD, terwijl het strikt foveale model slaagt. Dit ondersteunt de claim dat globale perceptie shortcut-leren faciliteert.
• Ablatie van Architectuur: Wanneer gevoed met dezelfde sequentie van lokale blikken, falen non-recurrent architecturen (Transformers, Mamba, XLSTM) in het generaliseren, terwijl de LSTM slaagt. Dit bevestigt dat recurrentie essentieel is voor de stap-voor-stap berekening die nodig is voor statusbewaking.
• Glimpse Size Trade-off: Er is een optimaal evenwicht voor de grootte en resolutie van de blik. Grotere blikken maken snellere verwerking mogelijk maar stimuleren shortcut-leren; kleinere blikken dwingen sequentiële verwerking af maar kunnen navigatie hinderen. Een hoog-resolutie fovea gecombineerd met een laag-resolutie periferie lost dit conflict op.
• Actieve Zoektocht: Het model generaliseert succesvol, zelfs wanneer expliciete traversatie-aanwijzingen (pijlen) worden verwijderd, mits het mechanismen heeft voor actieve zoektocht en ruimtelijk geheugen (het markeren van bezochte schakelaars).
• Reken-efficiëntie: In de "Finding Roots" taak bereikt FOOREAGENT-QWEN (een foveale versie van Qwen) bijna het dubbele van de nauwkeurigheid van de globale baseline voor hetzelfde visuele rekenbudget, wat aantoont dat het toewijzen van rekenkracht aan hoog-resolutie lokale regio's effectiever is dan het uniform verhogen van de globale resolutie.

Betekenis en Claims

Het artikel betoogt dat lokale aandacht een essentiële, doch over het hoofd geziene vereiste is voor robuuste compositionele generalisatie in visueel redeneren. De auteurs stellen dat de standaardpraktijk om visuele informatie in een globale context window te coderen (via ViTs of CNN's) voorkomt dat modellen de noodzakelijke inductieve biases ontwikkelen voor extrapolatie.

De betekenis van dit werk ligt in:

1. Biologische Plausibiliteit: Het suggereert dat de sequentiële, foveale aard van het menselijk zicht niet louter een evolutionair artefact is, maar een computationele noodzaak voor het afhandelen van variabele lengte, complexe redeneertaken.
2. Architecturale Richtlijnen: Het stelt voor dat toekomstige visuele fundamentmodellen die streven naar menselijk niveau van redeneren, mogelijk moeten terugkeren naar biologisch geïnspireerde, sequentiële aandacht-policies die recurrentie combineren met strikt lokale perceptie.
3. Beperkingen van Huidige Benchmarks: Het benadrukt dat standaard benchmarks, die vaak vertrouwen op in-distributie prestaties, falen in het vastleggen van het onvermogen van huidige modellen om te generaliseren naar ongeziene niveaus van complexiteit of lengte.

De auteurs blijven bescheiden in hun claims en merken op dat hoewel zij de noodzaak van localiteit en recurrentie voor statusbewaking hebben aangetoond, deze mechanismen niet vereist zijn voor recall taken. Bovendien erkennen zij dat het leren van algemene policies voor lokale perceptie in real-world scenario's (buiten synthetische taken) een open onderzoeksveld blijft dat reinforcement learning of diversere trainingsdata vereist.