💻 computer science

Steerable Visual Representations

Deze paper introduceert 'Steerable Visual Representations', een nieuwe klasse van visuele representaties die globale en lokale kenmerken via natuurlijke taal kunnen worden gestuurd door tekst direct in de visuele encoder te injecteren, waardoor modellen zowel op specifieke objecten kunnen focussen als hun prestaties behouden voor algemene visuele taken.

Oorspronkelijke auteurs: Jona Ruthardt, Manu Gaur, Deva Ramanan, Makarand Tapaswi, Yuki M. Asano

Gepubliceerd 2026-04-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jona Ruthardt, Manu Gaur, Deva Ramanan, Makarand Tapaswi, Yuki M. Asano

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

SteerViT: De "Stuurknuppel" voor Computerogen

Stel je voor dat je een camera hebt die heel slim is, maar ook een beetje koppig. Als je een foto maakt van een kamer met een kat op de bank, een boekplank in de hoek en een afstandsbediening op de tafel, kijkt deze camera alleen naar de kat. De kat is groot, duidelijk en trekt de aandacht. De camera denkt: "Dit is een foto van een kat."

Maar wat als jij eigenlijk geïnteresseerd bent in die oude afstandsbediening? Of in de boeken op de plank? De slimme camera luistert niet naar jou; hij kijkt alleen naar wat het meest opvalt.

Dit is precies het probleem dat de onderzoekers van dit paper (SteerViT) hebben opgelost. Ze hebben een nieuwe manier bedacht om die "koppige" camera te sturen met een simpel zetje: woorden.

Het Probleem: De "Kijkende" Camera

Bestaande slimme camera's (zoals DINOv2) zijn getraind om de belangrijkste dingen in een foto te zien. Ze zijn geweldig in het herkennen van de hoofdrolspeler. Maar ze kunnen niet goed omgaan met instructies als: "Kijk eens naar die kleine rode bal in de hoek." Ze zien de bal niet, omdat hun "blik" al vastzit op de kat.

Aan de andere kant hebben we enorme taalmodellen (zoals die in chatbots) die wel kunnen lezen wat je zegt, maar die zijn vaak te zwaar en verliezen hun scherpe visuele blik. Ze zijn meer geobsedeerd door de tekst dan door het plaatje.

De Oplossing: SteerViT (De Stuurknuppel)

De onderzoekers hebben een systeem bedacht genaamd SteerViT. Je kunt dit zien als het toevoegen van een stuurknuppel aan die koppige camera.

In plaats van dat de camera alleen kijkt, kunnen we nu tegen hem zeggen: "Kijk naar de afstandsbediening!" of "Focus op de boeken!"

Hoe werkt het? (Met een analogie)
Stel je voor dat de camera een chef-kok is die een gerecht maakt (de foto).

De oude manier: De chef kijkt alleen naar het grootste stuk vlees op het bord en maakt daar een verslag van. Hij negeert de kruiden en de groenten.
De nieuwe manier (SteerViT): De chef heeft nu een assistent die fluistert in zijn oor: "Vergeet het vlees niet, maar leg de nadruk op die verse basilicum!"
De chef (de camera) verandert zijn recept niet helemaal, maar hij stelt zijn aandacht direct in op wat jij zegt. Hij kijkt niet meer alleen naar het vlees, maar ziet nu ook de basilicum heel scherp.

Waarom is dit zo speciaal?

Het is lichtgewicht: De meeste nieuwe systemen die dit proberen, zijn enorme, zware computers die heel langzaam zijn. SteerViT is slim, maar heel efficiënt. Het voegt slechts een klein beetje extra "brein" toe (ongeveer 21 miljoen parameters), terwijl andere systemen miljarden nodig hebben.
Het is flexibel: Je kunt de camera sturen naar elk object, zelfs als dat object heel klein is of als je er nog nooit eerder over hebt nagedacht.
Het verliest niets: Vaak moet je kiezen tussen "goed kijken" of "goed luisteren". SteerViT doet beide. De camera blijft supergoed in het zien van details, maar hij luistert nu ook naar jou.

Wat kan je ermee doen?

De onderzoekers tonen aan dat je met dit systeem dingen kunt doen die voorheen onmogelijk waren zonder opnieuw te trainen:

Zoeken op specifieke dingen: Je kunt een foto van een keuken tonen en vragen: "Toon me alle foto's van keukens met een blender." De camera negeert de rest van de keuken en zoekt alleen naar de blender.
Fouten vinden: In een fabriek kun je de camera vragen: "Zoek naar krassen op dit metalen onderdeel." Zelfs als de camera dat nog nooit heeft gezien, kan hij het vinden omdat hij weet waar hij moet kijken.
Persoonlijke herkenning: Je kunt de camera leren: "Kijk naar mijn specifieke witte mok, niet naar elke mok."

De Kernboodschap

Vroeger dachten we dat we een computer moesten leren om alles te zien, en dat we daarna moesten hopen dat hij ook keek naar wat wij wilden.

Met SteerViT draaien we dat om. We geven de computer een basisblik (die al heel goed is) en geven hem daarna een taalstuurknuppel. Met een paar woorden kunnen we hem precies laten kijken waar wij willen kijken, zonder dat we de hele computer opnieuw hoeven te bouwen.

Het is alsof je een bril krijgt die je kunt instellen: "Focus op de tekst, negeer de achtergrond" of "Focus op de gezichten, negeer de kleding." De technologie is er al; SteerViT maakt het gewoon heel makkelijk om die bril op te zetten.

Titel: SteerViT: Sturen van Visuele Representaties met Taal

1. Het Probleem

Bestaande vooraf getrainde Vision Transformers (ViTs), zoals DINOv2, MAE en SigLIP, leveren generieke visuele kenmerken die uitstekend presteren op diverse downstream-taken (zoals classificatie en segmentatie). Echter, deze modellen vertonen een sterke saliëntie-bias: ze focussen bijna uitsluitend op het meest opvallende object in een afbeelding en negeren minder prominente concepten.

Beperkingen van bestaande oplossingen:
- Unimodale ViTs: Kunnen niet worden gestuurd door tekst; ze zijn "query-agnostisch".
- Multimodale LLM's (MLLM's): Kunnen wel worden gestuurd via tekst, maar hun visuele representaties zijn vaak taal-dominant, verliezen visuele fideliteit en vereisen miljarden parameters, wat ze inefficiënt maakt.
- Late Fusion-modellen (bijv. CLIP): Voegen tekst toe na het visuele encoderingsproces. Hierdoor beïnvloedt tekst de interne visuele verwerking niet, wat leidt tot beperkte stuurbaarheid.

De kernvraag is: Hoe kunnen we de interne visuele verwerking van een vooraf getrainde ViT sturen met natuurlijke taal, zonder de kwaliteit van de visuele representaties te verliezen en zonder de enorme rekenkosten van MLLM's?

2. Methodologie: SteerViT

De auteurs introduceren SteerViT, een framework dat een vooraf getrainde ViT "stuurbaar" maakt door taalconditioning in de vroege lagen van het visuele encoderingsproces te integreren (early fusion).

Architectuur:

Frozen Backbone: De bestaande visuele encoder (bijv. DINOv2, SigLIP, MAE) en de tekstencoder (RoBERTa-Large) blijven volledig bevroren.
Lightweight Adapter: Er worden lichte, trainbare cross-attention (CA) lagen ingevoegd tussen de blokken van de ViT (elke tweede blok).
- In tegenstelling tot modellen zoals Flamingo (waar visuele tokens naar tekst kijken), laten SteerViT de visuele patch-tokens kijken naar de tekst-tokens.
- De tekst-tokens worden eerst geprojecteerd naar de visuele embed-dingruimte via een trainbare MLP.
Gated Mechanism: De output van de cross-attention wordt geïntegreerd via een tanh-gate met een leerbare scalar $\alpha_\ell$ $α_{ℓ}$ .
- Bij initialisatie is $\alpha_\ell = 0$ , waardoor het model identiek is aan de originele, bevroren ViT.
- Tijdens training leert de gate wanneer en hoeveel tekstinformatie moet worden toegevoegd.
Trainingsdoel: Het model wordt getraind op een referentiële segmentatie-taak (referential segmentation). Gegeven een afbeelding en een tekstprompt die een specifiek object beschrijft, moet het model voorspellen welke patches bij dat object horen. Dit wordt gedaan met een zachte cross-entropy loss op patch-niveau.

Data:
Het model wordt getraind op een mix van datasets (RefCOCO, Visual Genome, LVIS, Mapillary Vistas) met in totaal 162k unieke afbeeldingen en 2,28 miljoen tekst-afbeeldingsparen.

3. Belangrijkste Bijdragen

SteerViT Framework: Een nieuwe klasse van visuele representaties die global en lokale features kunnen worden gestuurd met natuurlijke taal, terwijl de onderliggende visuele kwaliteit behouden blijft.
Pareto-verbetering: Het bereikt een nieuwe Pareto-grens: het combineert hoge stuurbaarheid (via tekst) met hoge representatiekwaliteit (voor downstream-taken), iets wat eerdere methoden niet konden.
Efficiëntie: Het voegt slechts ~21 miljoen trainbare parameters toe (twee ordes van grootte minder dan MLLM's) en vereist geen fine-tuning van de backbone.
Zero-Shot Generalisatie: Het model toont uitstekende generalisatie naar nieuwe domeinen en taken zonder taak-specifieke training.

4. Resultaten en Evaluatie

De auteurs evalueren SteerViT op meerdere benchmarks en vergeleken het met state-of-the-art modellen (DINOv2, CLIP, MLLM's, GroundingDINO, SAM3).

Stuurbaarheid (CORE Benchmark):
- Op de COnditional REtrieval (CORE) benchmark, waar het doel is om afbeeldingen te vinden met een specifiek, niet-opvallend object in een scène, behaalt SteerViT 96% acc@1.
- Ter vergelijking: DINOv2 haalt slechts 44% (focus op het dominante object), en CLIP/SigLIP presteren slecht omdat late fusion niet werkt.
- SteerViT kan de embeddingruimte dynamisch herschikken: van "keuken" naar "fruitkom" of "afstandsbediening" op basis van de prompt.
Behoud van Representatiekwaliteit:
- In tegenstelling tot MLLM's, die visuele kwaliteit opofferen voor taalbegrip, behoudt SteerViT de prestaties op klassieke visuele taken (fine-grained classificatie, segmentatie).
- Er is een continue schakelaar (via de gating-factor) die een interpolatie mogelijk maakt tussen de originele ViT en de volledig gestuurde versie.
Attention Sturing (MOSAIC Benchmark):
- Op een benchmark met samengestelde afbeeldingen (mosaïeken) toont SteerViT aan dat het de attention-maps van de [CLS]-token kan sturen naar specifieke, soms kleine objecten die door de tekst worden genoemd, terwijl DINOv2 blijft focussen op het grootste object.
Zero-Shot Domeinoverdracht:
- Anomalie Detectie: Op de industriële MVTec AD dataset (een extreme out-of-distribution taak) bereikt SteerViT een PRO-score van 82.1, wat vergelijkbaar is met gespecialiseerde, op maat gemaakte methoden (zoals FADE: 84.5) en veel beter is dan generieke segmentatiemodellen.
- Persoonlijke Object Discriminatie: Het kan specifieke objecten onderscheiden (bijv. "mijn mok" vs. "andere mokken") op basis van gedetailleerde tekstprompts.

5. Betekenis en Conclusie

SteerViT introduceert een nieuw paradigma voor multimodaal visueel begrip: in plaats van visuele features te laten domineren door taal (zoals bij MLLM's), wordt de visuele encoder zelf gestuurd door taal.

Efficiëntie: Het biedt de flexibiliteit van grote multimodale modellen met een fractie van de parameters.
Flexibiliteit: Het stelt onderzoekers en ontwikkelaars in staat om vooraf getrainde visuele encoders aan te passen aan specifieke taken of aandachtspunten zonder dure fine-tuning.
Fundamenteel Inzicht: Het bewijst dat vroege fusie van tekst in visuele encoders essentieel is voor echte stuurbaarheid, en dat taal kan dienen als een "lichtgewicht" mechanisme om de bestaande capaciteiten van rijke visuele encoders naar nieuwe domeinen te verplaatsen.

Kortom, SteerViT maakt visuele AI "stuurbaar" zonder de kracht van de visuele representatie te verliezen, wat een grote stap is richting meer adaptieve en efficiënte multimodale systemen.