MuRF: Unlocking the Multi-Scale Potential of Vision Foundation Models

Titel: MuRF: Het ontsluiten van het multi-schaal potentieel van Vision Foundation Models

Auteurs: Bocheng Zou, Mu Cai, Mark Stanley, Dingfu Lu, en Yong Jae Lee (University of Wisconsin-Madison).
Datum: 26 maart 2026 (voorgesteld in het paper).

---

1. Het Probleem

Vision Foundation Models (VFMs), zoals DINOv2 en CLIP, zijn de hoeksteen geworden van moderne computervisie. Hoewel deze modellen tijdens het trainen vaak zijn ontworpen om om te gaan met variabele invoergroottes (bijv. via "multi-resolution training"), blijft de inference (toepassing) doorgaans beperkt tot één vaste schaal.

De auteurs identificeren een fundamenteel tekortkoming in dit huidige paradigma:

• Verlies van complementaire informatie: Visuele waarneming heeft een "arbeidsverdeling" tussen schalen.
  • Lage resoluties excelleren in het vastleggen van globale semantische context (herkenning van het object als geheel).
  • Hoge resoluties zijn essentieel voor fijne details, scherpe randen en precieze grenzen (verfijning).
• Het compromis: Door alleen één schaal te gebruiken, moet een model kiezen tussen globale coherentie of lokale precisie. Een enkele "optimale" schaal kan nooit beide optimaal benutten, wat leidt tot suboptimale prestaties in taken zoals segmentatie, diepschatting en anomaliedetectie.

2. Methodologie: Multi-Resolution Fusion (MuRF)

MuRF is een eenvoudige, trainingsvrije strategie die tijdens de inference wordt toegepast om de voordelen van meerdere schalen te combineren zonder het achterliggende VFM-model opnieuw te hoeven trainen.

Het proces verloopt als volgt:

1. Invoerpyramide: Een invoerbeeld $x$ wordt herschaald naar een reeks verschillende schalen $S_{res} = \{s_1, s_2, ..., s_k\}$.
2. Feature Extractie: Elke herschaalde versie wordt door een bevroren (frozen) VFM-encoder (bijv. DINOv2) verwerkt om een feature-map $\mathcal{F}_s$ te verkrijgen.
3. Ruimtelijke Alignering: Alle feature-maps worden opgewaardeerd (upsampled) naar een gemeenschappelijke ruimtelijke resolutie (meestal de originele invoergrootte) via bilineaire interpolatie.
4. Channel-wise Concatenatie: In plaats van features op te tellen of te middelen (wat kan leiden tot destructieve interferentie tussen schaal-specifieke signalen), worden de feature-maps geconcateneerd langs het kanaal-dimension.
   • Het resultaat is een verenigde representatie $\mathcal{F}_{MuRF}$ met een totale kanaaldimensie $D = |S_{res}| \times d$.
   • Dit behoudt de onafhankelijkheid van "herkennings"-signalen (lage schaal) en "verfijnings"-signalen (hoge schaal).
5. Taak-specifieke Adaptatie: Een lichte, trainbare "head" (bijv. een convolutielaag) wordt aangebracht op deze rijke representatie om de uiteindelijke voorspelling te doen. Alleen deze head wordt getraind; de VFM en de fusiemodule blijven bevroren.

Varianten per taak:

• Dense Prediction (Segmentatie/Depth): Gebruik van een dense prediction head op de geconcateneerde features.
• Anomalie Detectie: Berekening van een anomalie-score voor elke schaal apart (via nearest-neighbor in een memory bank), gevolgd door het middelen van de geschaalde score-kaarten.
• Multimodale Modellen (MLLMs): De geconcateneerde features worden geprojecteerd naar de embedding-ruimte van de LLM, waarbij het aantal visuele tokens constant blijft (geen extra sequentielengte-kosten).

3. Belangrijkste Bijdragen

• Universiteit: MuRF is niet gebonden aan een specifieke architectuur. Het werkt als een fundamentele, trainingsvrije verbetering voor elke VFM (gevalideerd op DINOv2 en SigLIP2).
• Inference-time Synergie: Het lost het compromis tussen globale context en lokale details op door expliciete fusie tijdens de inferentie, in plaats van tijdens het trainen.
• Trainingsvrij: Het vereist geen hertraining van de zware backbone, wat het zeer efficiënt maakt voor downstream taken.
• Omvangrijke Validatie: De methode is getest op een breed scala aan kritieke visuele taken, waaronder semantische segmentatie, diepschatting, visuele vraagbeantwoording (VQA) en onbewaakte anomaliedetectie.

4. Resultaten

De auteurs tonen aan dat MuRF consequent betere prestaties levert dan sterke single-scale baselines:

• Semantische Segmentatie (ADE20K & PASCAL VOC):
  • MuRF behaalde een significant hogere mIoU (bijv. +4.2% op ADE20K en +5.9% op PASCAL VOC ten opzichte van de medium-resolutie baseline).
  • Visuele resultaten tonen scherpere randen en betere objectinterieurs.
• Diepschatting (NYU Depth V2 & SUN RGB-D):
  • Betere RMSE-scores, wat aangeeft dat het model zowel de globale scène-geometrie als objectgrenzen beter begrijpt.
  • De prestaties zijn superieur aan het gebruik van alleen hoge of alleen lage resoluties.
• Multimodale Vraagbeantwoording (VQA):
  • Ingeïntegreerd in LLaVA-architecturen verbeterde MuRF de prestaties op benchmarks zoals MME en GQA.
  • Het model kan beter redeneren over zowel macroscopische scènes als microscopische details zonder extra tokens voor de LLM.
• Onbewaakte Anomalie Detectie (MVTec AD 2):
  • Bereikte state-of-the-art prestaties in een volledig trainingsvrije setting (AU-PRO0.05 van 62.3% op de TESTpriv,mix subset).
  • Het combineert robuuste detectie van grote defecten (lage resolutie) met scherpe begrenzingen van kleine krassen (hoge resolutie).

5. Betekenis en Conclusie

MuRF demonstreert dat het benutten van multi-resolutie views tijdens de inference een algemeen principe is om het volledige potentieel van voorgetrainde visuele encoders te ontsluiten.

• Fundamentele Inzicht: Het paper bevestigt dat lage en hoge resoluties complementaire, niet-uitsluitende informatie bevatten.
• Efficiëntie: Het biedt een manier om de prestaties van VFMs aanzienlijk te verhogen zonder de dure kosten van multi-schaal training of het aanpassen van de modelarchitectuur.
• Toekomstperspectief: De methode suggereert dat toekomstige VFMs en multimodale systemen inherent beter kunnen presteren door dergelijke fusiestrategieën standaard te integreren, wat leidt tot robuustere en nauwkeurigere visuele systemen.

Kortom, MuRF transformeert de beperking van "één beeld, één schaal" naar een krachtige "één beeld, meerdere schalen" benadering die de kwaliteit van visuele representaties voor vrijwel elke computervisie-taak verbetert.