MuRF: Unlocking the Multi-Scale Potential of Vision Foundation Models

1. Il Problema

I Modelli di Fondazione Visiva (Vision Foundation Models - VFMs), come DINOv2 e SigLIP, sono diventati la pietra angolare della visione artificiale moderna grazie alle loro rappresentazioni robuste. Tuttavia, esiste una limitazione fondamentale nel loro utilizzo durante l'inferenza:

• Paradigma a Scala Singola: Sebbene molti VFMs moderni siano addestrati con input di dimensioni variabili, l'inferenza standard è solitamente vincolata a una singola risoluzione "ottimale" (spesso una dimensione fissa).
• Perdita di Informazione: Questo approccio ignora la natura multi-scala della percezione visiva. Le immagini a bassa risoluzione eccellono nel catturare il contesto semantico globale (riconoscimento), mentre le immagini ad alta risoluzione sono essenziali per i dettagli fini e i confini precisi (rifinitura).
• Il Dilemma: Limitarsi a una sola scala costringe a compromettere o la coerenza globale o la precisione locale. Le tecniche esistenti, come la creazione di "piastrelle" (tiling) per immagini grandi, rompono la continuità degli oggetti, mentre l'upscaling semplice delle feature non aggiunge nuove informazioni.

2. Metodologia: MuRF (Multi-Resolution Fusion)

Gli autori propongono MuRF, una strategia semplice ma universalmente efficace per sfruttare la sinergia tra diverse risoluzioni durante l'inferenza, senza richiedere il ri-addestramento del backbone (frozen VFM).

Il processo funziona come segue:

1. Costruzione della Piramide di Input: Un'immagine di input $x$ viene ridimensionata a un insieme di $k$ risoluzioni diverse ($S_{res} = \{s_1, s_2, ..., s_k\}$).
2. Estrazione delle Feature: Ogni versione ridimensionata viene elaborata dallo stesso encoder VFM congelato (es. DINOv2). Si ottengono così diverse mappe di feature $\mathcal{F}_s$.
3. Allineamento Spaziale: Ogni mappa di feature viene upsampled (tramite interpolazione bilineare) a una risoluzione spaziale comune target (solitamente la dimensione originale dell'immagine).
4. Fusione per Concatenazione: Le mappe di feature allineate vengono concatenate lungo la dimensione dei canali.
   • La rappresentazione finale $\mathcal{F}_{MuRF}$ ha una dimensione di canale $D = |S_{res}| \times d$, dove $d$ è la dimensione originale delle feature.
   • Perché la concatenazione? A differenza della somma o della media, la concatenazione preserva l'indipendenza dei segnali specifici per scala (es. contesto macroscopico vs dettagli microscopici), permettendo ai "testine" (head) downstream di selezionare attivamente le informazioni più rilevanti senza interferenze distruttive.

Adattamento ai Compiti:
La rappresentazione $\mathcal{F}_{MuRF}$ è agnostica rispetto al compito. Viene adattata a specifici task downstream utilizzando testine leggere e addestrabili:

• Predizione Densa (Segmentazione, Depth): Una testina convoluzionale proietta le feature fuse sulle classi target o sui valori di profondità.
• Modelli Linguistici Multimodali (MLLM): Le feature fuse vengono proiettate nello spazio degli embedding delle parole per fornire al LLM un contesto visivo ricco sia globale che locale, mantenendo invariata la lunghezza della sequenza di token.
• Rilevamento Anomalie (Unsupervised): Invece di fondere le feature in un unico tensore, si calcolano mappe di punteggio di anomalia separate per ogni risoluzione (basate sulla distanza dai vicini più prossimi) e si fanno la media dopo l'upsampling.

3. Contributi Chiave

• Universalità: MuRF non è legato a un'architettura specifica o a un task. Funziona come un miglioramento fondamentale per la rappresentazione visiva, applicabile a diverse famiglie di VFMs (DINOv2, SigLIP).
• Inferenza senza Addestramento del Backbone: La strategia è completamente "training-free" per il modello di base; solo le testine leggere vengono addestrate (o non vengono addestrate affatto nel caso dell'anomaly detection).
• Sinergia Riconoscimento-Rifinitura: Dimostra che aggregare attivamente viste multi-risoluzione risolve il compromesso tra coerenza globale e precisione locale.
• Validazione su Task Diversi: Il metodo è stato validato su un ampio spettro di compiti critici, dimostrando miglioramenti consistenti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi benchmark e task:

• Segmentazione Semantica (ADE20K, PASCAL VOC): MuRF supera significativamente i baseline a scala singola. Su PASCAL VOC, il mIoU sale da 78.5% (Medium Res) a 83.1%, e su ADE20K da 45.5% a 47.4%.
• Stima della Profondità (NYU Depth V2, SUN RGB-D): La fusione multi-scala riduce l'errore RMSE. Su NYU Depth V2, MuRF raggiunge 0.368 contro lo 0.394 del baseline a media risoluzione, migliorando la comprensione sia della geometria globale che dei bordi degli oggetti.
• Visual Question Answering (VQA) con MLLM: Integrando MuRF in LLaVA (con encoder DINOv2 o SigLip2), si ottengono miglioramenti su benchmark come MME e GQA. Il modello riesce a ragionare meglio su scene macroscopiche e dettagli microscopici simultaneamente, con un costo computazionale marginale (nessun aumento della lunghezza della sequenza di token).
• Rilevamento Anomalie (MVTec AD 2): In un regime senza addestramento, MuRF ottiene risultati State-of-the-Art (62.3% su TESTpriv,mix), superando metodi come PatchCore e SuperAD. Riesce a rilevare sia difetti strutturali grandi che difetti superficiali minuscoli, combinando la robustezza delle viste a bassa risoluzione con la precisione dei bordi delle viste ad alta risoluzione.
• Analisi delle Risoluzioni: Gli studi di ablazione confermano che l'uso di più risoluzioni (es. 0.5x, 1.0x, 1.5x) porta a miglioramenti monotoni rispetto all'uso di una singola scala, e che la combinazione di MuRF con feature multi-layer offre benefici ortogonali.

5. Significato e Impatto

Il lavoro di MuRF stabilisce che l'aggregazione multi-risoluzione non è un trucco specifico per un task, ma un principio generale per sbloccare il pieno potenziale dei codificatori visivi pre-addestrati.

• Efficienza: Offre un modo economico per migliorare le prestazioni senza il costo proibitivo di ri-addestrare modelli fondazione massicci.
• Robustezza: Crea rappresentazioni visive più ricche e robuste alle variazioni di scala, essenziali per applicazioni reali dove le condizioni di visione variano.
• Generalizzazione: La capacità di funzionare su architetture diverse (ViT, SigLIP) e task diversi (dalla segmentazione alla comprensione linguistica) suggerisce che MuRF potrebbe diventare uno standard per l'inferenza con VFMs.

In sintesi, MuRF trasforma un limite delle attuali pratiche di inferenza (la rigidità della scala singola) in un punto di forza, dimostrando che la visione artificiale beneficia intrinsecamente della sintesi di informazioni a diverse scale di granularità.