Visual Accommodation: Rethinking Image Scale as a Learnable Variable for Object Detection

Riepilogo Tecnico: Ciliary-DETR

Enunciazione del Problema
Le reti moderne per il rilevamento di oggetti, in particolare quelle basate sull'architettura DETR (DEtection TRansformer), operano tipicamente su una risoluzione di input fissa durante l'inferenza. Sebbene l'aumento dei dati multi-scala durante l'addestramento migliori la robustezza alle variazioni di scala, la fase di inferenza manca di adattabilità specifica per il campione. A differenza del sistema visivo umano, che regola dinamicamente la profondità focale (accomodazione) per mantenere una percezione stabile, i rilevatori attuali trattano la risoluzione dell'immagine come una scelta di progettazione statica piuttosto che come una variabile dinamica dipendente dai dati. I metodi esistenti di scalatura adattiva spesso si affidano ad architetture multi-ramo, strategie di multi-inferenza o insiemi di risoluzioni predefiniti, il che ostacola la scalabilità e l'ottimizzazione end-to-end. Inoltre, la scala di input ottimale per una specifica immagine è intrinsecamente non osservabile e manca di supervisione esplicita, rendendo l'ottimizzazione diretta della scala mal posta nelle configurazioni di addestramento standard.

Metodologia: Ciliary-DETR
Gli autori propongono Ciliary-DETR, un framework che tratta la risoluzione dell'immagine come una variabile apprendibile analoga al muscolo ciliare biologico che regola il cristallino dell'occhio. Il metodo introduce un modulo Scale Predictor (Predittore di Scala) leggero, posizionato prima del backbone di rilevamento, per stimare dinamicamente un fattore di scala dipendente dall'input ($\phi$).

• Architettura: Il predittore di scala è costituito da un backbone leggero (ResNet-18) e una testa di previsione. Prende in input un'immagine, la ridimensiona per ridurre il sovraccarico computazionale ed esprime un fattore di scala scalare vincolato entro un intervallo desiderato $[\tau_{min}, \tau_{max}]$. Questo fattore viene utilizzato per ridimensionare l'immagine tramite interpolazione bilineare prima che venga passata alla rete di rilevamento (ad esempio, DN-DETR).
• Strategia di Addestramento: Il framework impiega un processo di addestramento in due fasi che sfrutta una filosofia di "supernet":
  1. Addestramento Multi-Scala (MS): La rete di rilevamento viene inizialmente addestrata con aumento dei dati MS per costruire robustezza contro le variazioni di scala.
  2. Ottimizzazione Congiunta: Il predittore di scala e la rete di rilevamento vengono addestrati congiuntamente. Durante questa fase, l'intervallo di risoluzione viene variato (addestramento di subnet) per esplorare i compromessi tra prestazioni ed efficienza condividendo i pesi.
• Obiettivi di Ottimizzazione: Per affrontare la mancanza di etichette di scalatura ground-truth, gli autori introducono due obiettivi complementari guidati dalla perdita:
  1. Scale Loss (Perdita di Scala): Una formulazione probabilistica basata sulla Cross-Entropy Binaria (BCE). Modella la preferenza per l'up-scaling o il down-scaling come funzione della dimensione dell'oggetto, utilizzando le dimensioni degli anchor ($A_{min}, A_{max}$) per definire le regioni di saturazione. Questa perdita incoraggia la rete a up-scalare gli oggetti piccoli e down-scalare quelli grandi per normalizzare le loro dimensioni effettive.
  2. Distribution Loss (Perdita di Distribuzione): Questa perdita allinea le decisioni di scalatura con le prestazioni di rilevamento a valle senza supervisione esplicita. Modella la relazione tra scala dell'oggetto e perdita di rilevamento utilizzando una distribuzione Beta apprendibile. Minimizzando la distanza 1-Wasserstein tra questa distribuzione parametrica e una distribuzione di osservazione empirica (derivata dalle perdite di rilevamento), la rete impara a regolare le dimensioni degli anchor ($A_{min}, A_{max}$) per corrispondere alle regioni sensibili alle prestazioni dei dati.

Contributi Chiave

1. Scala Immagine Apprendibile: Il documento propone una formulazione innovativa in cui la scala dell'immagine è trattata come una variabile direttamente apprendibile, consentendo un aggiustamento dinamico e dipendente dai dati della risoluzione all'interno di un singolo passaggio in avanti.
2. Ottimizzazione Guidata dalla Perdita: Introduce un framework parametrico e probabilistico per il comportamento di scalatura che non richiede annotazioni di scala esplicite. La combinazione di Scale Loss e Distribution Loss consente un adattamento stabile e guidato dai dati.
3. Ragionamento Multi-Scala in Singolo Passaggio: Il metodo colma il divario tra la robustezza in fase di addestramento (tramite aumento MS) e l'adattamento in fase di test, ottenendo un ragionamento multi-scala efficace senza il sovraccarico computazionale dell'inferenza multi-risoluzione esplicita.
4. Modularità e Compatibilità: Il framework è progettato per essere compatibile con i rilevatori moderni basati su DETR senza richiedere modifiche architetturali alla pipeline di rilevamento stessa, preservando la semplicità della rete di rilevamento.

Risultati Sperimentali
Estesi esperimenti sui dataset MS COCO e LVIS dimostrano l'efficacia di Ciliary-DETR:

• Compromesso Prestazioni-Efficienza: Rispetto a baseline solide (ad esempio, DN-DETR-R50 e Swin-S), Ciliary-DETR ottiene guadagni costanti di accuratezza (ad esempio, +1.3 AP su R50, +1.1 AP su Swin-S) riducendo al contempo la complessità computazionale (GFLOPs) di circa il 17–19%.
• Generalizzazione Zero-Shot: Il predittore di scala può essere applicato zero-shot a architetture di rilevamento non viste (ad esempio, Deformable-DETR, DINO-DETR, H-DETR), riducendo i GFLOPs del 18–19% mantenendo o migliorando leggermente l'AP.
• Confronto con TTA: Il metodo supera la selezione casuale della risoluzione e la banale aumentazione multi-scala in fase di test (TTA). Ottiene risultati vicini a una ricerca esaustiva (BFS) per la risoluzione ottimale (con un divario di 0.4–0.5 AP) ma lo fa in modo completamente apprendibile e in un singolo passaggio.
• Robustezza: Il modello dimostra una forte robustezza su un'ampia gamma di risoluzioni in fase di test, superando le baseline a risoluzione fissa anche a risoluzioni esterne all'intervallo di addestramento.

Significato e Affermazioni
Il documento afferma che Ciliary-DETR offre una direzione ortogonale all'ottimizzazione architetturale tradizionale concentrandosi sull'adattamento a livello di input. Emulando l'accomodazione visiva biologica, il framework abilita un'inferenza flessibile ed efficiente in singolo passaggio che si adatta dinamicamente al contenuto di ogni immagine. Gli autori sottolineano che questo approccio colma il divario tra l'aumento in fase di addestramento e l'adattamento in fase di test, consentendo un deployment scalabile senza ostacolare la modularità delle pipeline di rilevamento moderne. Il lavoro suggerisce che trattare la risoluzione come una variabile apprendibile è una strategia vitale ed efficace per migliorare sia l'accuratezza che l'efficienza dei sistemi di rilevamento di oggetti.