Riepilogo Tecnico: AnyDepth-DETR/-YOLO

Enunciato del Problema

I moderni rilevatori di oggetti sono tipicamente reti statiche a profondità fissa, ottimizzate per un singolo punto operativo. Questa rigidità rende necessario l'addestramento di modelli separati per diversi scenari di distribuzione (ad esempio, budget di risorse variabili o requisiti di latenza), rendendo difficile per una singola rete soddisfare esigenze eterogenee. Sebbene i metodi di calcolo adattivo come l'uscita anticipata (early exiting) e l'adattamento della larghezza si siano dimostrati efficaci nella classificazione di immagini, si trasferiscono male al rilevamento di oggetti. A differenza dei classificatori che producono un'unica uscita globale, i rilevatori si basano su una pipeline backbone-neck-head strettamente accoppiata, dipendente da caratteristiche gerarchiche multi-scala. Saltare fasi in modo ingenuo o potare canali rompe queste dipendenze, degradando la qualità delle caratteristiche e l'accuratezza della localizzazione. I lavori precedenti non hanno raggiunto un calcolo controllato per profondità nel rilevamento di oggetti preservando la gerarchia completa delle caratteristiche multi-scala necessaria per un rilevamento robusto.

Metodologia

Gli autori propongono AnyDepth, un framework che consente a una singola rete di coprire un intervallo continuo di compromessi tra accuratezza ed efficienza controllando la profondità della rete al momento dell'inferenza senza riaddestramento. Il principio di progettazione fondamentale è la modularità per fasi: garantire che l'uscita di una sotto-rete più leggera sia intercambiabile con quella di una sotto-rete più completa a ogni confine di fase.

1. Decomposizione Architettonica

Ogni fase sia nel backbone che nel neck è divisa in due percorsi:

• Percorso Essenziale: Viene sempre eseguito, apprendendo la rappresentazione delle caratteristiche fondamentali alla scala data.
• Percorso di Rifinitura: Saltabile, fornisce ulteriore rifinitura quando sono disponibili risorse computazionali aggiuntive.

Questa decomposizione preserva tutte le fasi gerarchiche a ogni configurazione di profondità, a differenza dell'uscita anticipata convenzionale che scarta intere fasi.

• Fasi Residuali (es. RT-DETR): Il percorso di rifinitura è puramente additivo ($x_{full} = x_{ess} + \Delta$), condividendo le forme dei tensori ed evitando conflitti architettonici.
• Fasi in Stile CSP (es. YOLO): Poiché la larghezza della concatenazione dipende dal numero di blocchi eseguiti, gli autori introducono un livello di aggregazione commutabile. Viene utilizzata una matrice di pesi dedicata per il percorso essenziale quando il percorso di rifinitura viene saltato, disaccoppiando completamente il suo flusso di gradienti dall'aggregatore del percorso completo per prevenire gradienti conflittuali.
• Normalizzazione di Batch Commutabile: I blocchi del percorso essenziale utilizzano due livelli BN indipendenti (uno per l'esecuzione del percorso completo, uno solo per l'essenziale) per adattare le distribuzioni di uscita in modo appropriato per ciascuna modalità, garantendo la compatibilità ai confini di fase.

2. Strategia di Addestramento: Auto-Distillazione

L'ottimizzazione congiunta di tutte le possibili sotto-reti introduce segnali di gradiente conflittuali. Per affrontare questo problema, il framework addestra solo gli estremi:

• Super-rete: Esegue tutti i percorsi completi.
• Base-rete: Esegue solo i percorsi essenziali.

Queste vengono addestrate congiuntamente tramite auto-distillazione, dove la super-rete agisce come insegnante online per la base-rete. La funzione di perdita combina la supervisione tramite ground-truth con perdite di distillazione:

• Allineamento a Livello di Predizione: Divergenza KL per i logit di classificazione e perdita IoU/bordo per le caselle di regressione.
• Allineamento a Livello di Caratteristiche: Una perdita esplicita allinea i descrittori dei canali della Media Globale (GAP) tra il percorso essenziale e quello completo a ogni confine di fase, imponendo che le fasi a valle ricevano input compatibili indipendentemente dal percorso scelto.

Risoluzione dei Conflitti di Assegnazione degli Obiettivi:
Una sfida critica è che la super-rete e la base-rete possono assegnare diversi ancoraggi/query allo stesso oggetto ground-truth a causa delle loro previsioni differenziate.

• Per AnyDepth-DETR: Gli autori riordinano le query di primo piano della super-rete per allinearle all'ordinamento corrispondente agli obiettivi della base-rete prima di applicare la Distillazione della Conoscenza (KD).
• Per AnyDepth-YOLO: Le assegnazioni di ancoraggio conflittuali (dove lo stesso ancoraggio viene assegnato a diversi oggetti GT dalle due reti) vengono identificate ed escluse dal set di distillazione, limitando la KD a obiettivi inequivocabili.

Contributi Chiave

1. Framework Any-Depth: Una nuova architettura e metodo di addestramento che consentono a un singolo modello di regolare dinamicamente la profondità al momento dell'inferenza, coprendo uno spettro continuo di compromessi tra accuratezza ed efficienza.
2. Modularità per Fasi: Un principio di progettazione che garantisce la compatibilità delle caratteristiche tra le configurazioni di profondità, ottenuto attraverso la decomposizione in percorsi essenziali/di rifinitura e adattamenti architettonici specifici (aggregazione commutabile e BN).
3. Auto-Distillazione con Risoluzione dei Conflitti: Una strategia di addestramento che ottimizza solo le sotto-reti estreme imponendo al contempo la modularità attraverso l'allineamento delle caratteristiche e delle previsioni, affrontando specificamente le discrepanze di assegnazione degli obiettivi intrinseche alle famiglie DETR e YOLO.
4. Prima Applicazione ai Rilevatori in Tempo Reale SOTA: Il framework è istanziato su RT-DETR e YOLOv12, dimostrando che un'auto-distillazione efficace è realizzabile per queste architetture complesse.

Risultati Sperimentali

Valutati sul benchmark COCO:

• Prestazioni a Profondità Completa: Le configurazioni della super-rete corrispondono o superano i rispettivi baseline state-of-the-art (SOTA) con un sovraccarico di parametri trascurabile (ad esempio, <0,09% per RT-DETR, ~3% per YOLOv12).
• Guadagni di Efficienza:
  • AnyDepth-DETR (R-101): Raggiunge un speedup di 1,82× al costo di un calo di soli 2,0 AP rispetto al modello completo.
  • AnyDepth-YOLO (L): Raggiunge un speedup di 1,57× con un calo di soli 1,8 AP.
• Generalizzazione: Le sotto-reti intermedie (che mescolano percorsi essenziali e completi) si generalizzano bene senza supervisione diretta, offrendo compromessi fluidi. Ad esempio, ridurre la profondità dell'encoder in AnyDepth-DETR scambia 0,9 AP per un guadagno del 6% in FPS, mentre instradare tutte le fasi del backbone attraverso il percorso essenziale costa 2,0 AP per un miglioramento del 15% in FPS.
• Frontiera di Pareto: Un singolo modello AnyDepth copre l'intervallo di accuratezza-efficienza che in precedenza richiedeva molteplici modelli statici addestrati separatamente (ad esempio, coprendo l'intervallo da RT-DETR R-18 a R-101 con una singola rete).

Significato e Affermazioni

Il documento afferma che AnyDepth fornisce una soluzione pratica per la distribuzione di rilevatori sotto vincoli di risorse dinamici, sostituendo la necessità di molteplici rilevatori a dimensione fissa con una singola rete modulare. Preservando la gerarchia completa delle caratteristiche multi-scala a ogni configurazione di profondità, il metodo supera i limiti delle precedenti tecniche di inferenza adattiva nei compiti di rilevamento.

Gli autori sottolineano che il loro approccio abilita un rilevamento di oggetti in tempo reale veramente adattivo, dove le configurazioni di profondità possono essere selezionate al runtime in base ai budget di risorse senza riaddestramento. Osservano che il percorso di rifinitura migliora principalmente la precisione della localizzazione piuttosto che la copertura del rilevamento, validando la modularità del design.

Limitazioni Riconosciute:

1. La procedura di addestramento con auto-distillazione richiede due passaggi in avanti-indietro sequenziali per iterazione, raddoppiando effettivamente il tempo di addestramento rispetto ai modelli standard.
2. Il framework attuale seleziona la profondità in base a un budget di risorse fisso piuttosto che adattarsi alla difficoltà dell'input; l'integrazione di un meccanismo di instradamento leggero per la selezione adattiva all'input è identificata come lavoro futuro.