Sintesi Tecnica: RF-DETR: Ricerca di Architetture Neurali per Transformer di Rilevamento in Tempo Reale

Problematica

Sebbene i rilevatori open-vocabulary (ad es. GroundingDINO, YOLO-World) ottengano prestazioni zero-shot impressionanti su benchmark standard come COCO, essi spesso falliscono nel generalizzare su dataset del mondo reale contenenti classi out-of-distribution o modalità di imaging non presenti nel loro pre-addestramento. Al contrario, il fine-tuning di modelli Vision-Language (VLM) pesanti per domini specifici migliora le prestazioni in-domain, ma sacrifica l'efficienza operativa a causa dei grandi encoder testuali.

Simultaneamente, i rilevatori specialisti (closed-vocabulary) per il tempo reale come D-FINE e RT-DETR offrono un'inferenza rapida, ma spesso ottengono prestazioni inferiori rispetto ai VLM sottoposti a fine-tuning. Gli autori osservano che i recenti rilevatori specialisti sono implicitamente sovra-ottimizzati per il benchmark COCO attraverso architetture di modello, scheduler di tasso di apprendimento e strategie di aumento dei dati personalizzate, il che porta a una scarsa generalizzazione su distribuzioni di dati del mondo reale (ad es. variazioni nel numero di oggetti, numero di classi e dimensioni del dataset). Inoltre, il benchmarking della latenza standard nel campo soffre di un'alta varianza e di una mancanza di riproducibilità, spesso attribuita al throttling della potenza della GPU e a protocolli di valutazione incoerenti (ad es. l'omissione della Non-Maximum Suppression o l'uso di diversi livelli di quantizzazione per accuratezza rispetto alla latenza).

Metodologia

Il documento introduce RF-DETR, una famiglia di transformer per il rilevamento e la segmentazione in tempo reale privi di scheduler, che utilizzano la Ricerca di Architetture Neurali (NAS) con Condivisione dei Pesi (Weight-Sharing) per scoprire curve Pareto accuratezza-latenza per qualsiasi dataset target senza ri-addestramento.

1. Architettura e Fondamenta

RF-DETR modernizza l'architettura LW-DETR mediante:

• Sostituzione del Backbone: Sostituzione del backbone CAEv2 con DINOv2, sfruttando pesi pre-addestrati su scala internet per migliorare la generalizzazione su piccoli dataset.
• Addestramento Senza Scheduler: Evitare complessi scheduler del tasso di apprendimento e dell'augmentation che polarizzano i modelli verso caratteristiche specifiche del dataset (ad es. evitare flip verticali aggressivi che causano falsi positivi in domini critici per la sicurezza).
• Segmentazione delle Istanze: Aggiunta di una testa di segmentazione leggera che interpola bilinearmente gli output dell'encoder per generare mappe di embedding dei pixel, permettendo una segmentazione end-to-end in tempo reale (RF-DETR-Seg).

2. NAS con Condivisione dei Pesi e "Manopole Regolabili"

Ispirato a OFA, RF-DETR impiega un approccio NAS con condivisione dei pesi dove un singolo modello base viene addestrato per supportare migliaia di configurazioni di sottoreti. Durante l'addestramento, il modello campiona uniformemente configurazioni casuali. In fase di inferenza, vengono selezionate configurazioni specifiche per mirare ai desiderati punti di latenza. Lo spazio di ricerca include le seguenti "manopole regolabili":

• Dimensione dei Patch: Interpolata tra dimensioni (ad es. da 8 a 32) utilizzando trasformazioni stile FlexiVIT.
• Layer del Decoder: La perdita di regressione è applicata a tutti i layer del decoder, consentendo l'eliminazione di un numero qualsiasi di layer durante l'inferenza.
• Token di Query: Le query vengono eliminate al momento del test in base ai punteggi di confidenza per variare il numero massimo di rilevamenti.
• Risoluzione dell'Immagine: I positional embedding sono pre-allocati per la risoluzione massima e interpolati per input più piccoli.
• Attenzione a Finestra (Windowed Attention): Il numero di finestre per blocco di attenzione viene variato per bilanciare la miscelazione delle informazioni globali e l'efficienza computazionale.

Questo approccio agisce come un regolarizzatore ("augmentation dell'architettura"), permettendo al modello di generalizzare su architetture e configurazioni non viste esplicitamente durante l'addestramento.

3. Benchmarking della Latenza Standardizzato

Gli autori identificano che il throttling della potenza della GPU durante l'inferenza causa una varianza significativa nella latenza riportata. Per affrontare questo problema, propongono un protocollo di valutazione standardizzato che prevede:

• Buffering: Inserimento di una pausa di 200ms tra i passaggi forward per prevenire il throttling della potenza e garantire misurazioni stabili.
• Coerenza degli Artefatti: Valutazione sia dell'accuratezza che della latenza utilizzando lo stesso artefatto del modello (ad es. FP32 o FP16) per evitare discrepanze causate da una quantizzazione ingenua.
• Inclusione della NMS: Assicurare che la Non-Maximum Suppression sia inclusa nelle misurazioni della latenza per un confronto equo con i rilevatori end-to-end.

Contributi Chiave

1. Famiglia di Modelli RF-DETR: Una nuova famiglia di rilevatori e segmentatori in tempo reale che superano i metodi allo stato dell'arte precedenti sia su COCO che sul diversificato benchmark RF100-VL. In particolare, RF-DETR (2x-large) è il primo rilevatore in tempo reale a superare i 60 AP su COCO.
2. NAS con Condivisione dei Pesi per i DETR: La prima applicazione della NAS end-to-end con condivisione dei pesi al rilevamento di oggetti e alla segmentazione, consentendo la scoperta di architetture Pareto-ottimali per diversi hardware e dataset da un singolo ciclo di addestramento.
3. Benchmarking Riproducibile: Una critica alle attuali pratiche di valutazione della latenza e una proposta di un procedimento standardizzato (buffering, artefatti coerenti) per migliorare la riproducibilità e il confronto equo.

Risultati Sperimentali

Benchmark COCO

• RF-DETR (Nano): Raggiunge 48.0 AP su COCO, superando D-FINE (Nano) di 5.3 AP a parità di latenza (~2.3ms).
• RF-DETR (2x-large): Raggiunge 60.1 AP su COCO, stabilendo un nuovo record per i rilevatori in tempo reale.
• Segmentazione: RF-DETR-Seg (Nano) supera YOLOv11-Seg (X-Large) correndo 4 volte più velocemente e batte FastInst del 5.4% AP con un incremento di velocità di quasi 10 volte.

Benchmark RF100-VL (Generalizzazione nel Mondo Reale)

• RF-DETR (2x-large): Supera GroundingDINO (Tiny) e LLMDet (Tiny) di 1.2 AP correndo 20 volte più velocemente.
• Generalizzazione: A differenza delle varianti YOLO che si stabilizzano o degradano quando scalate, RF-DETR mostra miglioramenti costanti con backbone più grandi (DINOv2-B) e mantiene prestazioni solide attraverso i 100 diversi dataset di RF100-VL.
• Fine-Tuning: Sebbene il fine-tuning di RF-DETR su COCO porti guadagni limitati (a causa della forte regolarizzazione della NAS), il fine-tuning su RF100-VL fornisce miglioramenti modesti, suggerendo che l' "augmentation dell'architettura" tramite NAS richieda più epoche per convergere su dataset più piccoli e diversificati.

Studi di Ablazione

• Backbone: Sostituire CAEv2 con DINOv2 migliora le prestazioni di circa il 2%.
• Iperparametri: L'uso di iperparametri "più gentili" (tasso di apprendimento più basso, LayerNorm invece di BatchNorm) è necessario per preservare la conoscenza pre-addestrata di DINOv2 e consentire l'addestramento su hardware consumer.
• Architettura Fissa: Trasferire un'architettura RF-DETR ottimizzata per COCO su RF100-VL senza una nuova ricerca supera ancora LW-DETR, ma la NAS specifica per il dataset produce ulteriori guadagni significativi.

Significato e Rivendicazioni

Il documento afferma che RF-DETR rappresenta un cambiamento dal design manuale di architetture per benchmark specifici alla scoperta di architetture che generalizzano attraverso diverse distribuzioni del mondo reale. Combinando il pre-addestramento su scala internet (DINOv2) con la NAS a condivisione dei pesi, RF-DETR raggiunge prestazioni allo stato dell'arte senza il costo computazionale di un nuovo addestramento per ogni nuovo target hardware o dimensione del dataset.

Gli autori sottolineano che i rilevatori specialisti attuali possono essere sovra-ottimizzati per COCO, e che la comunità dovrebbe testare su dataset diversificati come RF100-VL per prevenire l'overfitting implicito. Inoltre, il documento asserisce che la mancanza di riproducibilità nel benchmarking della latenza è un problema critico che deve essere affrontato attraverso protocolli standardizzati (buffering, artefatti coerenti) per consentire confronti equi tra i modelli in tempo reale.

Per quanto a conoscenza degli autori, RF-DETR è il primo rilevatore in tempo reale a superare i 60 AP su COCO, dimostrando che i transformer end-to-end possono raggiungere sia un'alta accuratezza che un'inferenza in tempo reale quando sono correttamente ottimizzati tramite NAS.