Sintesi Tecnica: GoodQ – Quantizzazione Zero-Shot per Rilevatori di Oggetti utilizzando Modelli Generativi Off-the-Shelf

1. Definizione del Problema

La distribuzione di modelli di Object Detection (OD) su dispositivi edge con risorse limitate richiede la compressione del modello tramite quantizzazione. La standard Quantization-Aware Training (QAT) richiede l'accesso al dataset di addestramento originale per il fine-tuning del modello. Tuttavia, in molti scenari reali, l'accesso ai dati originali è proibito a causa di normative sulla privacy e preoccupazioni relative alla sicurezza.

Sebbene la Zero-Shot Quantization (ZSQ) sia emersa per affrontare questo problema attraverso la sintesi di dataset proxy, i metodi ZSQ esistenti per l'OD presentano limitazioni significative:

• Degradazione delle Prestazioni a Basso Bit: Gli attuali approcci ZSQ per l'OD, come TSOD (che si basa sull'ottimizzazione del rumore), faticano a mantenere le prestazioni nelle regioni di bit estremamente bassi (ad esempio, W4A4 e W3A3).
• Diversità dei Dati: I dataset sintetici ottimizzati tramite rumore spesso mancano della diversità necessaria per approssimare efficacemente la distribuzione dei dati originali, portando a eccessivi cali di prestazione quando la larghezza di bit della quantizzazione viene ridotta.
• Sfide Specifiche del Compito: L'OD differisce fondamentalmente dalla classificazione di immagini. Richiede immagini con informazioni semantiche dense (molteplici istanze per immagine), gestisce distribuzioni di classi intrinsecamente sbilanciate e si affida a una localizzazione spaziale precisa (bounding box). Gli approcci generativi standard spesso non riescono ad affrontare questi vincoli specifici.

2. Metodologia: Il Framework GoodQ

Gli autori propongono GoodQ (Generative off-the-shelf models for object detector Quantization), una pipeline che sfrutta modelli generativi off-the-shelf (specificamente modelli di diffusione) adattati alle sfide uniche della ZSQ-OD. Il framework opera in tre fasi distinte:

Fase 1: Information-Dense Prompting (IDP)

Per affrontare la Sfida della Densità Informativa (la necessità di più oggetti per immagine), GoodQ va oltre i prompt a oggetto singolo utilizzati nella classificazione.

• Strategia: Utilizza un template di prompt specifico: "A {D} photo of {Q} {C1} and {Q} {C2}", dove {D} è un aggettivo descrittivo, {Q} è un aggettivo quantitativo (ad esempio, "moltiplici") e {C1}, {C2} sono etichette di classe.
• Risultato: Questo genera un ampio pool (160k immagini) di immagini sintetiche contenenti molteplici istanze di oggetti e bounding box, riflettendo meglio la densità dei dataset OD reali come MS-COCO.

Fase 2: Intrinsic Distribution-Aware Selection (IDAS)

Per affrontare la Sfida dello Sbilanciamento delle Classi (la distribuzione asimmetrica delle classi di oggetti nei dataset OD), GoodQ seleziona un sottoinsieme rappresentativo dal pool generato senza accesso alle etichette originali.

• Stima della Distribuzione: Poiché i dati originali non sono disponibili, il metodo stima la distribuzione delle classi target analizzando i termini di bias della testa di rilevamento pre-addestrata. Questi parametri di bias catturano implicitamente i priori di classe.
• Algoritmo di Selezione: Un algoritmo di selezione greedy sceglie iterativamente le immagini per corrispondere alla distribuzione target stimata. Prioritizza le classi sotto-rappresentate e seleziona le immagini con il maggior numero di bounding box per garantire la densità, curando efficacemente un dataset che rispecchia la distribuzione a "coda lunga" dei dati OD originali.

Fase 3: Teacher-guided Adaptive Noise Reduction (TANR)

Per affrontare la Sfida delle Pseudo-Etichette (il rumore introdotto dall'assegnazione di etichette alle immagini sintetiche tramite un rilevatore pre-addestrato), GoodQ modifica la funzione di perdita QAT.

• Soft Targets: Invece di fare affidamento su hard pseudo-labels (vettori one-hot) che introducono rumore di supervisione, il metodo utilizza le predizioni soft (logit) di un modello "Teacher" a piena precisione come target di verità fondamentale.
• Ponderazione Adattiva: La funzione di perdita incorpora un meccanismo di Adaptive Weighting (AW) basato su QFocal. Ciò consente al modello studente di concentrarsi maggiormente sulle istanze suscettibili al rumore indotto dalla quantizzazione, mitigando efficacemente gli effetti avversi del rumore delle etichette durante l'addestramento.

3. Contributi Chiave

1. Identificazione delle Sfide: Il documento identifica sistematicamente tre ostacoli specifici nell'applicazione di modelli generativi off-the-shelf alla ZSQ-OD: densità informativa, sbilanciamento delle classi e rumore delle pseudo-etichette.
2. Nuovo Framework (GoodQ): Introduce una pipeline su misura composta da Information-Dense Prompting, Intrinsic Distribution-Aware Selection e Teacher-guided Adaptive Noise Reduction per superare tali ostacoli.
3. Prestazioni allo Stato dell'Arte: Il framework raggiunge risultati allo stato dell'arte nella quantizzazione a basso bit (W4A4) ed estende con successo la quantizzazione a larghezze di bit estreme (W3A3), superando i metodi basati sull'ottimizzazione come TSOD.
4. Analisi Esaustiva: Gli autori forniscono estesi studi di ablazione e visualizzazioni (ad esempio, UMAP di embedding CLIP) dimostrando che la diversità dei dati e l'allineamento della distribuzione sono fattori critici per una quantizzazione robusta a basso bit.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui modelli YOLOv5 e YOLOv11 utilizzando il set di validazione MS-COCO 2017.

• Robustezza a Basso Bit: Nel regime W4A4, GoodQ supera significativamente TSOD. Ad esempio, su YOLOv5-s, GoodQ raggiunge 21.0 mAP rispetto ai 18.4 mAP di TSOD. Nel regime estremo W3A3, GoodQ mantiene 10.2 mAP, mentre TSOD scende a 5.0 mAP.
• Prestazioni ad Alto Bit: GoodQ mantiene prestazioni competitive nelle larghezze di bit più elevate (W8A8, W6A6), ottenendo risultati comparabili a metodi che utilizzano sottoinsiemi di dati reali o dataset ottimizzati tramite rumore.
• Risultati dell'Ablazione:
  • Diversità: I dataset generati tramite diffusione mostrano una maggiore diversità di caratteristiche (misurata tramite distanza coseno) rispetto ai dataset ottimizzati tramite rumore, correlandosi a migliori prestazioni a basso bit.
  • Distribuzione: La strategia di selezione IDAS supera significativamente la selezione casuale o la selezione ingenua "molti bounding box", confermando che l'allineamento con la distribuzione intrinseca delle classi è cruciale.
  • Riduzione del Rumore: La componente TANR migliora costantemente le prestazioni, in particolare sui dati generati tramite diffusione dove il rumore delle etichette è più prevalente.

5. Significato e Rivendicazioni

Il documento sostiene che GoodQ rappresenti un avanzamento significativo nella Zero-Shot Quantization per l'Object Detection, colmando con successo il divario tra le capacità dei modelli generativi off-the-shelf e i requisiti specifici dei compiti di rilevamento.

Gli autori sottolineano che il loro approccio consente la distribuzione di modelli OD altamente compressi (fino a 3 bit) su dispositivi edge senza richiedere l'accesso ai dati di addestramento originali. Affrontando le sfide strutturali e statistiche specifiche dell'OD (densità, sbilanciamento e rumore delle etichette), GoodQ supera la degradazione delle prestazioni che ha storicamente afflitto la quantizzazione a basso bit in questo dominio. Il lavoro suggerisce che la massimizzazione della diversità dei dati di addestramento e l'accurato allineamento delle distribuzioni delle classi siano i fattori sottostanti che contribuiscono all'efficacia della ZSQ-OD basata su modelli generativi.