Sintesi Tecnica: Risorse di Dataset Centrate sugli Oggetti per la Generazione e l'Aumento di Immagini con Dati Vincolati

Definizione del Problema

La generazione di immagini centrate sugli oggetti è critica per applicazioni in cui la raccolta di ulteriori esempi etichettati è difficile, come l'analisi dei pedoni nelle smart city, l'ispezione dei segnali stradali e il rilevamento di oggetti in domini specifici. In questi contesti di dati vincolati, le immagini sintetiche sono preziose per l'addestramento e la valutazione solo se preservano la struttura dell'oggetto, l'ancoraggio spaziale, le informazioni della bounding-box, la diversità visiva e il contesto realistico.

Le esistenti risorse visive su larga scala (ad es., ImageNet, COCO, Cityscapes) sono state progettate principalmente per la classificazione, il rilevamento o la comprensione della scena piuttosto che per la generazione controllata centrata sull'oggetto. Di conseguenza, i subset ad hoc derivati da questi corpora soffrono spesso di incoerenze nella mappatura delle classi, nella costruzione dei ritagli (crop), nel centraggio, nel filtraggio e nelle definizioni degli split. Queste variazioni alterano la difficoltà del compito, ostacolando il confronto equo tra i metodi e la riproducibilità del lavoro pregresso. Inoltre, i dataset esistenti raramente affrontano specifici modi di fallimento nei contesti vincolati, come la perdita della struttura corporea nei dati pedonali sfocati per la privacy, l'overfitting su specifiche apparizioni di segnali o il collasso della diversità dello sfondo nella generazione di piante.

Metodologia

Gli autori propongono una collezione condivisibile di tre risorse di dataset centrate sugli oggetti, progettate per standardizzare l'input per i compiti di generazione di dati vincolati. La collezione unifica tre regimi complementari sotto un'interfaccia comune: ritagli centrati sull'oggetto di 256×256 pixel standardizzati e annotazioni di bounding-box.

La pipeline di costruzione segue un flusso di lavoro in cinque fasi applicato a dati sorgente eterogenei:

1. Ricerca di Rilevamento/Annotazione: Identificazione delle regioni candidate dalle annotazioni sorgente o dai rilevatori.
2. Estrazione/Conversione Box & Armonizzazione delle Classi: Conversione di diversi formati di annotazione (poligoni, maschere di istanza) in bounding box e fusione di classi correlate.
3. Generazione di Ritagli Centrati sull'Oggetto: Creazione di ritagli centrati sul target.
4. Normalizzazione: Ridimensionamento di tutti i ritagli a 256×256.
5. Filtraggio & Generazione degli Split: Filtraggio basato sulla densità dell'oggetto e sulla sovrapposizione, quindi generazione di split train/validation/test.

I tre dataset specifici sono costruiti come segue:

• Cityscapes–Pedestrian: Derivato da frame ad alta risoluzione di Cityscapes utilizzando le annotazioni CityPersons e gtCoarse. Le etichette relative ai pedoni sono unificate in una singola classe. La pipeline rimuove le box duplicate tramite regole di sovrapposizione e genera ritagli attorno alle regioni relative alle persone. Questo regime è caratterizzato da scene dense, sfocatura per la privacy e forte occlusione.
• TrafficSigns: Costruito da immagini di vedute stradali da 1024×768 di proprietà degli autori. Le box candidate per i segnali stradali sono generate utilizzando YOLOv5x e revisionate manualmente. Il dataset offre un regime più pulito, ad alto contrasto, con confini ben definiti e occlusione limitata.
• COCO PottedPlant: Derivato dalle annotazioni di istanza MS-COCO 2017. La pipeline seleziona le istanze di "potted plant", saltando quelle troppo piccole per un ritaglio stabile. I ritagli sono campionati con margini casuali per garantire che la bounding box si trovi interamente all'interno. A differenza degli altri subset, questo dataset preserva le box delle piante intersecanti nelle etichette per mantenere l'integrità dell'annotazione in scene con istanze multiple, offrendo un'alta diversità contestuale e di aspetto.

Contributi Chiave

Il documento presenta cinque contributi primari:

1. Rilascio del Dataset: Una collezione di tre risorse specifiche per classe (Cityscapes–Pedestrian, TrafficSigns, COCO PottedPlant) che coprono scene pedonali dense, segnali stradali puliti e piante in vaso con diversità di contesto.
2. Interfaccia di Benchmark Standardizzata: Un formato comune basato su ritagli 256×256, bounding box, manifest a livello di campione e metadati di split.
3. Pipeline Riproducibili: Pipeline di costruzione complete che coprono rilevamento, armonizzazione delle classi, ritaglio, filtraggio ed esportazione dei metadati.
4. Caratterizzazione dei Regimi: Analisi statistica e qualitativa della densità degli oggetti, della struttura multi-box, dell'occlusione, della sfocatura e della diversità contestuale attraverso i tre subset.
5. Pacchetto di Rilascio Pubblico: Una release completa che contiene i dati diretti ove consentito (TrafficSigns) e gli asset di ricostruzione (script, manifest, tabelle di annotazione, checksum) per i subset con restrizioni (Cityscapes–Pedestrian, COCO PottedPlant).

Risultati e Statistiche

L'attuale rilascio contiene:

• 3.009 campioni TrafficSigns: Distribuiti direttamente con immagini e etichette YOLO.
• 2.156 record di manifest Cityscapes–Pedestrian: Distribuiti tramite manifest pubblici e script di ricostruzione (nessuna immagine a monte).
• 7.679 record di manifest COCO PottedPlant: Distribuiti tramite manifest e script di ricostruzione.

L'analisi statistica rivela regimi distinti:

• Cityscapes–Pedestrian: Alta densità con una media di 8,11 box per record e 100% di record multi-box, enfatizzando l'occlusione e l'ambiguità strutturale.
• TrafficSigns: Densità inferiore con 1,53 box per record e 51,3% di record multi-box, focalizzandosi sulla fedeltà dei bordi e sulla preservazione della forma.
• COCO PottedPlant: Densità moderata con 2,63 box per record e 59,7% di record multi-box, evidenziando la diversità contestuale.

Il documento cita una recente valutazione YOLOv11 utilizzando questi regimi, dove l'aumento sintetico ha migliorato le prestazioni del +7,6% su Cityscapes–Pedestrian e del +30,6% su COCO PottedPlant, mostrando invece un guadagno minore del +1,5% su TrafficSigns, coerentemente con il suo regime più pulito e meno impegnativo.

Significato e Ambito

Il documento posiziona questa collezione come uno strumento per aiutare gli utenti a ispezionare le etichette, creare subset di dimensioni uguali per confronti controllati, rieseguire gli script di ricostruzione ed valutare i metodi di generazione di immagini centrate sugli oggetti o di aumento dei dati sintetici su record standardizzati.

Il significato risiede nel colmare il divario tra le risorse visive su larga scala e le esigenze specifiche della generazione di dati vincolati. Fornendo un'interfaccia standardizzata e modi di fallimento complementari (occlusione/sfocatura vs. geometria pulita vs. diversità contestuale), la risorsa consente ai ricercatori di distinguere se un modello generativo sfrutta regimi visivi ristretti o raggiunge una maggiore robustezza centrata sull'oggetto.

Gli autori dichiarano esplicitamente che la collezione è intenzionalmente focalizzata piuttosto che esaustiva e non sostituisce i dataset generativi su larga scala o i benchmark di rilevamento general-purpose. Il modello di rilascio misto (dati diretti vs. asset di ricostruzione) è progettato per bilanciare la riproducibilità con il rigoroso rispetto dei vincoli di ridistribuzione a monte (ad es., privacy e licenze). Il rilascio aderisce ai principi dei dati FAIR e include la documentazione su motivazione, composizione e uso responsabile del dataset.