3D-LENS: A 3D Lifting-based Elevated Novel-view Synthesis method for Single-View Aerial-Ground Re-Identification

1. Definizione del Problema: Re-ID Aereo-Terrestre da Singola Vista (SV AG-ReID)

Contesto: Il Re-Identification Aereo-Terrestre (AG-ReID) mira a corrispondere le identità tra immagini aeree (UAV) e immagini a livello del suolo (CCTV/Indossabili). Questo è fondamentale per applicazioni come la Ricerca e Soccorso (SAR) e il monitoraggio della fauna selvatica.
La Sfida:

• Divario di Prospettiva: I drastici cambiamenti di elevazione causano severe auto-occlusioni e distorsioni delle caratteristiche (ad esempio, il volto di un pedone è visibile da terra ma nascosto da una vista aerea dall'alto).
• Scarsità di Dati: I metodi esistenti si basano su annotazioni accoppiate aereo-terrestri o su adattamenti non supervisionati che richiedono dati del dominio target. In scenari reali di avvio a freddo (ad esempio, una missione SAR improvvisa), sono disponibili solo dati da singola vista (ad esempio, riferimenti a livello del suolo).
• Limitazioni delle Soluzioni Attuali:
  • Modelli Generativi 2D: Spesso producono visuali geometricamente incoerenti (allucinando texture diverse per lo stesso oggetto attraverso le viste) e non riescono a simulare l'occlusione strutturale.
  • Metodi Parametrici 3D: Si basano su modelli specifici per classe (ad esempio, SMPL per gli umani, CAD per le auto), fallendo nel generalizzare a categorie diverse o nel catturare dettagli fini come oggetti trasportati (zaini, attrezzi).

Formalizzazione: Gli autori introducono SV AG-ReID, un contesto in cui un modello viene addestrato esclusivamente su una singola vista (ad esempio, Terrestre) e deve generalizzare a una vista target non vista (ad esempio, Aerea) senza alcuna supervisione incrociata tra le viste.

2. Metodologia: Il Framework 3D-LENS

La soluzione proposta, 3D-LENS, è un framework unificato composto da due fasi principali: Sintesi di Visuali Nuove Geometricamente Coerenti e Apprendimento di Rappresentazioni Robuste.

A. Sintesi di Visuali Nuove Geometricamente Coerenti

Questa fase genera immagini sintetiche della vista target da immagini sorgente singole utilizzando geometria 3D esplicita.

1. Sollevamento Calibrato da 2D a 3D:
   • Un'immagine sorgente viene segmentata per estrarre il primo piano.
   • Un modello di ricostruzione 3D su larga scala e agnostico alla classe (Hunyuan3D) solleva l'immagine 2D in una mesh 3D textureizzata, unificando geometria e aspetto.
   • Calibrazione della Pose: Poiché la mesh ricostruita esiste in uno spazio di coordinate arbitrario, la pose della telecamera virtuale viene ottimizzata per allineare il silhouette della mesh renderizzata con la maschera di input originale (massimizzando l'IoU).
2. Sintesi della Vista:
   • Le nuove visuali vengono renderizzate perturbando la pose della telecamera calibrata (spostando elevazione $\Delta\theta$ e azimut $\Delta\phi$).
   • Vincolo: Gli angoli di sintesi sono limitati per preservare la fedeltà visiva (ad esempio, limitando gli spostamenti di elevazione per evitare di allucinare regioni occluse non visibili).
3. Allineamento del Dominio Sintetico-Reale:
   • Compositing dello Sfondo: I primi piani renderizzati vengono composti su sfondi reali (utilizzando l'inpainting per rimuovere il soggetto originale).
   • Trasferimento di Stile: Un modulo di trasferimento di stile allinea le caratteristiche visive del primo piano sintetico con lo sfondo reale per eliminare artefatti di rendering e incoerenze di illuminazione.

B. Apprendimento di Rappresentazioni Robuste

Per addestrare efficacemente su un mix di dati reali e sintetici, il framework impiega strategie di apprendimento specifiche:

1. Programmatore di Curriculum:
   • La difficoltà di addestramento è controllata dall'entità dello spostamento di elevazione ($\Delta\theta$).
   • Inizialmente, il modello viene addestrato solo su visuali sintetiche "facili" (piccoli spostamenti). Man mano che l'addestramento procede (periodo di warmup), la probabilità di rifiuto per le prospettive estreme diminuisce, permettendo al modello di apprendere gradualmente l'intero divario di prospettiva.
2. Campionamento Bilanciato:
   • Poiché una singola immagine reale può generare molte visuali sintetiche, un campionamento ingenuo porta al dominio dei dati sintetici.
   • Un rapporto fisso ($\rho$) di campioni reali-sintetici è imposto in ogni mini-batch per prevenire l'overfitting sugli artefatti sintetici.
3. Funzioni di Perdita:
   • Perdite standard per ReID (Cross-Entropy dell'Identità e Perdita Triplet).
   • Perdita di Classificazione del Dominio: Viene aggiunto un token di dominio allo scheletro ViT per distinguere esplicitamente tra i domini reale e sintetico, incoraggiando il modello ad apprendere caratteristiche di identità che sono invarianti rispetto al divario di dominio.

3. Contributi Chiave

1. Impostazione SV AG-ReID: La prima formalizzazione e soluzione per AG-ReID in cui i modelli devono generalizzare da una singola vista senza dati accoppiati tra le viste.
2. Sintesi 3D Agnostica alla Classe: Pionierizza l'uso di ricostruzioni 3D generiche su larga scala (invece di modelli specifici per categoria) per ReID. Ciò permette al metodo di gestire categorie diverse (umani, animali, veicoli) e catturare dettagli specifici dell'istanza (ad esempio, zaini) che i modelli parametrici perdono.
3. Coerenza Geometrica: Sollevando a mesh 3D e renderizzando, il metodo garantisce coerenza multi-vista, risolvendo il problema dell'incoerenza dell'identità intrinseco nei modelli generativi 2D.
4. Strategia di Addestramento Robusta: Introduce un approccio di apprendimento curricolare e campionamento bilanciato per colmare efficacemente il divario di dominio sintetico-reale.

4. Risultati Sperimentali

Il metodo è stato valutato su tre benchmark: AG-ReID, AG-ReID.v2 e MOO (dataset di bestiame).

• Prestazioni: 3D-LENS ottiene risultati Stato dell'Arte (SOTA) in tutti gli scenari.
  • Su AG-ReID, supera il metodo precedente migliore (DCAC) di 14,30 punti percentuali (pp) in mAP per l'impostazione da Terra ad Aerea.
  • Su AG-ReID.v2, supera la baseline migliore (PASS) di 21,20 pp in mAP per l'impostazione da CCTV ad Aerea.
  • Su MOO (bestiame), supera la baseline equivariante alla rotazione (RotTrans) di 10,0 pp, dimostrando generalizzabilità oltre gli umani.
• Studi di Ablazione:
  • La sintesi grezza di nuove visuali senza allineamento danneggia le prestazioni.
  • Il compositing dello sfondo e il trasferimento di stile sono cruciali per colmare il divario di aspetto.
  • La combinazione di apprendimento curricolare e campionamento bilanciato è essenziale per stabilizzare l'addestramento e prevenire l'overfitting sintetico.

5. Significato e Lavori Futuri

• Significato: 3D-LENS dimostra che la geometria 3D esplicita è un percorso praticabile per risolvere i divari di prospettiva estremi in ReID senza richiedere dati accoppiati costosi. Abilita il recupero incrociato di viste robusto in scenari reali di "avvio a freddo" come la risposta ai disastri.
• Limitazioni e Direzioni Future: La qualità delle visuali sintetizzate è limitata dalla risoluzione dell'immagine sorgente e dall'occlusione. I lavori futuri dovrebbero concentrarsi su meccanismi automatizzati di controllo qualità per filtrare le visuali sintetiche di bassa qualità durante l'addestramento, assicurando che i dati generati aiutino costantemente le prestazioni del modello invece di ostacolarle.

Disponibilità del Codice: Gli autori intendono rilasciare codice e dati all'indirizzo https://github.com/TurtleSmoke/3D-LENS.