Align and Segment: Unsupervised Learning for Building Segmentation From Misaligned Labels

Sintesi Tecnica: Align and Segment (AnS)

Problematica
L'apprendimento supervisionato per la segmentazione delle immagini richiede tipicamente set di immagini e label spazialmente allineati. Tuttavia, nel telerilevamento e in altri domini, le etichette spesso provengono da fonti diverse (ad esempio, OpenStreetMap, dati crowdsourced) rispetto alle immagini (ad esempio, satellitari o da drone), il che risulta in un significativo disallineamento spaziale. Questo disallineamento agisce come una forma di rumore nelle etichette che può deteriorare gravemente le prestazioni del modello.

Una sfida critica identificata in questo lavoro è il disallineamento sistematico (rumore con bias), come errori di traslazione costanti causati da una errata ortorettificazione o da imprecisioni nei registri catastali. Le reti di segmentazione standard possiedono una capacità sufficiente per apprendere semplicemente queste etichette disallineate, effettuando una sorta di "scorciatoia" (shortcut learning) nel processo di apprendimento, prevedendo direttamente le etichette rumorose invece di apprendere la vera segmentazione sottostante. Gli approcci esistenti a questo problema spesso assumono disallineamenti piccoli e non polarizzati (unbiased) o richiedono etichette "golden" (pulite, di ground-truth) per la supervisione, che sono scarse in molti scenari reali, particolarmente nelle regioni prive di dati edilizi di alta qualità.

Metodologia: Align and Segment (AnS)
Gli autori propongono Align and Segment (AnS), un framework non supervisionato e agnostico rispetto al modello, che apprende simultaneamente l'allineamento delle etichette e la segmentazione semantica senza richiedere alcuna etichetta "golden". L'architettura è composta da due componenti primarie:

1. Rete di Segmentazione (SNet): Una rete di segmentazione semantica canonica (ad esempio, U-Net con encoder ConvNeXt) che mappa le immagini di input in maschere di segmentazione probabilistiche.
2. Rete di Trasformazione (TNet): Un modulo leggero ispirato alle Spatial Transformer Networks (STN). Esso riceve in input la maschera dell'etichetta disallineata e la maschera di segmentazione predetta dalla SNet per predire i parametri di una trasformazione affine ($\hat{\theta}$). Questa trasformazione viene applicata all'etichetta disallineata per produrre una maschera riallineata ($I_{\hat{y}a}$).

Per evitare che la SNet apprenda le etichette disallineate direttamente (shortcut learning) e per garantire che la TNet apprenda la trasformazione corretta, gli autori introducono due meccanismi chiave:

• Perdita di Coerenza ($L_{Con}$): Un termine di regolarizzazione auto-supervisionato. Il sistema applica una trasformazione casuale nota all'etichetta disallineata e la fornisce alla TNet. La TNet viene penalizzata se non riesce a predire l'inverso di questa trasformazione nota. Fondamentalmente, questa perdita è indipendente dall'output della SNet, costringendo la TNet ad apprendere l'allineamento basandosi sulla relazione tra le due maschere di segmentazione piuttosto che fare affidamento sulle potenzialmente rumorose predizioni della SNet.
• Data Augmentation: Per contrastare i bias sistematici (ad esempio, uno spostamento costante di 50 pixel), gli autori applicano aumenti geometrici (flip, rotazioni) sia alle coppie immagine-etichetta che alle etichette disallineate. Ciò assicura che, in termini di aspettativa, il bias di traslazione venga rimosso, impedendo al modello di stabilizzarsi in un ottimo locale dove apprende il bias invece del vero allineamento.

L'obiettivo totale di addestramento combina la classica perdita di cross-entropy tra le etichette riallineate e la predizione della SNet con la perdita di coerenza.

Contributi Chiave

1. Metodologia Innovativa: La proposta di AnS, un approccio plug-and-play che consente l'apprendimento diretto da etichette disallineate utilizzando qualsiasi rete di segmentazione semantica esistente, senza richiedere etichette "golden" o assumere trasformazioni non polarizzate.
2. Strategia di Disgiunzione (Disentanglement): La dimostrazione che la combinazione di una perdita di auto-coerenza con specifiche tecniche di data augmentation mitiga efficacemente lo shortcut learning, permettendo alla rete di separare la correzione dell'allineamento dalla predizione della segmentazione.
3. Validazione Empirica: Esperimenti estesi su dataset sintetici e reali (Las Vegas, Parigi, Khartoum, San Juan e un dataset multi-città ReBO) che mostrano come AnS generalizzi attraverso diverse città, densità edilizie e livelli di rumore (sia casuale che sistematico).

Risultati

• Prestazioni: Sui dataset sintetici con bias sistematico ($D_{bias}$), AnS ha superato significativamente i baseline non supervisionati (Map Alignment, AutoCorrect, Spatial Correction) e ha ottenuto risultati competitivi rispetto ai baseline supervisionati (MapRepair, Alignment Correction Network) che tipicamente richiedono etichette pulite o condizioni di addestramento specifiche.
• Robustezza: Il metodo è rimasto robusto a magnitudo di disallineamento fino a 100 pixel in scenari di rumore casuale e circa 70 pixel in scenari di bias sistematico.
• Studi di Ablazione: Gli esperimenti hanno confermato che la perdita di coerenza e la data augmentation sono complementari; rimuoverne una portava a un degrado delle prestazioni, particolarmente in contesti di bias sistematico.
• Applicazione nel Mondo Reale: Quando applicato alle impronte degli edifici di OpenStreetMap accoppiate con immagini WorldView-3, AnS ha corretto con successo i disallineamenti. Sebbene le maschere di segmentazione risultanti presentassero una certa sfocatura (attribuita agli errori intrinseci delle etichette e alla mancanza di una loss specifica per i bordi), le trasformazioni di allineamento sono state stimate accuratamente.

Significatività
Il paper sostiene che il disallineamento tra l'immagini indipendenti e i dati esistenti sulle impronte (come OpenStreetMap o Google Open Buildings) sia un collo di bottiglia principale che impedisce l'utilizzo su larga scala di questi preziosi dataset curati manualmente per l'addestramento di modelli di deep learning. Dimostrando che è possibile apprendere simultaneamente una segmentazione degli edifici di alta qualità e un preciso allineamento delle etichette senza etichette "golden", AnS offre una via per generare dati sulle impronte edilizie economici e di alta qualità con una copertura estesa. Ciò è particolarmente significativo per applicazioni nella pianificazione urbana e nella valutazione del rischio in insediamenti informali dove i dati curati sono scarsi. Il lavoro stabilisce che l'apprendimento congiunto di allineamento e segmentazione non è solo fattibile, ma essenziale per sfruttare le vaste quantità di dati geospaziali esistenti, seppur disallineati.