Deformation-Free Cross-Domain Image Registration via Position-Encoded Temporal Attention

Il paper presenta GPEReg-Net, un metodo di registrazione di immagini cross-dominio privo di deformazioni che, scomponendo le immagini in rappresentazioni invarianti al dominio e statistiche globali e sfruttando un meccanismo di attenzione temporale codificata per la coerenza sequenziale, raggiunge prestazioni all'avanguardia su benchmark retinici e sintetici superando i metodi basati su campi di deformazione.

L'essenziale

Immagina di dover allineare due foto dello stesso oggetto, ma scattate in condizioni molto diverse: una è in bianco e nero, l'altra a colori; una è presa al sole, l'altra all'ombra; o forse una è un'immagine medica del tuo occhio e l'altra è presa con una macchina fotografica diversa.

Il problema è che le due foto non solo sono "spostate" (una è ruotata o spostata rispetto all'altra), ma sembrano anche fatte di materiali diversi. I metodi tradizionali cercano di "stirare" e "deformare" la prima foto per farla combaciare perfettamente con la seconda, come se stessi cercando di piegare un foglio di gomma fino a farlo diventare identico all'altro. Spesso, però, questo processo è lento, complicato e a volte rovina i dettagli.

La soluzione magica: GPEReg-Net

Gli autori di questo studio (Yiwen Wang e Jiahao Qin) hanno avuto un'idea geniale: perché deformare l'immagine se puoi semplicemente cambiare il suo "vestito"?

Hanno creato un sistema chiamato GPEReg-Net che funziona come un truccatore e un architetto che lavorano insieme. Ecco come:

1. La Scomposizione (Il Truccatore)

Invece di guardare l'immagine come un blocco unico, il sistema la divide in due parti distinte, come se separasse la struttura di un edificio dalla sua vernice:

• La Struttura (Scena): È la "forma" delle cose. Dove sono gli oggetti, come sono fatti i contorni. Questa parte è "invariante", cioè non cambia se l'immagine è chiara o scura. È come lo scheletro di una persona.
• L'Aspetto (Apparenza): È il "colore", la luminosità, lo stile. È come i vestiti che indossa la persona.

Il sistema usa un "truccatore" (un encoder) che toglie via tutto il colore e la luminosità dall'immagine che vuoi spostare, lasciandoti solo lo scheletro nudo. Poi, prende l'altra immagine (quella di riferimento) e ne estrae solo il "vestito" (il colore e lo stile).

2. La Ricomposizione (L'Architetto)

Una volta che hai lo scheletro della prima foto e il vestito della seconda, il sistema fa un incrocio perfetto: prende lo scheletro della prima e gli "indossa" il vestito della seconda.
Non c'è bisogno di stirare o deformare nulla! Si usa una tecnica chiamata AdaIN (che è come un interruttore intelligente) che adatta istantaneamente i colori e la luminosità dello scheletro a quelli del vestito.

L'analogia del Cambio d'Abbigliamento:
Immagina di avere una foto di un amico (la foto che vuoi spostare) e una foto di un'altra persona (la foto di riferimento). Invece di cercare di deformare la faccia del tuo amico per farla assomigliare all'altro, il sistema dice: "Ok, prendiamo la faccia del tuo amico (struttura) e gli mettiamo addosso i vestiti, il trucco e l'illuminazione della seconda persona (aspetto)." Il risultato è un'immagine che sembra perfettamente allineata e con lo stile giusto, senza aver mai toccato la geometria della faccia.

3. La Memoria Temporale (Il Regista)

C'è un altro dettaglio importante. Spesso queste immagini non sono singole, ma fanno parte di un video o di una sequenza (come un video di un esame oculare).
Il sistema ha una "memoria" speciale. Guarda non solo l'immagine attuale, ma anche le 2 immagini precedenti (come un regista che guarda i fotogrammi prima di decidere cosa fare). Usa un meccanismo chiamato "attenzione temporale" per capire che il movimento è fluido e coerente. È come se il sistema dicesse: "So che in questo momento la luce cambia un po', ma so che l'oggetto si sta muovendo in modo continuo, quindi non mi confondo."

Perché è così speciale?

1. È velocissimo: I vecchi metodi che "stirano" le immagini sono lenti e complessi. Questo sistema, non dovendo calcolare deformazioni complicate, è quasi due volte più veloce dei migliori metodi attuali.
2. Funziona ovunque: È stato testato su due mondi molto diversi:
   • Occhi umani (FIRE): Dove le immagini sono mediche e delicate.
   • Texture sintetiche (HPatches): Dove ci sono pattern astratti e colori strani.
     In entrambi i casi, ha battuto tutti i record, ottenendo immagini più nitide e allineate meglio di chiunque altro.
3. Nessuna deformazione: Elimina la necessità di calcolare campi di deformazione, rendendo il processo più stabile e meno soggetto a errori.

In sintesi

Il paper ci dice che per allineare immagini diverse, non serve forza bruta (deformare l'immagine). Serve intelligenza: capire che la "forma" e il "colore" sono cose separate. Se riesci a separarle, puoi semplicemente scambiare il colore tra le immagini per farle combaciare perfettamente, risparmiando tempo e ottenendo risultati migliori.

È come se avessimo smesso di cercare di piegare la realtà per farla combaciare, e avessimo iniziato a vestirla nel modo giusto.

Sommario tecnico

1. Il Problema: Registrazione di Immagini Cross-Dominio

Il lavoro affronta il problema della registrazione di immagini cross-dominio, dove una coppia di immagini (immagine mobile $I_m$ e immagine fissa $I_f$) presenta sia un disallineamento geometrico accoppiato sia uno spostamento di aspetto specifico del dominio (ad esempio, differenze nelle distribuzioni di intensità dovute a condizioni di acquisizione diverse, come nel caso di imaging retinico o cambiamenti di punto di vista).

Le metodologie convenzionali si basano sull'assunzione di costanza della luminosità ($I_m(x) \approx I_f(x + u)$), che viene sistematicamente violata in contesti cross-dominio. I metodi classici (SIFT, Demons, flusso ottico) e quelli basati sull'apprendimento profondo che stimano campi di deformazione (VoxelMorph, TransMorph) tendono a degradare le prestazioni quando le distribuzioni di intensità differiscono significativamente, poiché tentano di allineare direttamente i pixel senza separare la struttura dalla texture.

2. Metodologia: GPEReg-Net

Gli autori propongono GPEReg-Net, un framework che risolve il problema della registrazione non stimando un campo di deformazione esplicito, ma formulandolo come un problema di fattorizzazione.

Concetto Chiave: Fattorizzazione Scena-Aspetto

L'idea fondamentale è decomporre ogni immagine in due componenti latenti:

1. Rappresentazione della Scena ($s$): Una rappresentazione invariante al dominio che codifica la struttura spaziale.
2. Statistica dell'Aspetto ($a$): Una statistica globale specifica del dominio che codifica il profilo di intensità.

La registrazione viene quindi ridotta alla ricombinazione della struttura della scena di $I_m$ con l'aspetto di $I_f$ utilizzando la Normalizzazione Istantanea Adattiva (AdaIN), eliminando la necessità di calcolare campi di spostamento complessi.

Architettura del Modello

Il framework è composto da quattro moduli principali:

1. SceneEncoder ($S$): Basato su una U-Net con connessioni residue e Instance Normalization (IN). L'IN rimuove le statistiche di intensità specifiche dell'istanza, estraendo solo le caratteristiche strutturali invariabili al dominio ($s \in \mathbb{R}^{64 \times H \times W}$).
2. AppearanceEncoder ($A$): Una rete CNN che estrae un codice globale di aspetto ($a \in \mathbb{R}^{32}$) dall'immagine fissa, catturando le statistiche di intensità del dominio target tramite Global Average Pooling e layer fully connected.
3. Global Position Encoding (GPE): Un modulo innovativo che sfrutta la coerenza temporale nelle acquisizioni sequenziali. Combina:
   • Embedding di posizione apprendibili.
   • Codifica sinusoidale.
   • Attention temporale cross-frame: Un meccanismo di attenzione multi-testa (4 teste) su una finestra scorrevole di $k$ frame vicini. Questo arricchisce la rappresentazione della scena con il contesto inter-frame.
4. ImageDecoder ($D$): Ricostruisce l'output registrato $\hat{I}_r$ modulando le caratteristiche della scena potenziate ($\tilde{s}$) con il codice di aspetto target ($a$) tramite blocchi AdaIN.

La formula di ricombinazione è:
$$\hat{I}_r = D(\text{AdaIN}(\tilde{s}, a))$$
dove $\text{AdaIN}(s, a) = \gamma(a) \cdot \frac{s - \mu(s)}{\sigma(s)} + \beta(a)$.

Funzione di Loss

L'addestramento ottimizza un obiettivo bi-obbiettivo:

• $L_{recon}$: Fedeltà di ricostruzione a livello di pixel ($\|\hat{I}_r - I_f\|_1$).
• $L_{scene}$: Un regolarizzatore di fattorizzazione che forza la coerenza della rappresentazione della scena tra immagini diverse dello stesso contenuto ($\|S(I_m) - S(I_f)\|_2^2$), assicurando che la struttura rimanga invariata nonostante i cambiamenti di aspetto.

3. Contributi Chiave

1. Fattorizzazione Scena-Aspetto: Formalizzazione della registrazione cross-dominio come problema di fattorizzazione latente, eliminando completamente la stima dei campi di deformazione.
2. Attention Temporale Codificata per Posizione: Introduzione di un modulo GPE che fonde embedding di posizione e meccanismi di attenzione per sfruttare la coerenza temporale in acquisizioni sequenziali, migliorando la consistenza tra i frame.
3. Valutazione Cross-Dominio Completa: Validazione su due benchmark diversificati (medico e sintetico), dimostrando che l'architettura generalizza efficacemente senza bisogno di ri-adattamento strutturale.

4. Risultati Sperimentali

Il modello è stato valutato su due benchmark principali:

• FIRE-Reg-256 (Imaging Retinico, deformazioni semi-rigide):

  • GPEReg-Net ha raggiunto prestazioni State-of-the-Art (SOTA) superando tutti i baselines, inclusi metodi basati su deformazione.
  • Metriche: SSIM = 0.928, PSNR = 33.47 dB, NCC = 0.851.
  • Ha superato SAS-Net (il precedente miglior metodo) di 1.26 dB in PSNR.

• HPatches-Reg-256 (Patch testurizzate sintetiche, trasformazioni affini):

  • Dimostrazione di una forte capacità di trasferimento cross-dominio.
  • Metriche: SSIM = 0.450, PSNR = 21.01 dB, NCC = 0.536.
  • Ha superato il miglior baseline (SAS-Net) di 0.86 dB in PSNR, mentre i metodi basati su deformazione (VoxelMorph, TransMorph) hanno fallito a causa delle grandi trasformazioni affini.

Efficienza Computazionale

• Velocità: GPEReg-Net opera a 69 FPS (latenza di 14.52 ms su GPU RTX 5090).
• È 1.87 volte più veloce di SAS-Net (37 FPS) grazie all'architettura di decodifica basata su AdaIN, pur mantenendo un numero di parametri simile (3.40M).
• Sebbene i metodi basati su deformazione siano più veloci in assoluto (es. VoxelMorph a 327 FPS), offrono qualità di registrazione significativamente inferiore.

5. Significato e Conclusioni

Il lavoro dimostra che la separazione della struttura spaziale dalle variazioni di aspetto è una strategia superiore per la registrazione cross-dominio rispetto alla stima diretta di campi di deformazione.

• Generalizzazione: L'approccio basato su fattorizzazione si adatta bene a domini di imaging radicalmente diversi (medico vs sintetico) senza modifiche architetturali.
• Tempo Reale: La capacità di elaborazione in tempo reale (69 FPS) rende il metodo applicabile in scenari clinici e di ricerca dove la velocità è critica.
• Limitazioni Future: L'attuale modello di aspetto cattura solo statistiche globali; futuri lavori potrebbero esplorare mappe di aspetto condizionate spazialmente per gestire gradienti di illuminazione locali e codifiche di posizione adattive per sequenze più lunghe.

In sintesi, GPEReg-Net rappresenta un cambio di paradigma, passando dalla ricerca di "come spostare i pixel" alla ricomposizione intelligente di "cosa c'è" (scena) e "come appare" (aspetto), ottenendo risultati superiori in termini di qualità e velocità.