Homographic Navigation: Geometry-Driven Camera Guidance for Deterministic Planar Capture

Sintesi Tecnica: Navigazione Omografica

Problema
La cattura di immagini di superfici planari con configurazioni geometriche precise e ripetibili è un requisito fondamentale per applicazioni quali il monitoraggio delle condizioni, l'ispezione superficiale e l'identificazione di artefatti. Sebbene i metodi esistenti eccellano nell'allineamento post-hoc (stima dell'omografia dopo la cattura), spesso falliscono nel guidare il processo di acquisizione stesso. In ambienti non vincolati che coinvolgono telecamere portatili, le variazioni di prospettiva, scala, illuminazione e occlusione portano a catture inconsistenti. Gli attuali metodi allo stato dell'arte per la stima dell'omografia, inclusi gli approcci di deep learning, degradano significativamente in queste condizioni reali. Inoltre, l'omografia viene tipicamente trattata come l'output di un processo di inferenza piuttosto che come una variabile che struttura la pipeline di acquisizione, apprendimento e valutazione.

Metodologia
Il documento propone la Navigazione Omografica, un framework centrato sulla geometria che eleva l'omografia da target di predizione a variabile organizzativa. Il lavoro attuale si concentra sulla Fase Uno di questo framework: l'apprendimento di un modello specifico per un artefatto partendo da una singola immagine di riferimento annotata tramite generazione di dati sintetici guidata dalla geometria.

• Addestramento Sintetico tramite Augmentation Omografica:
  Dato un'immagine di riferimento e un rettangolo di delimitazione allineato agli assi (AABB) definito dall'utente per una regione planare di interesse, il sistema genera dati di addestramento sintetici illimitati. Una sequione stocastica di trasformazioni (rotazione, scala, traslazione e perturbazioni degli angoli) viene applicata al rettangolo di delimitazione per creare un quadrilatero target. Viene calcolata una matrice di omografia ($H$) per deformare l'immagine di riferimento verso questo target. Questo processo simula diverse prospettive, scale e occlusioni parziali. Vengono applicate ulteriori perturbazioni fotometriche e un dropout spaziale strutturato (mascheramento di regioni contigue) per aumentare la robustezza.

• Architettura del Modello:
  Il sistema impiega un'architettura convoluzionale single-shot ispirata a YOLO. Utilizza un backbone ResNet-18 (fino al layer 3) che alimenta un collo multi-risoluzione. Il collo presenta un ramo principale per la struttura semantica e un ramo parallelo di preservazione delle alte frequenze utilizzando compressione dei canali e operazioni di pixel unshuffle. La rete produce una griglia di predizione densa che codifica:

  1. Punteggi di objectness.
  2. Offset dei keypoint per ogni chiave (relativi alle celle della griglia) e stime di confidenza.
  3. Confidenza a livello di campione.
  4. Logit della classe.
     Il modello predice keypoint sparsi (29 nell'implementazione) che definiscono la struttura planare.

• Funzione di Perdita (Loss Function):
  L'addestramento utilizza una loss composita che supervisiona l'objectness, gli offset dei keypoint (Smooth-$\ell_1$), la classificazione e la stima della confidenza. Fondamentalmente, i target di confidenza sono derivati dall'errore geometrico di predizione (distanza euclidea tra i keypoint predetti e quelli reali), permettendo al modello di imparare a sopprimere la confidenza per le predizioni imprecise.

• Inferenza a Due Passaggi e Addestramento Stable Warp:
  Per affrontare i limiti di precisione sotto una risoluzione di input fissa, il sistema utilizza uno schema di inferenza a due passaggi:

  1. Passaggio Globale: Elabora un'immagine intera ridimensionata per produrre predizioni grossolane.
  2. Passaggio di Raffinamento Locale: Utilizza le predizioni grossolane per definire una trasformazione di messa a fuoco, ricampionando l'immagine originale ad alta risoluzione in una regione localizzata centrata sul target. Un secondo passaggio in avanti produce keypoint raffinati.

  Per supportare sia la scoperta globale che il raffinamento locale ad alta precisione con un singolo modello, gli autori introducono l'addestramento Stable Warp. I campioni di addestramento sono generati tramite o augmentation a ampio intervallo (per la robustezza globale) o augmentation vicino al canone (per il raffinamento ad alta precisione), con quest'ultimo che avviene con una probabilità di $\rho \approx 0.3$. Ciò allinea la distribuzione di addestramento con i regimi di inferenza.

Contributi Chiave

1. Framework di Navigazione Omografica: Un nuovo paradigma che tratta l'omografia come una variabile organizzativa che unifica acquisizione, apprendimento e valutazione, passando dalla stima passiva alla guida attiva.
2. Pipeline di Addestramento Sintetico: Un metodo che consente un apprendimento efficiente da una singola immagine di riferimento senza ulteriore etichettatura manuale, utilizzando l'augmentation omografica per simulare diverse condizioni reali.
3. Dataset e Protocollo di Valutazione: L'introduzione di un dataset che spazia tra immagini reali, reali aumentate e sintetiche con annotazioni omografiche coerenti, insieme a un protocollo di valutazione geometrica basato sull'errore di riproiezione piuttosto che sulla diretta regressione dell'accuratezza.
4. Strategia Stable Warp: Una tecnica di addestramento che migliora significativamente l'accuratezza, in particolare nel regime ad alta precisione richiesto per il secondo passaggio di inferenza.

Risultati Sperimentali
L'approccio è stato valutato su tre dataset (Reale, Reale Aumentato, Sintetico) comprendenti 23 classi di artefatti. Le prestazioni sono state misurate utilizzando l'Area Under the Curve (AUC) delle curve di errore cumulativo (normalizzate per la diagonale dell'immagine e la dimensione del target).

• Confronto con i Baseline: Il metodo proposto (HomoNav) è stato confrontato con SIFT+RANSAC e RoMa v2.
  • Sui dati Reali e Reali Aumentati, SIFT ha ottenuto le prestazioni migliori, con HomoNav e Roما v2 che mostrano prestazioni moderate.
  • Sui dati Sintetici, HomoNav ha superato significativamente entrambi i baseline, dimostrando un forte allineamento con la distribuzione di addestramento e robustezza a distorsioni e piccole scale.
• Passaggi di Inferenza: Lo schema a due passaggi ha fornito miglioramenti significativi rispetto al singolo passaggio globale, in particolare nella riduzione dell'errore sulla dimensione del target.
• Studi di Ablazione:
  • La rimozione dell'addestramento Stable Warp ha degradato notevolmente le prestazioni, specialmente per il secondo passaggio di inferenza.
  • Un'architettura Straight Neck (senza pooling) ha ottenuto le migliori prestazioni normalizzate sulla dimensione del target sui dati reali, sebbene con un costo computazionale più elevato rispetto al collo multi-risoluzione.

Significatività e Rivendicazioni
Il documento sostiene di aver stabilito la fattibilità dell'apprendimento guidato dalla geometria e minimamente supervisionato per l'allineamento planare preciso. Trattando l'omografia come una variabile organizzativa, il framework consente un localizzazione accurata da una singola immagine di riferimento. Gli autori posizionano questo lavoro come la base per la ricerca futura sulla navigazione guidata per l'acquisizione di immagini, specificamente la seconda fase del loro framework che prevede la raccolta di dati da video non etichettati "in-the-wild" per migliorare iterativamente il modello e abilitare la guida della telecamera in loop chiuso. Il presente lavoro non pretende di risolvere tutti i problemi di variabilità del mondo reale (come dimostrato dalla superiorità di SIFT sui dati reali), ma dimostra che un allineamento ad alta precisione è ottenibile con minima supervisione e specifici vincoli geometrici.