Homographic Navigation: Geometry-Driven Camera Guidance for Deterministic Planar Capture

Technische Samenvatting: Homografische Navigatie

Probleemstelling
Het vastleggen van afbeeldingen van vlakke oppervlakken met precieze, reproduceerbare geometrische configuraties is een fundamentele vereiste voor toepassingen zoals conditiebewaking, oppervlakteinspectie en artefactidentificatie. Hoewel bestaande methoden uitblinken in post-hoc uitlijning (het schatten van homografie na de opname), falen ze vaak in het sturen van het acquisitieproces zelf. In ongecontroleerde omgevingen waarbij handcamera's worden gebruikt, leiden variaties in gezichtspunt, schaal, verlichting en occlusie tot inconsistente opnames. De huidige state-of-the-art methoden voor homografie-schatting, inclusief deep learning-benaderingen, degraderen aanzienlijk onder deze real-world condities. Bovendien wordt homografie doorgaans behandeld als een output van een inferentieproces in plaats van een variabele die de acquisitie-, leer- en evaluatiepipeline structureert.

Methodologie
Het artikel stelt Homografische Navigatie voor, een geometrie-gecentreerd framework dat homografie verheft van een voorspellingstarget naar een organiserende variabele. Het huidige werk richt zich op Fase Eén van dit framework: het leren van een artefact-specifiek model vanaf een enkele geannoteerde referentie-afbeelding met behulp van geometrie-gestuurde synthetische datageneratie.

• Synthetische Training via Homografische Augmentatie:
  Gegeven een enkele referentie-afbeelding en een door de gebruiker gedefinieerd axis-aligned bounding box (AABB) voor een vlak gebied van belang, genereert het systeem onbeperkte synthetische trainingsdata. Een stochastische sequentie van transformaties (rotatie, schaling, translatie en hoek-perturbaties) wordt toegepast op het bounding box om een doel-kwadraat te creëren. Dit proces simuleert diverse gezichtspunten, schalen en gedeeltelijke occlusies. Aanvullende fotometrische perturbaties en gestructureerde ruimtelijke dropout (het maskeren van aaneengesloten regio's) worden toegepast om de robuustheid te vergroten.

• Modelarchitectuur:
  Het systeem maakt gebruik van een single-shot convolutionele architectuur geïnspireerd door YOLO. Het maakt gebruik van een ResNet-18 backbone (tot laag 3) die gevoed wordt door een multi-resolutie neck. De neck bevat een hoofdbranch voor semantische structuur en een parallelle branch voor het behoud van hoge frequenties met behulp van kanaalcompressie en pixel unshuffle operaties. Het netwerk voert een dense predictiegrid uit dat het volgende codeert:

  1. Objectness scores.
  2. Per-keypoint offsets (relatief ten opzichte van grid cells) en betrouwbaarheidsschattingen.
  3. Sample-level betrouwbaarheid.
  4. Class logits.
     Het model voorspelt ijle (sparse) keypoints (29 in de implementatie) die de vlakke structuur definiëren.

• Verliesfunctie:
  Training maakt gebruik van een samengestelde loss die objectness, keypoint offsets (Smooth-$\ell_1$), classificatie en betrouwbaarheidsschatting superviseert. Cruciaal is dat betrouwbaarheidstargets worden afgeleid van de geometrische voorspellingsfout (Euclidische afstand tussen voorspelde en grondwaarheid keypoints), waardoor het model leert om de betrouwbaarheid te onderdrukken bij onnauwkeurige voorspellingen.

• Two-Pass Inference en Stable Warp Training:
  Om precisiebeperkingen onder een vaste inputresolutie aan te pakken, gebruikt het systeem een two-pass inference schema:

  1. Global Pass: Verwerkt een hermaatgeschaalde volledige afbeelding om grove voorspellingen te produceren.
  2. Local Refinement Pass: Gebruikt de grove voorspellingen om een focus-transformatie te definiëren, waarbij de originele hoog-resolutie afbeelding wordt her-gesampled naar een gelokaliseerde regio gecentreerd rond het doel. Een tweede forward pass levert verfijnde keypoints op.

  Om zowel globale ontdekking als hoog-precieze lokale verfijning met één enkel model te ondersteunen, introduceren de auteurs Stable Warp training. Trainingsamples worden gegenereerd via ofwel wide-range augmentatie (voor globale robuustheid) ofwel near-canonical augmentatie (voor hoog-precieze verfijning), waarbij de laatste plaatsvindt met een kans van $\rho \approx 0.3$. Dit brengt de trainingsdistributie in lijn met de inferentie-regimes.

Belangrijkste Bijdragen

1. Homografische Navigatie Framework: Een nieuw paradigma dat homografie behandelt als een organiserende variabele die acquisitie, leren en evaluatie verenigt, waarbij de verschuiving plaatsvindt van passieve schatting naar actieve sturing.
2. Synthetische Trainingspipeline: Een methode die efficiënt leren mogelijk maakt vanaf een enkele referentie-afbeelding zonder extra handmatige labeling, door gebruik te maken van homografische augmentatie om diverse real-world condities te simuleren.
3. Dataset en Evaluatieprotocol: De introductie van een dataset die real, augmented real en synthetische beelden beslaat met consistente homografie-annotaties, samen met een geometrisch evaluatieprotocol gebaseerd op reprojectiefout in plaats van directe regressienauwkeurigheid.
4. Stable Warp Strategie: Een trainings-techniek die de nauwkeurigheid aanzienlijk verbetert, met name in het hoog-precieze regime dat vereist is voor de tweede inference pass.

Experimentele Resultaten
De aanpak werd geëvalueerd op drie datasets (Real, Real Augmented, Synthetic) bestaande uit 23 artefact-klassen. Prestaties werden gemeten met de Area Under the Curve (AUC) van cumulatieve foutcurves (genormaliseerd door de beelddiagonaal en doelgrootte).

• Vergelijking met Baselines: De voorgestelde methode (HomoNav) werd vergeleken met SIFT+RANSAC en RoMa v2.
  • Op Real en Augmented Real data presteerde SIFT het best, waarbij HomoNav en RoMa v2 een matige prestatie lieten zien.
  • Op Synthetic data presteerde HomoNav significant beter dan beide baselines, wat duidt op een sterke afstemming met de trainingsdistributie en robuustheid tegen distorties en kleine schalen.
• Inference Passes: Het two-pass schema leverde significante verbeteringen op ten opzichte van de single global pass, met name in het verminderen van de fout op de doelgrootte.
• Ablatie-studies:
  • Het verwijderen van Stable Warp training degradeerde de prestaties aanzienlijk, vooral voor de tweede inference pass.
  • Een Straight Neck architectuur (zonder pooling) bereikte de beste target-size-genormaliseerde prestaties op real data, zij het tegen een hogere computationele kosten vergeleken met de multi-resolutie neck.

Significantie en Claims
Het artikel beweert de haalbaarheid aan te tonen van geometrie-gestuurd, minimaal gesuperviseerd leren voor precieze vlakke uitlijning. Door homografie als een organiserende variabele te behanden, maakt het framework nauwkeurige lokalisatie mogelijk vanaf een enkele referentie-afbeelding. De auteurs positioneren dit werk als de basis voor toekomstig onderzoek naar navigatie-gestuurde beeldacquisitie, specifiek de tweede fase van hun framework die het oogsten van data uit ongeannoteerde "in-the-wild" video's om het model iteratief te verbeteren en closed-loop camerasturing mogelijk te maken. Het huidige werk claimt niet alle real-world variabiliteitsproblemen op te lossen (zoals blijkt uit de superieure prestaties van SIFT op real data), maar demonstreert dat hoog-precieze uitlijning haalbaar is met minimale supervisie en specifieke geometrische beperkingen.