Homographic Navigation: Geometry-Driven Camera Guidance for Deterministic Planar Capture

Sumário Técnico: Navegação Homográfica

Declaração do Problema
Capturar imagens de superfícies planas com configurações geométricas precisas e repetíveis é um requisito fundamental para aplicações como monitoramento de condições, inspeção de superfícies e identificação de artefatos. Embora os métodos existentes se destaqum no alinhamento post-hoc (estimando a homografia após a captura), eles frequentemente falham em guiar o próprio processo de aquisição. Em ambientes não controlados envolvendo câmeras manuais, variações de viewpoint, escala, iluminação e oclusão levam a capturas inconsistentes. Os métodos atuais de estimativa de homografia de última geração, incluindo abordagens de aprendizado profundo, degradam-se significamente sob essas condições do mundo real. Além disso, a homografia é tipicamente tratada como um resultado de um processo de inferência, em vez de uma variável que estrutura o pipeline de aquisição, aprendizado e avaliação.

Metodologia
O artigo propõe a Navegação Homográfica, um framework centrado na geometria que eleva a homografia de um alvo de predição para uma variável organizadora. O presente trabalho foca na Fase Um deste framework: aprender um modelo específico de artefato a partir de uma única imagem de referência anotada usando geração de dados sintéticos orientada pela geometria.

• Treinamento Sintético via Aumento Homográfico:
  Dado uma imagem de referência e uma caixa delimitadora alinhada aos eixos (AABB) definida pelo usuário para uma região de interesse planar, o sistema gera dados de treinamento sintéticos ilimitados. Uma sequência estocástica de transformações (rotação, escala, translação e perturbações de cantos) é aplicada à caixa delimitadora para criar um quadrilátero alvo. Uma matriz de homografia ($H$) é computada para deformar (warp) a imagem de referência para este alvo. Este processo simula diversos viewpoints, escalas e oclusões parciais. Perturbações fotométricas adicionais e dropout espacial estruturado (mascaramento de regiões contíguas) são aplicados para aumentar a robustez.

• Arquitetura do Modelo:
  O sistema utiliza uma arquitetura convolucional de disparo único (single-shot) inspirada no YOLO. Utiliza um backbone ResNet-18 (até a camada 3) alimentando um neck de multirresolução. O neck apresenta um ramo principal para estrutura semântica e um ramo paralelo de preservação de alta frequência usando compressão de canais e operações de pixel unshuffle. A rede produz uma grade de predição densa codificando:

  1. Scores de objetidade (objectness).
  2. Offsets de pontos-chave por ponto-chave (relativos às células da grade) e estimativas de confiança.
  3. Confiança ao nível da amostra.
  4. Logits de classe.
     O modelo prediz pontos-chave esparsos (29 na implementação) que definem a estrutura planar.

• Função de Perda:
  O treinamento utiliza uma perda composta que supervisiona objetidade, offsets de pontos-chave (Smooth-$\ell_1$), classificação e estimativa de confiança. Crucialmente, os alvos de confiança são derivados do erro geométrico de predição (distância euclidiana entre o ponto-chave previsto e o real), permitindo que o modelo aprenda a suprimir a confiança para predições imprecisas.

• Inferência de Dois Passos e Treinamento de Warp Estável:
  Para abordar limitações de precisão sob resolução de entrada fixa, o sistema utiliza um esquema de inferência de dois passos:

  1. Passo Global: Processa uma imagem completa redimensionada para produzir predições grosseiras.
  2. Refinamento Local: Utiliza as predições grosseiras para definir uma transformação de foco, reamostrando a imagem original de alta resolução para uma região localizada centrada no alvo. Um segundo passo de propagação (forward pass) produz pontos-chave refinados.

  Para suportar tanto a descoberta global quanto o refinamento local de alta precisão com um único modelo, os autores introduzem o treinamento de Warp Estável (Stable Warp training). As amostras de treinamento são geradas via aumento de ampla faixa (para robustez global) ou aumento próximo ao canônico (para refinamento de alta precisão), sendo que este último ocorre com uma probabilidade de $\rho \approx 0.3$. Isso alinha a distribuição de treinamento com os regimes de inferência.

Principais Contribuições

1. Framework de Navegação Homográfica: Um novo paradigma que trata a homografia como uma variável organizadora que unifica aquisição, aprendizado e avaliação, mudando de uma estimativa passiva para um guia ativo.
2. Pipeline de Treinamento Sintético: Um método que permite o aprendizado eficiente a partir de uma única imagem de referência sem necessidade de rotulagem manual adicional, usando aumento homográfico para simular diversas condições do mundo real.
3. Dataset e Protocolo de Avaliação: A introdução de um dataset abrangendo imagens reais, reais aumentadas e sintéticas com anotações de homografia consistentes, juntamente com um protocolo de avaliação geométrica baseado em erro de reprojeção em vez de regressão direta.
4. Estratégia de Warp Estável: Uma técnica de treinamento que melhora significamente a precisão, particularmente no regime de alta precisão exigido para o segundo passo de inferência.

Resultados Experimentais
A abordagem foi avaliada em três datasets (Real, Real Aumentado, Sintético) compreendendo 23 classes de artefatos. O desempenho foi medido usando a Área Sob a Curva (AUC) de curvas de erro cumulativo (normalizadas pelo diagonal da imagem e tamanho do alvo).

• Comparação com Baselines: O método proposto (HomoNav) foi comparado com SIFT+RANSAC e RoMa v2.
  • Nos dados Real e Real Aumentado, o SIFT apresentou o melhor desempenho, com o HomoNav e o RoMa v2 mostrando desempenho moderado.
  • Nos dados Sintéticos, o HomoNav superou significativamente ambos os baselines, demonstrando forte alinhamento com a distribuição de treinamento e robustez a distorções e pequenas escalas.
• Passos de Inferência: O esquema de dois passos proporcionou melhorias significativas sobre o passo global único, particularmente na redução do erro no tamanho do alvo.
• Estudos de Ablação:
  • A remoção do treinamento de Warp Estável degradou notavelmente o desempenho, especialmente para o segundo passo de inferência.
  • Uma arquitetura de Neck Direto (Straight Neck, sem pooling) alcançou o melhor desempenho normalizado pelo tamanho do alvo em dados reais, embora com um custo computacional mais alto em comparação com o neck de multirresolução.

Significância e Alegações
O artigo afirma estabelecer a viabilidade de aprendizado orientado pela geometria e minimamente supervisionado para alinhamento planar preciso. Ao tratar a homografia como uma variável organizadora, o framework permite localização precisa a partir de uma única imagem de referência. Os autores posicionam este trabalho como a base para pesquisas futuras em aquisição de imagens guiada por navegação, especificamente a segunda fase de seu framework, que envolve a coleta de dados de vídeos "in-the-wild" não rotulados para melhorar iterativamente o modelo e permitir o guia de câmera em malha fechada (closed-loop). O trabalho atual não pretende resolver todos os problemas de variabilidade do mundo real (como evidenciado pelo desempenho superior do SIFT em dados reais), mas demonstra que o alinhamento de alta precisão é alcançável com supervisão mínima e restrições geométricas específicas.