Optimization of Monodepth2-Based Monocular Vision Measurement Method Using Prior Geometric Features and Semantic Segmentation

Resumo Técnico: Otimização de Medição de Visão Monocular Baseada em Monodepth2

Definição do Problema
Sistemas de visão monocular oferecem vantagens significativas em custo e simplicidade para medição espacial em larga escala, mas sofrem com a perda irreversível de informações de profundidade durante a imagem 2D. Os métodos existentes de estimativa de profundidade monocular baseados em aprendizado profundo, particularmente abordagens não supervisionadas como o Monodepth2, enfrentam três limitações críticas em aplicações práticas:

1. Inconsistência de Escala: A estimativa de profundidade global frequentemente carece de referências de profundidade absoluta, levando à ambiguidade de escala e erros cumulativos.
2. Suavização de Detalhes: Características geométricas locais, como bordas e contornos de objetos, são propensas à suavização, dificultando a recuperação de informações estruturais finas.
3. Confusão entre Primeiro Plano e Segundo Plano: Métodos padrão têm dificuldade em utilizar restrições geométricas específicas do alvo para otimizar adaptativamente os mapas de profundidade, resultando frequentemente em erros onde objetos-alvo são confundidos com o plano de fundo.

Embora estudos anteriores tenham tentado incorporar prioridades geométricas, eles frequentemente dependem de templates rígidos ou suposições excessivamente simplificadas que carecem da flexibilidade para modelar características de contorno complexas de forma dinâmica.

Metodologia
O artigo propõe um framework híbrido que integra segmentação semântica e restrições de características geométricas prévias ao pipeline de aprendizado não supervisionado do Monodepth2. A metodologia consiste em três estágios primários:

1. Fundação de Profundidade Global (Monodepth2):
   O sistema utiliza o framework Monodepth2, que emprega uma estratégia de aprendizado não supervisionado baseada em restrições de reconstrução de imagem. Ele utiliza uma arquitetura encoder-decoder (baseada em ResNet) para gerar mapas de profundidade iniciais sem a necessidade de rótulos de profundidade densos de verdade de campo (ground-truth). Isso estabelece uma representação espacial de base.

2. Extração de ROI Guiada por Semântica:
   Para abordar a confusão entre primeiro plano e segundo plano, o método emprega uma arquitetura UNet++ para segmentação semântica de imagem. Este módulo isola a Região de Interesse (ROI) — especificamente componentes de concreto pré-moldado — do plano de fundo. Ao focar a estimativa de profundidade na ROI segmentada, o sistema preserva detalhes locais e reduz erros causados por elementos irrelevantes da cena.

3. Correção de Características Geométricas Prévias:
   Um módulo de correção de peso fixo é introduzido para retificar os mapas de profundidade estimados utilizando restrições geométricas conhecidas.

• Modelagem Geométrica: A superfície alvo é modelada como um retângulo ideal com dimensões físicas conhecidas ($W$ e $H$).
• Transformação de Perspectiva: O sistema mapeia o quadrilátero estimado na imagem de volta para um retângulo padrão usando transformação de perspectiva.
• Modelagem de Erro: Assume-se que os erros de estimativa de profundidade crescem linearmente com a distância. Um coeficiente de correção ($k$) é calculado usando ajuste de mínimos quadrados para minimizar o desvio entre as dimensões de pixels estimadas e as dimensões físicas conhecidas.
• Particionamento em Grade: Para lidar com a distribuição não uniforme de erro, a ROI é dividida em uma grade (ex: $36 \times 30$). Os coeficientes de correção são calculados individualmente para cada célula da grade, permitindo a regularização espacial localizada sem a complexidade computacional do ajuste de peso dinâmico.

Principais Contribuições

• Integração de Prioridades Semânticas e Geométricas: O artigo introduz uma abordagem de otimização colaborativa que combina segmentação semântica para localização de ROI com correção geométrica de peso fixo para refinamento de profundidade.
• Estratégia de Correção de Peso Fixo: Diferente de métodos que exigem ajuste de peso dinâmico ou templates rígidos, esta abordagem utiliza uma correção de peso fixo computacionalmente eficiente baseada em modelagem geométrica explícita (ex: simetria e dimensões conhecidas de componentes de concreto).
• Refinamento Local Baseado em Grade: A implementação de uma estratégia de particionamento de grade multiescala permite mitigar a inconsistência de escala na estimação global, preservando simultaneamente detalhes geométricos locais.

Resultos Experimentais
O método foi validado utilizando uma configuração envolvendo uma câmera de profundidade Intel RealSense D415 (para ground-truth e aquisição de RGB) e uma câmera de smartphone (simulando entrada monocular). Experimentos foram conduzidos em espécimes de concreto padrão sob diversas condições operacionais.

• Melhoria de Precisão: Sob uma configuração de particionamento de grade de $36 \times 30$, o método proposto alcançou um Erro Médio Absoluto (MAE) de 0,0071 e um Erro Quadrático Médio (RMSE) de 0,0096.
• Comparação: Estes resultados representam uma melhoria de mais de 96% em comparação com métodos convencionais (Baseline MAE: 0,2416; RMSE: 0,2678).
• Robustez: O método demonstrou precisão submilimétrica em testes internos. Manteve taxas de erro baixas em diferentes condições operacionais, incluindo cenários com múltiplos objetos independentes e fundos complexos, superando métodos tradicionais de ajuste de plano (Mean Normal Plane, Least Squares e RANSAC).
• Sensibilidade da Grade: Experimentos mostraram que o aumento da densidade da grade (de $12 \times 10$ para $60 \times 50$) reduziu progressivamente os erros de correção, validando a eficácia de partições de grade mais finas para otimização de detalhes locais.

Significância e Alegações
Os autores afirmam que este trabalho fornece um novo paradigma para aplicações quantitativas em cenários de construção, especificamente para a medição de componentes de concreto pré-moldado. Ao alcançar precisão submilimétrica sob condições monoculares de imagem única, o método oferece uma solução robusta para a construção inteligente e metrologia industrial.

O estudo reconhece limitações atuais, observando que o método é validado primariamente em objetos planos e pode enfrentar desafios com geometrias curvas ou irregulares. Adicionalmente, a precisão da extração da ROI permanece dependente da precisão das fronteiras de segmentação semântica. Trabalhos futuros são propostos para estender a verificação a geometrias complexas e explorar a fusão LiDAR-visão para maior robustez.