Resumo Técnico: ActMVS – Reconstrução de Cena Ativa com Estereoscopia Monocular Multi-Vista

1. Declaração do Problema

A reconstrução ativa de cenas é essencial para robôs e Veículos Aéreos Não Tripulados (VANTs/UAVs) para navegarem e mapearem autonomamente ambientes desconhecidos, particularmente em cenários como inspeção industrial e resposta a desastres, onde a aquisição manual de dados é dispendiosa. Enquanto métodos passivos (ex: SfM, SLAM) processam dados pré-coletados, a reconstrução ativa exige o planejamento em tempo real de trajetórias de sensores para maximizar a cobertura, garantindo ao mesmo tempo uma navegação livre de colisões.

As abordagens atuais de reconstrução ativa dependem predominantemente de sensores de profundidade (ex: LiDAR, luz estruturada) para gerar mapas de ocupação de alta confiança para raciocínio espacial seguro. No entanto, esses sensores introduzem restrições proibitivas de custo, peso e potência para plataformas de recursos limitados. Os autores visam desenvolver uma solução monocular baseada apenas em visão.

O desafio central reside na aquisição de previsões de profundidade densas em taxas de quadros com precisão de escala métrica usando apenas uma única câmera. Os métodos existentes de estimativa de profundidade monocular carecem de precisão métrica, enquanto as técnicas padrão de Estereoscopia Multi-Vista (MVS) enfrentam duas limitações críticas em configurações ativas:

1. Baselines Insuficientes: O uso de quadros adjacentes frequentemente resulta em profundidade subótima devido à paralaxe insuficiente ou covisibilidade.
2. Falta de Contexto Global: Métodos recentes de MVS baseados em aprendizado tipicamente processam apenas um número limitado de quadros de referência (ex: 8), levando ao acúmulo de erros e à falta de consistência global, o que compromete a segurança do planejamento e a qualidade da reconstrução.

2. Metodologia: Estrutura ActMVS

O ActMVS é apresentado como a primeira estrutura para reconstrução de cena monocular ativa. Ele integra uma representação de cena híbrida com um novo grafo de fator de visão e otimização de profundidade global para permitir a geração de mapas de profundidade densos, online e globalmente consistentes.

A. Representação de Cena Híbrida

O sistema mantém três representações simultâneas:

• Grafo de Fator de Visão ($G_f$): Modela as relações geométricas entre quadros. Os nós armazenam imagens de visualização, mapas de profundidade otimizados, poses e intrínsecos. As arestas codificam pesos de visibilidade voxel-quadro para indicar sobreposição geométrica.
• Mapa de Voxels ($M_v$): Construído sobre o OctoMap, armazena probabilidades de ocupação. Serve tanto como um mapa de ocupação para planejamento livre de colisões quanto como um modelo de visibilidade para superfícies covisíveis.
• Mapa de Gaussian Splatting ($M_g$): Utiliza Gaussian surfels para reconstrução de superfície de alta fidelidade, gerando mapas de cor, profundidade, normal e opacidade via renderização diferenciável.

B. Processo de Reconstrução Ativa Online

A estrutura opera iterativamente em duas fases:

1. Fase de Planejamento (Próxima Melhor Visão - NBV):
   • Pontos de vista candidatos são amostrados dentro de limites de segurança e exploração.
   • Um escore ponderado combinando completude de visão (voxels explorados visíveis) e distância de viagem (calculada via busca de caminho A*) determina a Próxima Melhor Visão (NBV).
   • Trajetórias são interpoladas ao longo do caminho A* para garantir covariabilidade suficiente para a subsequente previsão de profundidade MVS.
2. Fase de Mapeamento:
   • Modelagem de Visibilidade: Calcula sobreposições par a par ($\Omega_{tj}$) via covisibilidade de voxels, atualizando o Grafo de Fator de Visão ao conectar o quadro atual aos $k$ vizinhos superiores.
   • Previsão de Profundidade: Adapta o método MVS de alimentação direta (feedforward) MVSA para estimar profundidade densa usando vizinhos selecionados como quadros de referência.
   • Otimização Global de Profundidade: Realiza $N_{iter}$ etapas de otimização global sobre o mapa de profundidade através de deformação (warping) de profundidade par a par dentro do grafo.
   • Atualização: Atualiza o Mapa de Voxels via integração de ocupação probabilística e refina o Mapa Gaussiano inicializando primitivas em áreas de baixa opacidade e minimizando perdas fotométricas/de profundidade.

C. Inovações Técnicas Principais

1. Grafo de Fator de Visão com Modelagem de Visibilidade Voxel-Frame:

   • Para abordar problemas de oclusão na seleção de quadros de referência, o método calcula máscaras de frustum por quadro ($M_t$) projetando centros de voxels no plano da câmera e verificando contra a profundidade Gaussiana renderizada.
   • Isso permite o cálculo eficiente de sobreposição via operação lógica AND, filtrando voxels obstruídos.
   • Um escore de correlação equilibra covisibilidade ($\Omega_{ij}$) e translação da câmera para selecionar quadros de referência que forneçam baselines significativos (evitando poses muito próximas ou muito distantes).

2. Otimização Global de Profundidade:

   • Para superar o contexto limitado do MVS padrão (que processa ~8 quadros), o ActMVS impõe consistência 3D em todo o Grafo de Fator de Visão.
   • Fator de Consistência de Profundidade: Alinha estruturas 3D covisíveis entre pares de quadros através de retroprojeção de profundidade, deformação de pontos e aplicação de uma perda Huber no espaço log para correspondências válidas.
   • Regularização: Incorpora regularização de Variação Total (TV) para garantir suavidade e plausibilidade geométrica.
   • O sistema resolve esta otimização não linear via retropropagação iterativa (otimizador Adam), propagando restrições geométricas incrementalmente.

3. Resultados Experimentais

Experimentos foram conduzidos no dataset Replica (9 cenas) usando o simulador Habitat, comparando o ActMVS com baselines RGB-D de estado da arte: ActiveGS e NARUTO.

• Desempenho Quantitativo:

  • O ActMVS alcança o melhor desempenho entre todos os métodos apenas RGB em métricas de renderização (PSNR, SSIM, LPIPS) e métricas de qualidade de malha (Acurácia, Completude, distância de Chamfer).
  • Embora os métodos RGB-D (ActiveGS) geralmente superem o modelo, o ActMVS aproxima-se de perto do desempenho deles, validando que a otimização de profundidade restringida por multi-visão compensa a falta de sensores de profundidade.
  • Estudos de Ablação:
    • w/o OPT: A remoção da otimização global causa degradação significativa da superfície e instabilidade de profundidade.
    • w/o REF: Substituir a seleção de referência baseada em voxels por uma seleção simples de quadros adjacentes leva a falhas de MVS devido à paralaixa insuficiente.
    • w/o MVS: Substituir o MVS por um estimador métrico monocular (DepthAnythingV2) resulta em falhas catastróficas de reconstrução devido ao acúmulo de erro.

• Resultos Qualitativos:

  • Comparações visuais mostram que o ActMVS produz malhas de alta qualidade e renderizações de novos pontos de vista, superando o NARUTO (que sofre com a degradação de pontos de vista esparsos) e aproximando-se da fidelidade visual do ActiveGS.

• Simulações Estendidas:

  • A estrutura foi testada no AirSim com um quadrotor UAV usando o Ego-planner para execução de trajetória.
  • O sistema navegou com sucesso em ambientes complexos sem colisões, demonstrando a viabilidade do loop de planejamento de caminho e reconstrução.
  • Nota: Os autores reconhecem que a reconstrução atual baseada em 3DGS requer memória de vídeo significativa, excedendo a capacidade de dispositivos embarcados típicos, necessitando de processamento em servidor para a implementação atual.

4. Significância e Alegações

O artigo reivindica o ActMVS como a primeira estrutura para reconstrução de cena monocular ativa. Sua significância reside em:

• Avanço da Inteligência Espacial: Permitir que robôs/VANTs realizem exploração e reconstrução autônomas e seguras usando apenas uma câmera monocular, eliminando a necessidade de sensores de profundidade caros e pesados.
• Preenchimento da Lacuna: Abordar com sucesso o equilíbrio entre a precisão métrica do MVS e a consistência global necessária para o mapeamento online.
• Desempenho Competitivo: Demonstrar que uma abordagem apenas de visão pode alcançar um desempenho competitivo com métodos RGB-D, tornando a reconstrução ativa de alta fidelidade acessível para plataformas de recursos limitados.

Os autores concluem que, embora o sistema atual exija recursos computacionais significativos, o trabalho futuro focará na otimização para implantação em tempo real em drones totalmente autônomos sob restrições físicas.