Hestia: Voxel-Face-Aware Hierarchical Next-Best-View Acquisition for Efficient 3D Reconstruction

Resumo Técnico: Hestia – Aquisição Hierárquica de Próxima Melhor Vista Consciente de Faces de Voxel

Declaração do Problema
Embora avanços na reconstrução 3D e na síntese de novas vistas tenham permitido a renderização fotorrealista, a aquisição de imagens para reconstrução permanece um gargalo. A coleta de dados atual é em grande parte manual, consome muito tempo ou está restrita a trajetórias de câmera pré-planejadas simples que frequentemente falham em capturar regiões ocluídas. Planejadores de Próxima Melhor Vista (NBV) baseados em aprendizado existentes, particularmente aqueles que usam aprendizado por reforço (RL) para generalizar entre cenas, enfrentam limitações em robustez e desempenho através de geometrias de objetos diversas. Especificamente, métodos generalizáveis anteriores frequentemente tratam voxels como pontos, levando à perda de informação, e lutam com espaços de ação contínuos de alta dimensão (5-DoF: x, y, z, guinada, arfagem) e correlações espúrias entre ações atuais e recompensas futuras distantes.

Metodologia
O artigo introduz Hestia (Hestia: Aquisição Hierárquica de Próxima Melhor Vista Consciente de Faces de Voxel para Reconstrução 3D Eficiente), um planejador NBV baseado em RL generalizável projetado para cenas centradas em objetos. O Hestia aborda as deficiências de abordagens anteriores através de quatro componentes principais:

1. Representação Consciente de Faces de Voxel:
   Ao contrário de trabalhos anteriores que tratam voxels como pontos (raios), o Hestia trata cada voxel como um cubo, modelando explicitamente a visibilidade de suas seis faces. Isso é fundamentado no "problema do coletor de cupons", onde amostrar raios contra voxels-pontos deixa aproximadamente $k^{-1/6}$ das faces não vistas em uma cena de $k$ cubos. Ao incorporar a visibilidade das faces tanto no estado de observação quanto na função de recompensa, o Hestia garante uma captura geométrica mais abrangente com sobrecarga computacional mínima.

2. Espaço de Ação Hierárquico:
   Para gerenciar o espaço de ação contínuo de alta dimensão de 5-DoF, o Hestia emprega uma estrutura de rede hierárquica. Em vez de prever a vista completa em uma única etapa, a política primeiro prevê um ponto de olhar ($L_t$) usando uma rede de proposta (CNN 3D com autoatenção). Subsequentemente, um codificador de grade e interpolação trilinear extraem características baseadas em $L_t$ para prever a posição da câmera de 3-DoF ($a_t$). Essa decomposição simplifica o espaço de busca e alinha-se com a intuição de focar em um alvo antes de planejar a trajetória de voo.

3. Estratégia de Otimização Ganhosa-Próxima (Close-Greedy):
   O Hestia formula a tarefa NBV como um problema de otimização ganhosa-próxima. A função de recompensa prioriza melhorias imediatas na taxa de cobertura em vez de depender de grandes recompensas terminais. Ao usar um pequeno fator de desconto de recompensa ($\gamma = 0,1$), o método mitiga correlações espúrias, onde ações atuais subótimas são incorretamente associadas a grandes recompensas futuras. A recompensa é calculada com base no incremento de faces de voxel recém-visíveis, escalada para equilibrar ganhos positivos contra penalidades por colisões ou ações inválidas.

4. Conjunto de Dados Diverso e Treinamento:
   O modelo é treinado em um conjunto de dados significativamente maior e mais diverso processado a partir do Objaverse (120.000 formas em 18+ categorias), indo além das formas cúbicas limitadas encontradas em benchmarks anteriores como Houses3K. A configuração de treinamento usa um Processo de Decisão de Markov (MDP) onde o estado inclui a imagem em tons de cinza, pose da câmera, ponto de olhar e uma grade de ocupação agregada contendo visibilidade cumulativa de faces.

Principais Contribuições

• Paradigma Voxel-Como-Cubo: Um design inovador de observação e recompensa que trata voxels como cubos em vez de pontos, reduzindo a perda de informação e melhorando a cobertura geométrica.
• Planejamento Hierárquico: Uma rede de previsão em duas etapas (ponto de olhar seguido por posição) que lida efetivamente com o espaço de ação contínuo de 5-DoF no planejamento generalizável baseado em RL.
• Esquema de Aprendizado Robusto: A integração de uma estratégia ganhosa-próxima para reduzir correlações espúrias e o uso de um conjunto de dados diversificado em grande escala para garantir robustez através de formas e posicionamentos de objetos variados.
• Viabilidade no Mundo Real: Uma demonstração do Hestia operando em um drone com uma câmera RGB (usando um preditor de profundidade para estimativa de estado) em ambientes internos do mundo real, validando sua aplicabilidade além da simulação.

Resultados Experimentais
O Hestia foi avaliado em três conjuntos de dados: OmniObject3D, Objaverse e Houses3K, comparando-se com baselines generalizáveis e de aprendizado online mais avançados (por exemplo, GenNBV, ScanRL, NeU-NBV).

• Ganhos de Desempenho: O Hestia alcançou pelo menos um ganho de 4% na taxa de cobertura (CR) e um ganho de 6% na Área sob a Curva (AUC) em comparação com métodos anteriores, enquanto reduzia a Distância de Chamfer (CD) em 50%.
• Eficiência: Com um orçamento limitado de 5 imagens, o Hestia alcançou uma taxa de cobertura de 92%, superando o próximo melhor método (GenNBV) em pelo menos 12%.
• Robustez: O método manteve desempenho consistente através de diferentes posições de colocação de objetos (centro vs. cantos) e categorias diversas de objetos, mostrando menos flutuação do que as baselines.
• Velocidade: O Hestia opera a 25 FPS, permitindo inferência em tempo real sem a necessidade de amostragem de vistas candidatas ou otimização online.
• Estudos de Ablação: A remoção de qualquer um dos componentes principais (design consciente de faces, estratégia gananciosa ou estrutura hierárquica) resultou em degradação de desempenho, confirmando a necessidade do sistema completo.

Significado
O artigo afirma que o Hestia fornece uma melhoria não marginal sobre planejadores NBV existentes, abordando limitações críticas em robustez, captura de detalhes geométricos e complexidade do espaço de ação. Ao tratar voxels como cubos e empregar um esquema de aprendizado otimizado de forma hierárquica e gananciosa, o Hestia permite a reconstrução 3D eficiente sob orçamentos de aquisição estritos. A implantação bem-sucedida em um sistema de drone do mundo real demonstra que o planejamento NBV generalizável baseado em RL é viável para aplicações práticas, particularmente em cenários com restrições de energia onde é necessária coleta de dados rápida e autônoma. O trabalho estabelece uma base para futuras extensões multiagente e varredura ao ar livre em grande escala.