Resumo Técnico: CasaMaestro

Declaração do Problema

O desenvolvimento rápido de IA incorporada (embodied AI) para ambientes domésticos exige a reconstrução 3D rápida e metricamente precisa de espaços residenciais para apoiar a navegação e a execução de tarefas de longo horizonte. Os atuais pipelines de reconstrução 3D de estado da arte dependem primordialmente de modelos de fundação de visão de câmera pinhole. Esses métodos enfrentam limitações significativas quando aplicados a cenas internas em escala de residência:

1. Campo de Visão (FoV) Limitado: Câmeras pinhole exigem sequências densas de imagens (milhares de imagens) para cobrir múltiplos cômodos, o que leva a altos custos computacionais e esforço humano.
2. Erro de Drift e Acúmulo: Cadeias longas de alinhamento incremental em sequências densas exacerbam o drift, causando erros severos de reconstrução.
3. Falha de Captura Esparsa: Modelos pinhole existentes têm dificuldade com viewpoints esparsos (poucas imagens), falhando frequentemente em recuperar a geometria da cena devido à insuficiência de sobreposição.
4. Dependência de Hardware: Embora o LiDAR ofereça ativos de alta qualidade, ele é caro e dependente de hardware, enquanto soluções baseadas em visão carecem de robustez para entradas panorâmicas esparsas e de grande escala.

Abordagens panorâmicas existentes estão amplamente restritas à predição de profundidade de visão única ou configurações de múltiplas vistas de pequena escala e curto alcance (ex: 2–5 vistas), falhando em abordar o desafio da reconstrução em escala de residência a partir de panoramas de múltiplas vistas esparsas.

Metodologia

O CasaMaestro é introduzido como o primeiro modelo feedforward capaz de reconstrução 3D panorâmica multi-vista livre de extrínsecos, utilizando capturas esparsas em escala de residência (20–50 panoramas). A arquitetura segue uma filosofia de design minimalista, construída sobre um backbone DINOv2 com cabeças especializadas para profundidade e pose.

1. Backbone Unificado Multi-Vista

O modelo utiliza um backbone transformer DINOv2 vanilla para processar um número arbitrário de vistas panorâmicas de entrada ($V$).

• Tokenização: As panoramas de entrada são tratadas como vistas distintas. Embeddings de patches são gerados para cada vista.
• Mecanismo de Atenção: O backbone alterna entre auto-atenção intra-vista (processando as vistas individuais de forma independente) e auto-atenção cross-view (achatando a dimensão da vista para permitir que os tokens de diferentes vistas troquem informações). Essa interação global injeta contexto abrangente da cena, melhorando a robustez contra grandes deslocamentos de viewpoint.
• Saída: O backbone produz representações compartilhadas usadas tanto para estimativa de profundidade quanto de pose.

2. Decodificador de Pose de Câmera Panorâmica

Para abordar os desafios geométricos específicos de entradas panorâmicas, um decodificador de pose de câmera leve dedicado é introduzido, desacoplando a estimativa de pose do backbone principal.

• Motivação: Enquanto o backbone extrai características densas, a estimativa de pose é uma tarefa geométrica global que requer alinhamento entre as vistas. A regressão independente (MLP por vista) carece de troca explícita de informações.
• Arquitetura:
  • Projeção de Características: As entradas são projetadas para a dimensão do modelo.
  • Refinamento por Vista: Um pre-attention MLP com conexões residuais condiciona os tokens.
  • Atenção Cross-view: Uma camada de decodificador transformer agrega informações através da dimensão da vista, utilizando uma máscara de atenção opcional para lidar com regiões inválidas (ex: postes da câmera).
  • Cabeças de Pose: Cabeças lineares separadas regridem translação ($\mathbf{t} \in \mathbb{R}^3$) e rotação (quaternion unitário $\mathbf{q} \in \mathbb{R}^4$). A rotação é explicitamente normalizada para garantir validade geométrica.
• Vantagem: Este design permite que o backbone foque na extração de características enquanto o decodificador impõe explicitamente a consistência global para a predição de pose.

3. Aumento de Dados ERP

Para superar a escassez de viewpoints diversos em datasets existentes (onde as vistas costumam ter rotação relativa mínima), os autores propõem uma nova estratégia de aumento de dados de Projeção Equirretangular (ERP).

• Processo: Rotações aleatórias (yaw, pitch, roll) são amostradas e aplicadas à panorama de origem via rotação de raio e remapeamento.
• Consistência: O aumento preserva estritamente a geometria 3D ao deformar simultaneamente as imagens RGB, os mapas de profundidade e atualizar as matrizes extrínsecas da câmera (bloco de rotação) via multiplicação à direita.
• Impacto: Isso gera pares pose-vista abundantes, aumentando significativamente a robustez do modelo a mudanças de orientação e incentivando o raciocínio cross-view.

Principais Contribuições

1. Modelo CasaMaestro: O primeiro modelo feedforward para reconstrução panorâmica métrica em escala de residência. Ele aceita 20–50 panoramas esparsos e prediz diretamente profundidade métrica e poses de câmera, permitendo a reconstrução imediata de nuvens de pontos de residências inteiras.
2. Decodificador de Pose Leve: Um decodificador especializado projetado para lidar com grandes deslocamentos em entradas panorâmicas, alcançando precisão superior na estimação de pose através de mecanismos de atenção cross-view.
3. Aumento de Dados ERP: Uma estratégia inovadora para gerar pares pose-vista diversos a partir de dados existentes, abordando a limitação de rotação de viewpoint limitada nos datasets de treinamento atuais.

Resultados Experimentais

O modelo foi treinado no dataset Realsee3D e avaliado em cenas reais e sintéticas, incluindo testes zero-shot em datasets não vistos (PanoSUNCG, HM3D, Replica).

• Estimativa de Pose: O CasaMaestro supera significativamente os métodos existentes (incluindo PanoPose, SPR, VGGT e Pi3).
  • No Realsee-Real, atinge um AUC@30 de 0.903, representando uma melhoria de 84% sobre o melhor resultado anterior.
  • No Realsee-Syn, atinge um AUC@30 de 0.927, representando uma melhoria de 119%.
  • Demonstra erros equilibrados de baixa rotação e translação, enquanto outros métodos frequentemente sofrem com altos erros de rotação ou falham em reconstruir estruturas de casas sob vistas esparsas.
• Estimativa de Profundidade:
  • O CasaMaestro atinge um AbsRel de 0.078 no Realsee-Real e 0.079 no Realsee-Syn.
  • Em avaliações zero-shot em datasets não vistos, apresenta uma redução média de 21.98% no AbsRel em comparação com os melhores métodos anteriores de estimativa de profundidade panorâmica, apesar de não ter sido explicitamente projetado apenas para profundidade.
• Desempenho Qualitativo: Comparações visuais mostram que, enquanto outros métodos produzem reconstruções desordenadas ou corrompidas com inputs esparsos, o CasaMaestro restaura com precisão as estruturas das casas com cobertura total e consistência geométrica.

Significância e Alegações

O artigo afirma que o CasaMaestro estabelece um novo paradigma para reconstrução 3D ao demonstrar que a reconstrução "any-view" feedforward não é restrita a câmeras pinhole. Ao alavancar panoramas de múltiplas vistas, o modelo alcança:

• Eficiência: Reduzindo o tempo de reconstrução de ~25s (pinhole densa) para 0.56s para cenas em escala de residência.
• Robustez: Lidando com sucesso com inputs esparsos (20–50 vistas) onde métodos tradicionais falham.
• Base para Simulação: Fornecendo uma base sólida para a aquisição de ativos 3D de interiores em escala de residência para simulação de loop fechado em IA incorporada.

Os autores concluem que a ascensão dos Modelos de Fundação de Visão construídos sobre panoramas e câmeras fisheye pode proporcionar uma nova revolução em tarefas 3D, indo além das limitações dos modelos pinhole de campo de visão estreito.