Resumo Técnico: CM-EVS: Dados Panorâmicos RGB-D-Pose Esparsos para Cobertura Completa da Cena

Declaração do Problema

A aprendizagem visual 3D moderna depende de observações amostradas a partir de ativos 3D métricos (varreduras, malhas, nuvens de pontos, simulações). No entanto, as fontes de dados existentes carecem de uma interface de treinamento panorâmica padronizada, esparsa e geometricamente consistente. As abordagens atuais sofrem de várias limitações:

• Redundância: Trajetórias densas duplicam visões próximas, desperdiçando recursos computacionais.
• Inconsistência: Políticas de renderização específicas da fonte geram anotações heterogêneas, dificultando a comparação de conjuntos de dados.
• Incompletude: Heurísticas esparsas frequentemente perdem regiões críticas da cena ou introduzem observações inconsistentes em profundidade.
• Falta de Proveniência: Pontos de vista candidatos, ganhos de cobertura e pontuações de seleção raramente são divulgados como artefatos de primeira classe, dificultando a reprodutibilidade e o diagnóstico.

O desafio central é converter ativos 3D heterogêneos em um conjunto compacto de visões panorâmicas RGB-D-pose que preservem a cobertura completa da cena com baixa redundância, consistência geométrica e proveniência auditável, sem exigir treinamento de modelo.

Metodologia: COVER

Os autores propõem o COVER (Curadoria de Pontos de Vista Orientada à Cobertura com Distorção de Faixa-Profundidade ERP), um curador de pontos de vista ERP ganancioso e livre de treinamento. O método formula a seleção de visões panorâmicas como um problema de maximização de cobertura consciente de conflitos.

Algoritmo Central

Dada uma cena 3D $S$ e um conjunto finito de pontos de vista candidatos $P$, o COVER seleciona iterativamente um subconjunto $V$ de tamanho $K$ para maximizar a união dos elementos de superfície observados $\Omega(S)$, penalizando conflitos de profundidade.

1. Filtragem de Candidatos: Os candidatos são filtrados por um predicado de validade geométrica $\phi$ para rejeitar câmeras embutidas, posições alinhadas à parede ou visões fisicamente implausíveis.
2. Oráculo de Distorção Consciente de Conflitos: Para evitar o alto custo de renderizar cada candidato em resolução total a cada etapa, o COVER emprega um proxy barato:
   • Distorção: A nuvem de pontos acumulada das visões selecionadas anteriormente é distorcida para o quadro de Projeção Equiretangular (ERP) do candidato para identificar pixels já explicados ($H_v$).
   • Sondagem: A própria visão candidata é renderizada em baixa resolução para identificar pixels visíveis ($Q_v$).
   • Pontuação: Os pixels são categorizados como explicados, novos ($N_v$) ou conflituosos ($C_v$) com base na tolerância de profundidade $\delta$.
   • Função Objetivo: Uma pontuação $s_t(v)$ é calculada para cada candidato:
     $$s_t(v) = G_t(v) - \lambda L_t(v)$$
     Onde $G_t(v)$ é o ganho de cobertura normalizado (novos pixels) e $L_t(v)$ é a razão de conflito normalizada. $\lambda$ é um hiperparâmetro de peso de conflito.
3. Seleção Gananciosa: O algoritmo seleciona gananciosamente o candidato com a maior pontuação, renderiza-o em resolução total, atualiza a nuvem de pontos acumulada e repete até que o orçamento $K$ seja atingido ou os ganhos marginais caiam abaixo de um limite.

Garantia Teórica

O artigo fornece uma análise teórica (Lema 1) mostrando que, sob erro de proxy limitado por etapa $\epsilon_t$ e uma condição de peso de conflito $\lambda \ge \eta$, a seleção gananciosa atinge um limite de aproximação de:
$$f(V_K) \ge (1 - 1/e)f(V^*) - \sum_{t=1}^K (2\epsilon_t + 2\lambda\gamma_t)$$
Isso garante que a perda de cobertura devido ao oráculo ruidoso e às penalidades de conflito é limitada e aditiva.

Contribuições Principais

1. O Algoritmo COVER

Um curador inovador e livre de treinamento que equilibra a cobertura incremental da cena contra conflitos de faixa-profundidade. Ele introduz um oráculo de distorção que reduz significativamente o custo computacional (aceleração de 133$\times$ comparado à pré-renderização total) enquanto mantém uma garantia de erro limitado.

2. O Conjunto de Dados CM-EVS

CM-EVS (Conjunto de Visões ERP Métricas Curadas por Cobertura) é um conjunto de dados panorâmicos RGB-D-pose construído usando o COVER.

• Escala: Contém 36.373 quadros ERP curados de 1.275 cenas internas (Blender indoor, HM3D, ScanNet++) e panoramas externos recodificados (TartanGround, OB3D).
• Eficiência: Alcança cobertura completa da cena com uma mediana de apenas ~25 quadros por cena interna, significativamente menor que corpora existentes (por exemplo, Hypersim: 168, Matrix-Pano: ~138).
• Esquema: Fornece uma representação unificada incluindo RGB de esfera completa, profundidade de faixa métrica e pose calibrada (convenção OpenCV, quaternion escalar primeiro).
• Proveniência: Cada quadro inclui logs por etapa de ganhos de cobertura ($G_t$), razões de conflito ($L_t$), pontuações de seleção ($s_t$) e pools de candidatos, tornando a política de seleção auditável e reprodutível.

3. Avaliação Empírica

Os autores avaliam a eficiência e a robustez do curador:

• Compromisso Cobertura-Conflito: Experimentos mostram que o COVER (com $\lambda=0,35$) iguala a cobertura de uma linha de base de cobertura puramente gananciosa, enquanto reduz significativamente os conflitos de profundidade em comparação com linhas de base de sondagem aleatória ou de visão única.
• Consistência entre Fontes: A mesma regra de seleção generaliza-se através de fontes diversas (Blender sintético, HM3D/ScanNet++ de varredura real), mantendo um ponto de operação estável apesar de níveis variados de ruído geométrico.
• Diversidade de Tipos de Sala: O conjunto de dados cobre todas as 13 categorias unificadas de tipos de sala, com alta entropia comparável ao Matterport3D e Hypersim.

Significado e Alegações

O artigo alega que o CM-EVS oferece um recurso esparso, compacto e auditável para aprendizagem 3D panorâmica geometricamente consistente. Seu significado reside em deslocar o foco do volume bruto de dados para a eficiência de observação e reprodutibilidade.

• Design de Observação Principiada: Ao expor a política de seleção de visões como um artefato citável com logs por etapa, o CM-EVS permite que pesquisadores diagnostiquem casos de falha, comparem estratégias de seleção e estendam conjuntos de dados sem renderizar cenas inteiras novamente.
• Consistência Geométrica: O mecanismo consciente de conflitos garante que o conjunto de dados resultante evite observações inconsistentes em profundidade, o que é crítico para treinar modelos em estimativa de profundidade panorâmica, NeRF, Gaussian Splatting e geração de cenas 360°.
• Escalabilidade: O oráculo de distorção permite a curadoria de conjuntos de dados em grande escala a partir de ativos 3D existentes, sem custos de renderização proibitivos.

Os autores afirmam explicitamente que sua avaliação visa a camada de curadoria (estatísticas de cobertura e conflito) em vez da precisão de tarefas downstream, posicionando o CM-EVS como um recurso de infraestrutura fundamental para trabalhos futuros em percepção panorâmica e pré-treinamento de modelos de mundo.