Resumo Técnico: OccAnyScene

Definição do Problema

A predição de ocupação semântica 3D é essencial para a compreensão holística de cenas em direção autônoma e IA incorporada (embodied AI). No entanto, os métodos existentes são predominantemente específicos para cada cena, projetados para protocolos fixos em relação a intervalos espaciais, resoluções de voxels, configurações de câmera e taxonomias semânticas. Essa especialização impede o desenvolvimento de uma percepção 3D de propósito geral.

O artigo introduz a Predição de Ocupação Semântica 3D Cross-Scene, um novo cenário de tarefa que exige que um único modelo lide com cenas internas (indoor) e externas (outdoor) heterogêneas simultaneamente. Este cenário apresenta um desafio fundamental: alcançar um levantamento (lifting) de imagem para 3D que seja metricamente consistente, porém adaptável à cena.

• Inconsistência Métrica: Cenas internas (ex: quartos) exigem percepção de curto alcance e detalhamento fino, enquanto cenas externas (ex: ruas) exigem percepção de longo alcance e detalhamento grosseiro.
• Dificuldade de Parametrização: Métodos baseados em Gaussianas existentes enfrentam dificuldades porque os offsets absolutos e escalas necessários para a conclusão de oclusões variam substancialmente entre domínios. Uma parametrização absoluta compartilhada é difícil de aprender devido às diferentes intrínsecas de câmera e profundidades de cena.

Metodologia: OccAnyScene

Para abordar esses desafios, os autores propõem o OccAnyScene, um framework de Gaussianas centrado no frustum do pixel, construído sobre um modelo de fundação de profundidade pré-treinado (ex: DepthAnythingV2/V3). O framework trata o frustum 3D finito associado a cada pixel de característica como a unidade básica para construir uma representação de cena contínua, em vez de depender de grades de voxels fixas ou raios únicos.

A arquitetura consiste em dois módulos primários:

1. Agregação de Características de Frustum Alinhadas ao Pixel (PFFA)

Este módulo constrói uma consulta de frustum consciente da câmera para cada pixel de característica para raciocinar sobre regiões ocluídas.

• Entrada: Ele recebe características geométricas densas ($F_{geo}$) do head DPT do modelo de fundação de profundidade e tokens visuais de seu encoder ViT.
• Inicialização: Uma consulta de pixel é inicializada usando pistas geométricas e a direção do raio da câmera derivada das intrínsecas.
• Agregação de Contexto: O módulo restaura os tokens sequenciais do ViT para uma grade 2D e realiza uma atenção cruzada deformável alinhada ao pixel. Isso agrega pistas semânticas e estruturais ao redor do pixel de característica, produzindo uma consulta de frustum que codifica a geometria da superfície visível, a geometria de visão e o contexto local.

2. Construção de Gaussianas Parametrizadas pelo Frustum (FPGC)

Este módulo decodifica cada consulta de frustum em múltiplas primitivas Gaussianas ($K$ Gaussianas por pixel) com posições e escalas restritas pela profundidade do pixel prevista e pela geometria do frustum.

• Ancoragem de Profundidade: Para garantir a consistência métrica entre datasets com diferentes intrínsecas, o modelo prevê uma profundidade de superfície da câmera canônica ($D_{surf}$) usando um MLP leve. Isso serve como uma âncora de profundidade comum.
• Posicionamento:
  • Incrementos de Profundidade ($\Delta d_{p,k}$): Em vez de colocar todas as Gaussianas na superfície, o modelo prevê incrementos de profundidade para estender a representação das superfícies visíveis para as regiões ocluídas.
  • Offsets de Subpixel ($\Delta u_{p,k}$): Para lidar com a natureza grosseira dos pixels de característica subamostrados, offsets de subpixel limitados permitem que os centros das Gaussianas se desloquem lateralmente dentro do respectivo frustum do pixel.
• Parametrização de Escala: Para evitar o aprendizado de escalas absolutas instáveis, o modelo utiliza uma escala relativa ao frustum. Ele calcula uma referência de escala escalar do frustum ($b_{p,k}$) baseada na seção transversal métrica do frustum na profundidade da Gaussiana. O decodificador então prevê uma escala relativa adimensional ($\hat{s}_{p,k}$), que é multiplicada pela referência para determinar o tamanho final da Gaussiana. Isso adapta os suportes espaciais a diferentes parâmetros de câmera e alcances de cena automaticamente.
• Saída: As Gaussianas resultantes são mapeadas para taxonomias semânticas específicas da cena via matrizes de taxonomia aprendíveis e projetadas (splatted) na grade de voxel alvo.

Principais Contribuições

1. Definição de Tarefa: O artigo introduz formalmente a Predição de Ocupação Semântica 3D Cross-Scene, um cenário onde um único modelo deve aprender conjuntamente de cenas internas e externas heterogêneas com diferentes protocolos.
2. Design do Framework: A proposta do OccAnyScene, um framework de Gaussianas centrado no pixel-frustum. Ele unifica a predição de ocupação através de:
   • PFFA: Para construir consultas de frustum que raciocinam sobre oclusões.
   • FPGC: Para construção de Gaussianas adaptáveis à cena que parametrizam posições e escalas em relação à geometria do frustum, permitindo estabilidade através de diferentes escalas e intrínsecas.
3. Desempenho: Experimentos extensivos demonstram que o OccAnyScene alcança resultados de estado da arte (SOTA) em ambos os benchmarks de interior (Occ-ScanNet) e exterior (SurroundOcc-nuScenes). Crucialmente, o modelo cross-scene performa de forma comparável aos modelos específicos de cada cena, provando que um modelo unificado pode lidar com ambientes diversos sem degradação significativa de desempenho.

Resultados Experimentais

• Interior (Occ-ScanNet): O modelo alcança 59,51% de mIoU no cenário cross-scene usando o encoder DAv3, aproximando-se quase do desempenho específico da cena (59,92% de mIoU) e superando outras adaptações cross-scene (ex: SplatSSC† cai significativamente).
• Exterior (SurroundOcc-nuскольку): O modelo alcança 22,87% de mIoU no cenário cross-scene usando o encoder DAv3, novamente comparável ao seu correspondente específico de cena (23,06% de mIoU) e superior às bases adaptadas.
• Eficiência: O OccAnyScene-DAv2 demonstra alta eficiência com 98,2M de parâmetros, tempo de inferência de 86,4ms e uso de memória de 670 MiB em uma RTX 4090, reduzindo o uso de memória em mais de 80% em comparação com trabalhos anteriores como EmbodiedOcc e SplatSSC.
• Estudos de Ablação:
  • Remover o PFFA ou o FPGC leva a quedas significativas de desempenho, confirmando a necessidade da agregação de características baseada em frustum e da parametrização.
  • O "escala relativa ao frustum" e os "incrementos de profundidade" são críticos para lidar com variações métricas e conclusão de oclusão.
  • Aumentar o número de Gaussianas por pixel ($K$) de 1 para 3 gera ganhos marginais, sugerindo que a conclusão de oclusão é alcançada principalmente pela contribuição coletiva de pixels vizinhos, em vez de empilhamento profundo dentro de um único frustum.

Significância e Alegações

O artigo afirma que o OccAnyScene aborda com sucesso a dificuldade da predição de ocupação cross-scene ao se afastar de representações espaciais fixas em direção a uma referência geométrica que se adapta à geometria da câmera e ao alcance da cena.

Os autores afirmam que sua abordagem permite a consolidação da predição de ocupação de escala de ambiente (room-scale) e escala de rua (street-scale) em um único modelo feed-forward. Isso elimina a necessidade de manter e alternar entre modelos separados para diferentes ambientes, simplificando assim a implantação e a escalabilidade para sistemas autônomos operando em configurações diversas. O trabalho demonstra que, com a parametrização geométrica correta (centrada no pixel-frustum), um modelo unificado pode alcançar um desempenho comparável a modelos especializados, mantendo alta eficiência computacional.

Limitações Reconhecidas:
Os autores observam que a avaliação atual é limitada a dois datasets (Occ-ScanNet e SurroundOcc-nuScenes) e ainda não demonstra generalização para cenas arbitrárias não vistas. Além disso, a representação de pixel-frustum cobre inerentemente apenas regiões dentro dos campos de visão da câmera; lacunas entre câmeras em configurações de visão surround são preenchidas por um pequeno conjunto de consultas espaciais suplementares, que têm um impacto mínimo nas métricas agregadas, mas indicam uma limitação para cobrir regiões inteiramente fora da visão da câmera.