Resumo Técnico: QueryOcc

Declaração do Problema

A aprendizagem de geometria e semântica de cenas 3D a partir de imagens é um desafio fundamental para a condução autónoma, mas a anotação 3D em larga escala é proibitivamente dispendiosa. As abordagens de auto-supervisão existentes enfrentam limitações significativas:

1. Métodos baseados em renderização: Estes dependem da consistência de reconstrução de imagem 2D. Embora escaláveis, fornecem apenas sinais geométricos indiretos, onde a estrutura 3D emerge como um subproduto da síntese de imagem, em vez de um alvo de aprendizagem explícito. Frequentemente, dependem de mapas de profundidade estimados externamente para estabilidade.
2. Métodos baseados em Lidar: Estes fornecem supervisão 3D explícita, mas dependem da discretização de nuvens de pontos agregadas em grelhas de voxels predefinidas. Esta abordagem limita a precisão espacial, a escalabilidade e a capacidade de representar cenas ilimitadas de forma eficiente.

O artigo defende que a supervisão direta no espaço-tempo 4D contínuo oferece um feedback geométrico mais claro para a aprendizagem de ocupação semântica 3D auto-supervisionada do que os métodos de renderização ou de voxelização de lidar.

Metodologia: QueryOcc

O QueryOcc é um framework baseado em queries que aprende ocupação semântica 3D contínua diretamente de imagens multi-vista (e opcionalmente lidar) sem perdas de renderização ou agregação de voxels.

1. Arquitetura do Modelo

O framework segue um pipeline modular de quatro etapas:

• Codificação de Imagem: As imagens multi-vista são processadas por um backbone pré-treinado para extrair características densas. Os parâmetros de calibração da câmara são codificados através de um MLP leve para fornecer contexto específico da câmara.
• Lift-Contract-Splat (LCS): Esta é a inovação central para lidar com cenas ilimitadas. Estende a formulação Lift-Splat-Shoot (LSS) com três componentes chave:
  • Codificação por Ponto (Point-wise Encoding): Em vez de realizar o splatting de características brutas, o modelo codifica explicitamente a visibilidade, incerteza e pistas temporais usando uma função aprendível. Isto permite a representação de regiões ocupadas e não observadas.
  • Binagem de Profundidade Log-Linear: Para equilibrar a resolução de campo próximo com a cobertura de campo distante, os bins de profundidade utilizam um espaçamento que aumenta exponencialmente fora de uma região de campo próximo ($d_{near}$), em vez de um espaçamento uniforme.
  • Contração Alinhada aos Eixos (Axis-Aligned Contraction): Para manter a memória e o cálculo constantes, independentemente do alcance da cena, uma função de contração alinhada aos eixos comprime as regiões distantes enquanto preserva detalhes de alta resolução perto do veículo ego. Isto evita o crescimento quadrático de memória associado à expansão das grelhas BEV.
• Processamento de Características BEV: As características BEV contraídas são processadas utilizando ResBlocks e atenção deformável multi-escala para capturar dependências locais e globais, com convoluções dinâmicas para se adaptarem à escala local da contração.
• Decoder de Query Unificado: Um decoder leve prevê a ocupação e a semântica para queries 4D arbitrárias ($q = [x, y, z, t]^\top$). As queries são contraídas para alinhar com o espaço BEV, codificadas por um MLP e fundidas com características BEV interpoladas. O decoder prevê offsets para extrair características de localizações próximas (imitando a atenção deformável) antes de produzir as previsões finais.

2. Treino Auto-Supervisionado

O framework opera diretamente no espaço-tempo 4D contínuo, gerando supervisão a partir de nuvens de pontos observadas ao longo do tempo.

• Fontes de Supervisão:
  • Apenas Câmera: Pseudo nuvens de pontos são geradas ao elevar pixels para 3D usando profundidade métrica prevista por um modelo de fundação de visão (VFM). Estas são emparelhadas com pseudo-labels semânticos ou características densas de VFM.
  • Câmera-Lidar: Nuvens de pontos de lidar reais servem como supervisão geométrica explícita, projetadas para as vistas de câmara para recuperar labels semânticos ou características.
  • Unificado: Uma combinação de ambas as fontes.
• Geração de Queries: A supervisão é aplicada através de queries 4D espaço-temporais amostradas das nuvens de pontos:
  • Queries Negativas (Não Ocupadas): Amostradas ao longo do raio desde a origem do sensor até ao ponto observado.
  • Queries Positivas (Ocupadas): Amostradas dentro de uma zona de buffer atrás do ponto observado.
• Função de Perda (Loss Function): O modelo é treinado utilizando uma combinação de cross-entropy binária para ocupação, cross-entropy categórica para semântica e perda L1 para destilação de características de VFM.

Principais Contribuições

1. Framework QueryOcc: Um framework flexível baseado em queries que aprende ocupação semântica 3D contínua a partir de imagens multi-vista sem perdas de renderização ou voxelização de lidar.
2. Representação Contrativa Ilimitada: Uma representação de cena inovadora que preserva detalhes de campo próximo enquanto comprime suavemente as regiões distantes, permitindo supervisão de longo alcance sob memória constante. Isto é acompanhado por um mecanismo de "lift-contract-splat" para elevar as características da imagem para este espaço.
3. Desempenho de Estado da Arte: O método alcança resultados superiores no benchmark auto-supervisionado Occ3D-nuScenes, superando métodos anteriores em 26% em RayIoU semântico, mantendo a inferência em tempo real (11.6 FPS).

Resultados Experimentais

Avaliado no benchmark Occ3D-nu_Scenes:

• Desempenho: O QueryOcc alcança um RayIoU semântico de 23.6% (e 25.8% para a variante melhorada QueryOcc+), superando o melhor método auto-supervisionado anterior (GaussianFlowOcc) em 26%. Também melhora a ocupação RayIoU em 25%.
• Eficiência: O modelo corre a 11.6 FPS num GPU A100 com uma latência total de 86ms, significativamente mais rápido do que as abordagens baseadas em renderização (ex: 1.2 FPS para SelfOcc).
• Robustez: O modelo apresenta bom desempenho em várias classes, destacando-se particularmente em categorias pequenas e finas (ex: cones de trânsito, peões). É robusto à escolha do encoder de imagem (ex: ConvNeXt-Base ou ResNet-50).
• Estudos de Ablação:
  • A supervisão direta baseada em queries supera significativamente a supervisão baseada em renderização (23.6 vs. 15.0 RayIoU), indicando que a reconstrução 2D fornece restrições geométricas mais fracas.
  • Todos os componentes propostos (bins log-lineares, contração, codificação de pontos) contribuem para ganhos de desempenho.
  • A combinação da supervisão de câmera e lidar produz os melhores resultados, fundindo eficazmente pistas semânticas densas com geometria precisa.
  • O desempenho escala com resoluções de entrada mais altas e datasets adicionais (ex: Argoverse 2), demonstrando forte eficiência de dados e generalização cross-domain.

Significância

O artigo afirma que o QueryOcc estabelece um novo padrão para a compreensão de cenas 3D auto-supervisionada a partir de câmaras. A sua significância reside no facto de demonstrar que a supervisão direta baseada em queries 4D é uma base robusta para aprendizagem em larga escala, oferecendo feedback geométrico mais claro do que os métodos baseados em renderização. Ao eliminar a necessidade de voxelização e perdas de renderização, o framework alcança um equilíbrio entre alta precisão geométrica, eficiência computacional e a capacidade de raciocinar sobre cenas ilimitadas. O trabalho destaca como a supervisão 4D contínua permite uma aprendizagem forte tanto de geometria como de semântica como alvos explícitos, em vez de meros subprodutos da síntese de imagem.