Feasibility of Indoor Frame-Wise Lidar Semantic Segmentation via Distillation from Visual Foundation Model

Título: Viabilidade da Segmentação Semântica de LiDAR em Quadros (Frame-Wise) para Ambientes Internos via Destilação de Modelos Fundamentais Visuais

1. Problema e Contexto

A segmentação semântica de quadros (frame-wise) de varreduras LiDAR em ambientes internos é um passo fundamental para tarefas de compreensão de cenas 3D e mapeamento (como Scan-to-BIM e SLAM semântico). No entanto, existem desafios significativos:

• Custo de Anotação: A obtenção de ground truth (rótulos reais) quadro a quadro para treinar modelos de aprendizado profundo é extremamente cara e demorada.
• Limitações de Métodos Atuais:
  • A segmentação em nível de cena (scene-level) é lenta e requer modelagem geométrica prévia, inviabilizando processamento em tempo real.
  • Métodos baseados apenas em LiDAR dependem de dados pré-treinados em ambientes externos (como nuvens de pontos de estradas), o que gera uma grande lacuna de domínio (domain gap) ao serem aplicados em interiores.
  • A projeção de máscaras semânticas de câmeras para nuvens de pontos exige calibração precisa e perde informações fora do campo de visão sobreposto.
• Falta de Benchmarks: Diferente dos cenários de direção autônoma (que possuem conjuntos de dados padronizados como SemanticKITTI), não existem benchmarks públicos robustos para segmentação semântica de LiDAR quadro a quadro em ambientes internos.

2. Metodologia

O trabalho propõe adaptar o framework de destilação cruzada (cross-modal distillation) ScaLR, originalmente desenvolvido para direção autônoma, para ambientes internos. A abordagem não utiliza dados rotulados manualmente para o treinamento inicial.

• Arquitetura de Destilação (Teacher-Student):
  • Professor (Teacher): Um Modelo Fundamental Visual (VFM) pré-treinado (DINOv2 ou OneFormer) que processa as imagens 2D sincronizadas com o LiDAR.
  • Aluno (Student): Uma rede 3D (WaffleIron) que processa as nuvens de pontos.
  • Mecanismo: Para cada ponto 3D, projeta-se sua posição na imagem correspondente. O modelo aluno aprende a alinhar suas representações de características (features) com as do modelo professor (pixel correspondente), minimizando a distância entre os descritores normalizados (perda de similaridade cosseno).
• Adaptação de Dados Internos:
  • Desenvolvimento de um pipeline específico para lidar com a heterogeneidade de sensores em conjuntos de dados de SLAM interno (NTU-VIRAL, TIERS, M2DGR, ITC).
  • Tratamento de diferentes configurações de LiDAR (ex: duplo LiDAR vs. único, diferentes resoluções) para garantir o alinhamento correto entre pontos 3D e pixels 2D.
• Geração de Pseudo-rótulos:
  • Como não há rótulos reais, máscaras de segmentação semântica geradas pelo VFM (OneFormer) são projetadas sobre a nuvem de pontos para criar pseudo-rótulos.
  • Esses pseudo-rótulos são usados para duas etapas: (1) Linear Probing (avaliação das características aprendidas) e (2) Fine-tuning (ajuste fino do modelo completo).
• Validação:
  • Foi criada manualmente uma pequena subamostra de dados (1.720 quadros do conjunto ITC) para servir como ground truth real e validar a confiabilidade da avaliação baseada em pseudo-rótulos.

3. Contribuições Principais

1. Pipeline de Dados para Ambientes Internos: Adaptação bem-sucedida do framework ScaLR para conjuntos de dados de SLAM interno, lidando com a diversidade de sensores e geometrias de projeção.
2. Viabilidade sem Anotação Manual: Demonstração de que é possível treinar e ajustar modelos de segmentação semântica 3D em ambientes internos utilizando apenas pseudo-rótulos derivados de VFMs, eliminando a necessidade de anotação manual densa.
3. Validação Empírica: Fornecimento de um pequeno conjunto de dados rotulados manualmente (ITC) para validar a precisão dos pseudo-rótulos e avaliar o desempenho real do modelo, algo inexistente na literatura atual para esta tarefa específica.

4. Resultados

Os experimentos foram conduzidos em quatro conjuntos de dados internos (NTU-VIRAL, TIERS, M2DGR e ITC).

• Desempenho com Pseudo-rótulos:
  • O modelo ajustado (fine-tuned) alcançou cerca de 56% de mIoU (Intersecção sobre União Média) quando avaliado contra os pseudo-rótulos.
  • Em testes de Linear Probing (sem ajuste fino), o modelo pré-treinado em dados combinados ("All Indoor") atingiu até 48% de mIoU no conjunto TIERS.
• Desempenho com Rótulos Reais (Validação ITC):
  • Ao ser avaliado contra os rótulos reais manualmente anotados, o modelo alcançou 35,8% de mIoU e 70,3% de precisão global.
  • Comparação: Este resultado supera significativamente uma linha de base supervisionada (RandLA-Net pré-treinada em S3DIS), que obteve apenas 10,7% de mIoU no mesmo conjunto de testes, demonstrando a eficácia da destilação cruzada.
• Robustez do Modelo:
  • O framework foi robusto a diferentes VFMs (OneFormer vs. DINOv2), com desempenho comparável.
  • A arquitetura de 24 camadas do WaffleIron ofereceu o melhor equilíbrio entre precisão e eficiência computacional (inferência em tempo real >15 Hz).
• Limitações Identificadas:
  • Existe uma dependência de domínio: o desempenho cai significativamente quando o modelo é testado em um conjunto de dados interno diferente daquele usado para pré-treinamento (lacuna de domínio entre sensores e layouts de edifícios).
  • Há uma discrepância entre a avaliação com pseudo-rótulos e rótulos reais, indicando que os pseudo-rótulos superestimam o desempenho devido a ruídos na segmentação 2D e desalinhamentos de projeção.

5. Significado e Conclusão

Este estudo estabelece a viabilidade de realizar segmentação semântica de LiDAR em tempo real para ambientes internos sem a necessidade de anotações manuais massivas.

• Inovação: Preenche uma lacuna crítica ao transferir o sucesso da destilação 2D-3D (comum em direção autônoma) para o domínio interno, onde a escassez de dados rotulados é um gargalo.
• Impacto Prático: Oferece uma solução para aplicações como SLAM semântico e mapeamento 3D, permitindo que sistemas operem em novos ambientes sem necessidade de re-treinamento custoso com dados rotulados.
• Futuro: O trabalho aponta a necessidade de benchmarks padronizados internos e estratégias para melhorar a qualidade dos pseudo-rótulos (ex: filtragem por confiança ou consistência temporal) para reduzir a lacuna entre avaliação simulada e real.

Em resumo, a destilação cruzada de modelos fundamentais visuais para LiDAR é uma abordagem promissora e eficaz para superar a barreira da anotação de dados em ambientes internos, apesar dos desafios persistentes de generalização entre diferentes sensores e cenários.