Bootstrap Perception Under Hardware Depth Failure for Indoor Robot Navigation

Título: Percepção de Bootstrap sob Falha de Hardware de Profundidade para Navegação de Robôs em Ambientes Internos

1. O Problema

Robôs de navegação interna dependem frequentemente de sensores de alcance (como LiDAR 2D e câmeras de Tempo de Voo - ToF) para construir mapas de custo e evitar obstáculos. No entanto, esses sistemas enfrentam limitações críticas em cenários reais:

• Falha de Sensores Ativos (ToF): Superfícies reflexivas comuns (pisos polidos, portas de vidro) causam a perda de até 78% dos pixels de profundidade em câmeras ToF, resultando em medições inválidas (distância zero ou fora de alcance).
• Limitação Geométrica (LiDAR 2D): Um LiDAR 2D captura apenas um plano horizontal. Ele não consegue detectar obstáculos acima desse plano (como braços de pedestres ou partes superiores de móveis), criando uma "cegueira" vertical.
• Custo de Soluções 3D: Substituir por um LiDAR 3D é frequentemente inviável devido a restrições de custo, peso e energia em plataformas compactas.

O desafio é manter a navegação segura quando o sensor de profundidade principal falha parcialmente, sem depender de dados externos ou de um sensor 3D caro.

2. Metodologia: Sistema de Percepção "Bootstrap"

Os autores propõem um sistema de percepção hierárquico e consciente de falhas, que utiliza uma propriedade autorreferencial para calibrar e preencher lacunas em tempo real.

• Hierarquia de Sensoriamento:

  1. Âncora Geométrica: O LiDAR 2D permanece como a referência primária para geometria estável.
  2. Uso Conservador de Hardware: A profundidade do sensor ToF é utilizada estritamente onde é válida.
  3. Preenchimento com Aprendizado: Quando o sensor ToF falha (pixels inválidos), um modelo de profundidade monoculares aprendido (baseado em RGB) preenche essas lacunas.
  4. Semântica Opcional: Classes semânticas (ex: pessoas, vidro) refinam os raios de inflação do mapa de custo apenas quando necessário.

• Mecanismo de Calibração "Bootstrap":

  • O sistema não requer dados de treinamento offline ou verdadeiros (ground truth) externos para calibrar a profundidade aprendida.
  • Ele utiliza os próprios pixels válidos sobreviventes do sensor ToF falho para calcular um fator de escala em tempo real.
  • A profundidade relativa prevista pelo modelo monoculares é convertida para escala métrica usando a mediana da razão entre a profundidade do ToF (válida) e a profundidade prevista pelo modelo.
  • Isso permite que o sistema "se auto-calibre" e preencha seus próprios buracos de dados dinamicamente.

• Fusão e Construção de Mapa de Custo:

  • A profundidade fundida ($d_{fused}$) mantém o valor do hardware se válido; caso contrário, usa o valor aprendido.
  • Pontos são re projetados em 3D e filtrados por uma banda de altura relevante para colisão (0.05m a 2.0m).
  • O resultado é fundido com o LiDAR no nível do mapa de custo local.

• Otimização para Edge (Bordas):

  • Para rodar em hardware embarcado (Jetson Orin Nano), os autores treinaram um estudante compacto (distillation) baseado em EfficientViT-B1.
  • Este modelo é treinado para prever profundidade e segmentação simultaneamente, utilizando uma função de perda que espelha a lógica de fusão em tempo real (usando o sensor ativo como alvo onde válido e o professor onde inválido).

3. Principais Contribuições

1. Arquitetura de Percepção Bootstrap: Um sistema onde LiDAR, profundidade de hardware e profundidade aprendida operam em uma hierarquia deliberada, não como módulos independentes. O sistema é conservador quando os sensores funcionam e preenche lacunas quando falham.
2. Mecanismo de Auto-Calibração em Tempo Real: Demonstração inédita de usar pixels válidos de um sensor degradado para calibrar e ancorar a profundidade aprendida, eliminando a necessidade de ground truth externo durante a operação.
3. Validação de Estudante Compacto: Avaliação de um modelo destilado que opera a 218 FPS em um Jetson Orin Nano, oferecendo uma alternativa viável a modelos grandes (Foundation Models) para ambientes específicos.

4. Resultados e Avaliação

Os experimentos foram realizados em três cenários: corredores universitários (com falha severa de ToF), benchmark dinâmico (LILocBench) e simulação em malha fechada.

• Cobertura de Obstáculos:
  • Em corredores com superfícies reflexivas (78% de pixels inválidos), a fusão LiDAR + Profundidade Aprendida aumentou a cobertura de células de obstáculos em 55% em comparação com o LiDAR sozinho.
  • No benchmark dinâmico (LILocBench), onde o LiDAR 2D não vê a parte superior de pedestres, a fusão aumentou a cobertura em 110%.
• Estabilidade: A profundidade aprendida reduziu o "jitter" (tremulação) do mapa de custo, estabilizando regiões onde o sinal do ToF oscila entre quadros.
• Desempenho do Estudante Compacto:
  • O modelo estudante (V9) rodou a 218 FPS com apenas 2.7 GB de RAM (vs. 6.5 GB do modelo completo).
  • Simulação: Em um corredor estreito simulado, o estudante alcançou 9/10 de sucesso na navegação com zero colisões, igualando o desempenho de uma profundidade de verdade absoluta (ground truth) nesse cenário idealizado.
• Compromissos (Trade-offs):
  • O estudante especializado em corredores perdeu generalidade (esquecimento catastrófico em dados NYU) e teve menor precisão de curto alcance (0.3m - 1.0m) comparado ao modelo base (DA3-Small).
  • A precisão de curto alcance do estudante (8.83% dos pixels com erro < 25%) ainda é inferior à do modelo base (70.7%), indicando que, para navegação autônoma geral, um supervisor de segurança ou o modelo base ainda são necessários.

5. Significado e Conclusão

Este trabalho demonstra que é possível manter a navegação robusta em robôs compactos mesmo quando sensores de profundidade falham criticamente devido a reflexões.

• Inovação Chave: A ideia de usar o próprio sensor falho para calibrar a substituição aprendida ("Bootstrap") remove a dependência de dados externos complexos.
• Impacto Prático: Permite que robôs de baixo custo operem em ambientes industriais e logísticos (com pisos polidos e vidro) sem a necessidade de LiDARs 3D caros.
• Direção Futura: Embora o estudante compacto seja viável para rotas fixas em ambientes conhecidos, a precisão de curto alcance ainda exige supervisão para implantação geral. O próximo passo é a validação em hardware real em ambientes industriais complexos.

Em resumo, o sistema oferece uma solução elegante e eficiente computacionalmente para um problema comum de percepção robótica, equilibrando segurança, custo e desempenho através de uma fusão sensorial inteligente e adaptativa.