Enhancing Vision-Based Policies with Omni-View and Cross-Modality Knowledge Distillation for Mobile Robots

1. O Problema

Os autores abordam um "trilema" enfrentado por políticas de visão baseadas em aprendizado por imitação para robôs móveis leves:

1. Baixa Transferibilidade de Cena: Políticas treinadas com câmeras monoculares (visão única) frequentemente falham em ambientes não vistos ou com variações de iluminação e textura, devido à falta de diversidade de dados e sensibilidade a mudanças de aparência.
2. Recursos Computacionais Limitados: Robôs móveis possuem restrições de energia e hardware, dificultando a execução em tempo real de modelos pesados ou o processamento de grandes volumes de dados (como imagens omnidirecionais).
3. Custo de Hardware: Sensores de profundidade (como LiDAR ou câmeras RGB-D) e sistemas de múltiplas câmeras melhoram a percepção e a segurança, mas são caros, volumosos e computacionalmente custosos, tornando-se inviáveis para robôs de baixo custo.

O objetivo central é aprender uma política robusta usando apenas uma câmera RGB monocular de baixo custo, alcançando um desempenho comparável ao de políticas que utilizam dados de profundidade e visão omnidirecional.

2. Metodologia

O trabalho propõe um framework de Distilação de Conhecimento (Knowledge Distillation) que transfere informações de um "professor" rico em dados para um "aluno" leve.

• Política Professor ($\pi_T$):

  • Utiliza imagens de profundidade omnidirecionais (360°) geradas a partir de múltiplas câmeras (simuladas ou convertidas via DepthAnyThingV2).
  • Essas imagens são invariantes à aparência (não dependem de textura/iluminação) e fornecem contexto espacial completo.
  • É treinada para imitar um especialista (baseado em RL ou controle) minimizando a perda de ação.

• Política Aluno ($\pi_S$):

  • Utiliza apenas uma sequência temporal de imagens RGB monoculares (visão única).
  • Possui uma arquitetura leve (Encoder + LSTM + MLP) adequada para execução a bordo.

• Mecanismo de Distilação (O Núcleo da Proposta):

  • Ao contrário da imitação tradicional que apenas copia a ação final, o aluno é treinado para alinhar seus embeddings latentes (representações intermediárias) com os do professor.
  • Utiliza uma Perda Contrastiva (InfoNCE) para garantir que os embeddings do aluno (baseados em RGB único) sejam semanticamente próximos aos embeddings do professor (baseados em profundidade omnidirecional) quando observam o mesmo estado espacial.
  • A função de perda total combina a regressão de ação ($L_{act}$) e a perda contrastiva ($L_{con}$):
    $$L_S = \lambda_0 L_{act} + \lambda_1 L_{con}$$
  • Isso atua como uma regularização, forçando o aluno a aprender representações robustas e invariantes à aparência, mesmo sem acesso direto aos dados de profundidade ou visão 360°.

3. Principais Contribuições

1. Framework de Distilação Omni-View e Cross-Modality: Introduz um método que transfere conhecimento de visão omnidirecional e profundidade para uma política monoculares RGB, melhorando significativamente a transferência de cena.
2. Desempenho Superior com Baixo Custo: Demonstra que é possível obter um robô leve e barato (apenas câmera RGB) com desempenho de navegação próximo ao de sistemas complexos com sensores de profundidade.
   • Aumento de ~15% na taxa de sucesso de navegação.
   • Aumento de ~19% na distância percorrida sem colisões.
3. Eficiência Computacional: Elimina a necessidade de sensores de profundidade ou múltiplas câmeras durante a inferência. O tempo de inferência a bordo é de aproximadamente 20 ms, viabilizando o uso em hardware limitado (ex: NVIDIA Jetson Orin NX).
4. Validação em Cenários Reais: O método foi testado extensivamente em simulação e em um robô móvel leve do mundo real, provando sua viabilidade prática.

4. Resultados Experimentais

Os experimentos foram realizados em ambientes de simulação (Gazebo) e no mundo real, comparando a abordagem proposta com diversos baselines (incluindo encoders pré-treinados como DINOv2, CLIP, e métodos sem distilação).

• Erro de Ação (Action Error - AE): A política proposta ("Ours-Rnet50") alcançou o menor erro de ação entre os métodos baseados em RGB (0.0067), aproximando-se do desempenho de políticas que usam profundidade omnidirecional (0.0033).
• Taxa de Sucesso (Success Rate - SR):
  • Métodos RGB padrão: ~31-40%.
  • Método Proposto: 72% (um aumento de 23% em relação aos melhores baselines RGB).
  • Comparado a métodos de profundidade: 72% vs 80% (com uma diferença de custo computacional e de hardware drasticamente menor).
• Distância de Movimento (Moving Distance): O método proposto permitiu que o robô percorresse 8.49m antes de colidir, superando significativamente os métodos RGB padrão (~5m).
• Análise de Embeddings: A visualização t-SNE e mapas de atenção mostraram que a distilação faz com que o aluno foque em características relevantes para a tarefa (obstáculos, caminho), ignorando ruídos visuais que confundem políticas treinadas apenas com imitação de ação.

5. Significado e Conclusão

Este trabalho resolve o dilema entre a necessidade de percepção rica (profundidade/360°) e as limitações de hardware de robôs móveis comerciais. Ao utilizar a distilação de conhecimento, os autores demonstram que a "inteligência" de um sistema complexo pode ser comprimida em um modelo leve.

A contribuição fundamental é provar que a qualidade da representação visual (embedding) é tão crucial quanto a quantidade de dados de entrada. Ao forçar a política monoculares a aprender a estrutura latente de um professor omnidirecional, o sistema ganha robustez contra variações de aparência e melhor capacidade de generalização, permitindo a implantação de políticas de navegação seguras e eficientes em robôs de baixo custo, sem a necessidade de sensores caros ou computação pesada a bordo.