Enhancing Vision-Based Policies with Omni-View and Cross-Modality Knowledge Distillation for Mobile Robots

Título: Mejora de Políticas Basadas en Visión con Destilación de Conocimiento Omni-Visión y Cross-Modality para Robots Móviles

1. El Problema

Las políticas basadas en visión para robots móviles enfrentan un "trilema" crítico al ser desplegadas en plataformas ligeras y de bajo costo:

• Baja transferibilidad de escena: Las políticas entrenadas con cámaras monoculares (una sola vista) suelen fallar en entornos no vistos o bajo cambios de iluminación y textura, debido a la falta de diversidad de datos y la dependencia de características de apariencia.
• Limitaciones de recursos computacionales: Los robots móviles tienen restricciones de energía y potencia de procesamiento, lo que dificulta el uso de encoders de imágenes de alta capacidad o el procesamiento en tiempo real de grandes volúmenes de datos.
• Costo y complejidad del hardware: Los sensores que mejoran la percepción, como cámaras de profundidad (RGB-D) o LiDAR, son caros, voluminosos y consumen mucha energía, lo que los hace poco prácticos para robots ligeros. Además, las vistas omnidireccionales (360°) mejoran la seguridad pero aumentan la carga de datos.

El objetivo es aprender una política que utilice una cámara RGB monocular de bajo costo, pero que logre un rendimiento comparable al de políticas que utilizan profundidad y vistas omnidireccionales.

2. Metodología

Los autores proponen un marco de destilación de conocimiento que transfiere información de una política "maestra" (experta) rica en información a una política "estudiante" ligera.

• Política Maestra (Teacher):

  • Utiliza imágenes de profundidad omnidireccionales (360°) generadas a partir de múltiples cámaras o simulación.
  • Estas imágenes de profundidad son invariantes a la apariencia (no dependen de la textura o iluminación), lo que mejora la robustez.
  • Se entrena mediante Aprendizaje por Imitación (IL) para replicar las acciones de una política experta basada en estado (obtenida mediante RL).
  • Genera dos salidas clave: las acciones de control y los embeddings latentes (representaciones visuales ricas).

• Política Estudiante (Student):

  • Diseñada para ser ligera y desplegable en hardware limitado.
  • Recibe únicamente una secuencia temporal de imágenes RGB monoculares (una sola vista).
  • Utiliza una red LSTM para fusionar información temporal y superar las limitaciones de una imagen estática.

• Mecanismo de Destilación (Aprendizaje Contrastivo):

  • En lugar de solo imitar las acciones finales (pérdida de acción), el estudiante también se entrena para alinear sus embeddings latentes con los del maestro.
  • Se utiliza una pérdida contrastiva (InfoNCE): empuja los embeddings del estudiante hacia los del maestro cuando están en estados espaciales cercanos, y los separa cuando están distantes.
  • Esto actúa como una regularización y una forma de aumento de datos, obligando al estudiante a aprender representaciones robustas que capturen el contexto ambiental y la información de profundidad, incluso sin verla directamente.

3. Contribuciones Clave

1. Marco de Destilación Omni-Visión y Cross-Modality: Introducen un método que transfiere conocimiento de profundidad omnidireccional a una política monocular RGB.
2. Mejoras Significativas en Rendimiento: Las políticas entrenadas con este método logran un aumento del 15% en la tasa de éxito de navegación y un 19% en la distancia recorrida sin colisiones en comparación con políticas que solo imitan acciones.
3. Despliegue Eficiente: Elimina la necesidad de sensores de profundidad o sistemas multicámara en el robot final. La inferencia en el robot (NVIDIA Jetson Orin NX) toma aproximadamente 20 ms, reduciendo la carga computacional y los costos de hardware.
4. Validación en Entornos Reales: Demuestran la efectividad del enfoque en simulación y en un robot móvil ligero real con recursos computacionales limitados.

4. Resultados Experimentales

• Transferencia de Escena: El análisis de similitud de embeddings muestra que la política estudiante mantiene características visuales consistentes entre diferentes escenas (mismo layout, diferente apariencia), superando a otros codificadores RGB preentrenados (como DINOv2 o CLIP).
• Precisión de Acción (Action Error - AE): La política estudiante con destilación alcanza un error de acción muy bajo (0.0067 con ResNet50), acercándose al rendimiento de las políticas que usan profundidad omnidireccional real (0.0037), y superando significativamente a las políticas monoculares sin destilación (0.0229).
• Rendimiento de Navegación:
  • Tasa de Éxito (SR): 72% (frente al 38-49% de los métodos basados solo en RGB).
  • Distancia de Movimiento (MD): 8.49 m (frente a 5.35 m de los métodos base).
  • Latencia: La inferencia es rápida (24 ms), mientras que los métodos que requieren estimación de profundidad en tiempo real (como DATv2) añaden latencia excesiva (>50 ms) y carga de CPU/GPU, haciéndolos inviables para control en tiempo real en hardware limitado.
• Comparación con el Estado del Arte: Superan a métodos recientes que usan mapas de atención o aprendizaje contrastivo puro, logrando una mejora del 16.1% en la tasa de éxito sobre el mejor método base.

5. Significado e Impacto

Este trabajo es significativo porque resuelve la tensión entre la necesidad de políticas robóticas robustas y seguras y las limitaciones prácticas de los robots móviles de bajo costo. Al demostrar que es posible "comprimir" la inteligencia de un sistema de percepción rico (profundidad + 360°) en una política que solo usa una cámara RGB estándar mediante destilación de conocimiento, los autores:

• Hacen viable la navegación autónoma robusta en robots económicos y ligeros.
• Eliminan la dependencia de sensores costosos y pesados.
• Establecen un nuevo paradigma donde la alineación de representaciones latentes (embeddings) es tan crucial como la imitación de acciones para lograr generalización en entornos dinámicos y variados.

En resumen, el método permite que un robot "vea" y "sienta" el entorno con la riqueza de un sistema de profundidad omnidireccional, utilizando solo una cámara monocular barata, gracias a la transferencia de conocimiento aprendido.