Resumen Técnico: Robot Squid Game (SQUID)

Declaración del Problema

Los robots cuadrúpedos han demostrado un potencial significativo en terrenos exteriores no estructurados, sin embargo, la travesía autónoma de entornos 3D confinados —como túneles, cuevas y estructuras colapsadas— sigue siendo una brecha crítica en las capacidades. Las estrategias de navegación existentes enfrentan tres limitaciones principales:

1. Entrenamiento Simplificado en Exceso: Muchos métodos dependen de modelos ambientales estáticos o simplificados que no capturan la diversidad geométrica de los espacios confinados del mundo real.
2. Especialización Excesiva: Las políticas altamente especializadas a menudo requieren un reajuste sustancial al encontrar nuevas formas o geometrías de túneles.
3. Sensibilidad de los Sensores: Los enfoques suelen ser sensibles al ruido sensorial, lo que lleva a una degradación del rendimiento durante la implementación en el mundo real.

Los métodos actuales luchan por coordinar simultáneamente la postura del cuerpo, la articulación de las extremidades y la conciencia ambiental para evitar colisiones con el techo y obstrucciones laterales en espacios restringidos de 360°.

Metodología: Marco SQUID

El artículo introduce SQUID (Locomoción Cuadrúpeda Fusión de Habilidades Usando Imitación y Destilación), un marco de Aprendizaje por Refuerzo (RL) que combina la generación procedural de entornos con un paradigma de destilación de políticas maestro-alumno. El sistema opera en tres etapas:

1. Generación Procedural de Túneles

Para abordar la falta de diversidad geométrica en el entrenamiento, los autores desarrollaron un generador procedural consciente de la física que crea entornos de túneles 3D con variaciones parametrizadas. El sistema define cuatro clases distintas de túneles, cada una con parámetros de dificultad ajustables:

• Triángulo (△): Secciones transversales equiláteras con ángulos agudos que requieren rotación del cuerpo.
• Círculo (⃝): Estructuras uniformemente cerradas donde la reducción del radio aumenta la dificultad.
• Medio Círculo (T): Arcos semicirculares con inversiones aleatorias de la normal Z para simular terrenos invertidos.
• Hendidura (⊢⊣): Vacíos centrales con estantes laterales elevados, que desafían la selección de apoyos estables.

Estos entornos están conectados secuencialmente con dificultad creciente, asegurando que el robot encuentre una amplia distribución de restricciones espaciales en lugar de memorizar rutas fijas.

2. Entrenamiento del Maestro Privilegiado

Cuatro políticas de "experto" maestro especializadas se entrenan de forma independiente utilizando Optimización de Política Proximal (PPO) dentro del marco de RL.

• Información Privilegiada: Los maestros utilizan observabilidad completa del estado, incluidos detalles ambientales de verdad fundamental (por ejemplo, mapas de altitud exactos del terreno, restricciones del techo) no disponibles para el robot desplegado finalmente.
• Espacio de Observación: Incluye datos propioceptivos (posiciones/velocidades de las articulaciones, velocidades lineales/angulares de la base) y mediciones exteroceptivas del terreno.
• Función de Recompensa: Una suma ponderada de términos que fomentan el seguimiento de velocidad, la estabilidad (penalizando fluctuaciones verticales/horizontales), la actuación suave, la evitación de colisiones y la temporización estructurada de los pasos.

3. Destilación de Políticas al Alumno

Una política unificada "alumno" se entrena mediante Agregación de Conjuntos de Datos (DAgger) para destilar conocimiento de los cuatro maestros expertos.

• Restricciones de Entrada: A diferencia de los maestros, el alumno depende únicamente de sensores a bordo: imágenes de profundidad (64×48 píxeles) y propiocepción histórica.
• Destilación Condicionada al Túnel: Durante el entrenamiento, el alumno es supervisado por la política experta específica que coincide con la etiqueta de la clase de túnel actual.
• Agregación Equilibrada por Clase: Un búfer de reproducción asegura un muestreo equilibrado entre los cuatro tipos de túneles, evitando el sesgo hacia cualquier geometría única y preservando comportamientos especializados dentro de un solo modelo.

Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Tubería de Simulación de Túneles: Un sistema de generación procedural que crea entornos de túneles 3D con variaciones geométricas parametrizadas (asimetría de sección transversal, transiciones de pendiente) que superan la diversidad de los conjuntos de datos existentes de entrenamiento 3D confinado.
2. Destilación de Políticas Condicionada al Túnel: Un esquema maestro-alumno de múltiples expertos que utiliza agregación equilibrada por clase para retener comportamientos de locomoción a través de geometrías de túneles heterogéneas dentro de una única política desplegable.
3. Implementación en el Mundo Real Basada en Profundidad: Validación experimental que demuestra que la política destilada se transfiere con éxito al hardware real utilizando únicamente observaciones de profundidad y entradas propioceptivas, sin información privilegiada del simulador.

Resultados Experimentales

Los autores evaluaron SQUID mediante simulación y despliegue en el mundo real en un cuadrúpedo Unitree Go2.

Rendimiento en Simulación

En comparación con una línea base de RL Vanilla (V-RL) y un Planificador Jerárquico (HP), SQUID demostró un rendimiento superior:

• Tasa de Éxito: SQUID logró las tasas de éxito más altas en todas las clases de túneles y niveles de dificultad, particularmente en túneles triangulares y de hendidura desafiantes donde V-RL falló con frecuencia y HP luchó con el movimiento adaptativo.
• Eficiencia: SQUID mantuvo tiempos de travesía más rápidos que el HP excesivamente cauteloso y exhibió frecuencias de colisión más bajas que el V-RL errático.
• Energía: El método logró una mejor eficiencia energética al asegurar transiciones de marcha más suaves y reducir movimientos correctivos innecesarios.

Estudios de Ablación

Los autores realizaron estudios de ablación para verificar la necesidad de cada componente:

• Múltiples Expertos vs. Maestro Único: Un alumno entrenado con un solo maestro (túneles circulares) no logró generalizar a túneles asimétricos (triangulares/hendidura), confirmando la necesidad de conocimiento de múltiples expertos.
• Generación Procedural: El entrenamiento en entornos fijos, no procedurales, resultó en políticas rígidas que fallaron bajo variaciones inesperadas.
• Mapeo de Elevación: El uso de un mapa de elevación de dos capas (suelo + techo) para los maestros causó problemas de convergencia; los mapas de elevación solo de suelo resultaron más efectivos para aprender estrategias estables.
• Configuración de Recompensa: Eliminar las penalizaciones por colisión o velocidad vertical condujo a comportamientos inestables y arriesgados.

Implementación en el Mundo Real

En una instalación de prueba de túnel controlada con segmentos modulares (túneles circulares, triangulares con pendiente de 40° y túneles de hendidura), la política SQUID logró:

• 70% de tasa de éxito en túneles circulares.
• 80% de tasa de éxito en túneles de hendidura.
• 60% de tasa de éxito en los túneles triangulares inclinados más desafiantes.
  Estos resultados confirman la capacidad de la política para transferirse al hardware real a pesar del ruido de profundidad y las devoluciones faltantes.

Significado y Afirmaciones

El artículo afirma que SQUID cierra efectivamente la brecha entre el entrenamiento de simulación estructurado y los espacios 3D confinados e impredecibles. Al desacoplar las estrategias de manejo de la percepción de la locomoción central y aprovechar una arquitectura maestro-alumno, el método elimina la necesidad de una configuración de recompensa compleja en el entrenamiento de extremo a extremo y reduce la dependencia del reajuste de políticas para nuevas geometrías.

Los autores señalan que su evaluación se centra en geometrías estructuradas similares a túneles y no modela explícitamente desorden no estructurado (por ejemplo, escombros, rocas) ni redes de intersecciones de giros cerrados. Identifican extender el generador procedural para incluir tales pasajes confinados no estructurados como una dirección para trabajos futuros. El trabajo demuestra que la locomoción cuadrúpeda robusta en entornos confinados es alcanzable mediante la síntesis de datos de entrenamiento diversos y la destilación de habilidades especializadas de expertos en una política basada en visión generalizable.