Resumen Técnico: VE2VF – Destilación de Habilitado por Visión a Sin Visión

Enunciado del Problema

El ensamblaje robótico y la manipulación rica en contacto requieren alta precisión y adaptabilidad a diversas piezas y entornos. Los enfoques tradicionales basados en modelos tienen dificultades debido a la complejidad de modelar con precisión la dinámica del contacto, la fricción y la deformación. Aunque los enfoques basados en aprendizaje, como el Aprendizaje por Refuerzo (RL), ofrecen promesas, enfrentan obstáculos significativos:

• Brecha Simulación-Realidad: Los simuladores a menudo no logran capturar interacciones de contacto complejas, lo que dificulta la transferencia de políticas al mundo real.
• Ineficiencia Muestral: El RL directo sin modelo en hardware requiere un tiempo de interacción excesivo y estrategias de exploración segura.
• Sobreajuste Visual: Las políticas habilitadas por visión, aunque efectivas durante el entrenamiento, tienden a sobreajustarse a condiciones visuales específicas (iluminación, texturas, fondos). Esto limita su robustez y generalización a tareas fuera de distribución (OOD) o entornos no vistos.
• Observabilidad Parcial: Entrenar políticas sin visión directamente desde cero utilizando solo propiocepción (posición, torsión, fuerza) es un desafío debido a la falta de guía visual para la exploración.

Metodología: Marco VE2VF

Los autores proponen VE2VF (Habiltado por Visión a Sin Visión), un marco de RL con humano en el bucle (HIL) que emplea un enfoque de destilación maestro-alumno para lograr una manipulación robusta y sin visión. El proceso consta de tres etapas principales:

1. Configuración de RL con Humano en el Bucle

El sistema utiliza Soft Actor-Critic (SAC) con RLPD (Aprendizaje por Refuerzo con Datos Previos). El bucle de aprendizaje integra:

• Exploración Autónoma: El agente genera sus propias transiciones.
• Guía Humana: Un operador humano proporciona demostraciones fuera de línea e intervenciones de teleoperación en línea (sobrescribiendo las acciones del agente) para guiar la exploración y proporcionar señales de recompensa.
• Estructura de Recompensa: Se utiliza una recompensa binaria dispersa (1 para éxito en la tarea, 0 en caso contrario), evitando la conformación compleja de recompensas.

2. Etapa I: Entrenamiento del Maestro Habilitado por Visión

Una política "maestra" ($\pi_t$) se entrena en un conjunto de tareas representativas utilizando entradas multimodales completas:

• Observaciones: Imágenes de cámaras ($I$), posición del efector final ($p$), velocidad ($v$), fuerza ($f$) y torque ($\tau$).
• Representación: La posición se representa en relación con el estado inicial del episodio para facilitar el servocontrol visual reactivo.
• Objetivo: El maestro aprende a aprovechar la rica retroalimentación visual para dominar las tareas, logrando altas tasas de éxito. Sin embargo, sigue dependiendo de las condiciones visuales.

3. Etapa II: Destilación del Alumno Sin Visión

Una política "alumno" ($\pi_s$) se entrena para replicar el comportamiento del maestro, pero depende exclusivamente de entradas propioceptivas (posición, torsión, fuerza), descartando los datos visuales.

• Mecanismo de Destilación: El alumno se entrena utilizando el mismo marco HIL-RL, pero con términos de pérdida adicionales para alinearse con el maestro:
  • Destilación del Crítico: Un término de Error Cuadrático Medio (MSE) fuerza a la función Q del alumno ($Q_s$) a coincidir con la función Q del maestro ($Q_t$).
  • Destilación del Actor: Un término de divergencia Kullback-Leibler (KL) regulariza la política del alumno ($\pi_s$) para que coincida con la distribución de acciones del maestro ($\pi_t$).
• Representación del Estado: El alumno utiliza un sistema de coordenadas relativo a la tarea ($T_z$) para garantizar la invarianza ante la posición espacial absoluta.
• Resultado: El alumno hereda las "habilidades" y las estrategias de exploración aprendidas por el maestro, pero se vuelve invariante a los cambios visuales.

4. Etapa III: Ajuste Fino (Opcional)

Para tareas altamente desafiantes o no vistas, el alumno sin visión puede ser ajustado finamente. Esto implica entrenar un nuevo maestro habilitado por visión especializado en la tarea específica y destilar su conocimiento en el alumno, en lugar de entrenar al alumno desde cero.

Contribuciones Clave

1. Marco de Destilación Cross-Modal: Un método novedoso que destila conocimiento de un maestro habilitado por visión a un alumno sin visión. Esto conserva la eficiencia muestral del aprendizaje visual durante la fase de entrenamiento, mientras produce una política de despliegue que es invariante a las condiciones visuales.
2. Generalización Eficiente de Habilidades: El enfoque demuestra que el entrenamiento conjunto en un pequeño conjunto de tareas representativas permite una transferencia cero-shot robusta a escenarios de inserción no vistos.
3. Validación en el Mundo Real: El método se valida completamente en hardware del mundo real (Franka FR3) sin aleatorización de dominio ni aumento de datos, logrando altas tasas de éxito en aproximadamente 50 minutos de tiempo total de interacción del robot.

Resultados Experimentales

Los experimentos se realizaron en la referencia NIST Assembly Board I, que involucra diversas tareas de inserción de pasadores, engranajes y conectores.

• Rendimiento: El método VE2VF logró una tasa de éxito general del 95% en tareas de entrenamiento, perturbadas y fuera de distribución.
• Comparación con Líneas Base:
  • RL Habilitado por Visión (HIL-SERL VPTW): Logró un éxito casi perfecto en tareas de entrenamiento, pero colapsó (0% de éxito) en tareas fuera de distribución y se degradó significativamente bajo perturbaciones visuales.
  • RL Sin Visión desde Cero (HIL-SERL PTW): Mostró un rendimiento moderado (47.1%), pero tuvo dificultades para aprender estrategias de inserción efectivas sin guía visual, sin lograr el éxito total.
  • Primitivas de Movimiento Dinámico (DMP): Rindieron pobremente (35.7%), confirmando la necesidad de comportamientos adaptativos y aprendidos.
  • RL Residual: Rindió bien (85.7%), pero fue superado por VE2VF, particularmente en comportamientos de recuperación (por ejemplo, resbalar de un zócalo y reintentar).
• Estudios de Ablación:
  • Se demostró que la destilación es esencial; entrenar al alumno sin visión desde cero, incluso con tiempo extendido (hasta 75 minutos), llevó a sobreajuste en tareas más simples y fallo en las complejas.
  • Combinar las entradas de posición, torsión y fuerza proporcionó la mejor robustez en comparación con el uso de subconjuntos de estas modalidades.
• Ajuste Fino: Para la tarea desafiante de inserción DSUB (50% de éxito cero-shot), el ajuste fino del alumno con un maestro específico de la tarea mediante destilación logró un 100% de éxito en solo 10 minutos adicionales.

Significado y Afirmaciones

El artículo afirma que VE2VF aborda el compromiso crítico entre la eficiencia muestral del aprendizaje guiado por visión y la robustez requerida para el despliegue en el mundo real. Al utilizar la visión solo como un "maestro" para guiar la exploración y luego destilar ese conocimiento en un "alumno" propioceptivo, el sistema logra:

• Robustez: Políticas que se generalizan a través de diferentes iluminaciones, texturas y posiciones objetivo.
• Adaptabilidad: La capacidad de recuperarse de fallos (por ejemplo, resbalones) mediante comportamientos reactivos aprendidos del maestro.
• Eficiencia: Adquisición rápida de habilidades complejas ricas en contacto (aprox. 50 minutos) sin necesidad de simulación extensa o conformación manual de recompensas.

Los autores concluyen que este enfoque ofrece una vía práctica para desplegar habilidades de manipulación ricas en contacto robustas en entornos de ensamblaje de alta mezcla y bajo volumen, donde las condiciones visuales son impredecibles.