Leveraging Human Feedback for Semantically-Relevant Skill Discovery

Resumen Técnico: Descubrimiento de Habilidades Semánticamente Relevantes mediante Retroalimentación Humana (SRSD)

1. El Problema: Desalineación y Eficiencia en el Descubrimiento de Habilidades

El descubrimiento de habilidades no supervisado en el Aprendizaje por Refuerzo (RL) busca motivar a los agentes para que aprendan comportamientos diversos y útiles de forma autónoma. Sin embargo, los métodos actuales enfrentan dos desafíos críticos:

• Desalineación y Riesgo: Los enfoques puramente no supervisados pueden descubrir comportamientos peligrosos, poco éticos o irrelevantes para el contexto humano.
• Ineficiencia de la Retroalimentación por Preferencias: Los métodos actuales que utilizan la retroalimentación humana basada en preferencias (comparar si el comportamiento A es mejor que el B) son extremadamente ineficientes cuando el espacio de habilidades es amplio. A medida que aumenta el número de tipos de habilidades (correr, saltar, caminar, etc.), la probabilidad de que una comparación por pares proporcione información útil sobre una categoría específica disminuye drásticamente.

2. Metodología Propuesta: SRSD

Los autores introducen Semantically Relevant Skill Discovery (SRSD), un marco de trabajo human-in-the-loop que aprovecha la capacidad cognitiva humana para categorizar comportamientos en etiquetas semánticas.

Componentes clave:

• Etiquetado Semántico (Semantic Labelling): En lugar de comparar pares de trayectorias, se pide al humano que clasifique un segmento de trayectoria como una categoría específica (ej. "correr") o como "irrelevante". Esto permite que cada interacción humana proporcione mucha más información que una simple preferencia.
• Predictor Semántico: El sistema aprende un modelo paramétrico $p_\psi(c|\sigma)$ que predice la probabilidad de que una trayectoria pertenezca a una categoría semántica $c$.
• Función de Recompensa de Relevancia ($r_{rel}$): Se introduce una nueva recompensa intrínseca que incentiva al agente a ejecutar habilidades que el predictor semántico clasifique como "relevantes". La función de recompensa total es una combinación de:
  1. $r_{exp}$ (Exploración basada en entropía del estado).
  2. $r_{div}$ (Diversidad de habilidades basada en información mutua).
  3. $r_{rel}$ (Relevancia semántica basada en el feedback humano).
• Crítico Distribucional (TQC): Para manejar la incertidumbre y la complejidad de combinar múltiples funciones de recompensa, utilizan Truncated Quantile Critics (TQC). Esto permite modelar la distribución de los retornos y mitigar la sobreestimación de los valores.
• Muestreo Activo (Active Sampling): Para maximizar el presupuesto de feedback humano, el algoritmo selecciona activamente segmentos que el predictor considera que pertenecen a categorías relevantes pero que aún no han sido suficientemente exploradas, evitando el desperdicio de tiempo en ejemplos "irrelevantes".

3. Contribuciones Principales

1. Mecanismo de Etiquetado Semántico: Un método de retroalimentación mucho más eficiente que las preferencias tradicionales, cuya eficiencia es independiente del número de categorías semánticas ($O(1)$ frente a $O(1/|C|)$).
2. Marco SRSD: Un nuevo algoritmo que integra la relevancia semántica directamente en el proceso de optimización de la política.
3. Mitigación de la Incertidumbre: El uso de una perspectiva de criticismo distribucional para gestionar la aleatoriedad de las múltiples recompensas intrínsecas.
4. Validación Empírica: Demostración de que el método escala eficazmente a una gran variedad de comportamientos.

4. Resultados Experimentales

Los autores evaluaron el método en entornos de navegación 2D y en cuatro entornos de locomoción del DeepMind Control Suite (Walker, Quadruped, Cheetah, Hopper).

• Desempeño Superior: SRSD superó consistentemente a los modelos de línea base (como CIC, ComSD y HaSD) en tareas de fine-tuning, zero-shot y few-shot.
• Escalabilidad Semántica: En experimentos de navegación, se demostró que mientras el método basado en preferencias (HaSD) perdía capacidad de cobertura al aumentar el número de sectores (semánticas), SRSD mantenía una precisión y recuperación (recall) altas y equilibradas.
• Robustez: El método demostró ser robusto incluso ante la "irracionalidad humana" simulada (errores de etiquetado o sesgos de memoria), manteniendo una mejora significativa en el desempeño tras el ajuste fino.

5. Significado y Conclusión

La importancia de este trabajo radica en su capacidad para cerrar la brecha entre la exploración autónoma y la intención humana. Al permitir que los humanos guíen el descubrimiento de habilidades mediante etiquetas conceptuales en lugar de comparaciones abstractas, SRSD permite que los agentes aprendan un repertorio de comportamientos que no solo son diversos, sino también útiles, seguros y comprensibles para las personas, optimizando al mismo tiempo el esfuerzo cognitivo del supervisor humano.