SAVGO: Learning State-Action Value Geometry with Cosine Similarity for Continuous Control

Aquí se presenta un resumen técnico detallado del artículo "SAVGO: Aprendizaje de la Geometría del Valor Estado-Acción con Similitud Coseno para Control Continuo".

1. Enunciado del Problema

El Aprendizaje por Refuerzo Profundo (RL), particularmente los métodos actor-crítico fuera de política como SAC y TD3, ha logrado éxitos en el control continuo, pero sigue limitado por la ineficiencia en el uso de muestras y la inestabilidad en entornos de alta dimensión.

• Limitaciones Actuales: Aunque el aprendizaje de representaciones (por ejemplo, aprendizaje contrastivo) ha mejorado la eficiencia de los datos, generalmente se trata como una tarea auxiliar. El paso de actualización de la política suele depender del descenso de gradiente local, lo que ignora la estructura geométrica global del espacio latente aprendido.
• La Brecha: Los métodos existentes basados en similitud a menudo utilizan distancias para regularizar representaciones o dar forma a objetivos de valor, pero raramente utilizan estas relaciones geométricas como operadores de primera clase para guiar directamente las actualizaciones de la política en el espacio de acciones. En consecuencia, las mejoras de la política permanecen locales y débilmente informadas por el paisaje de valor global.

2. Metodología: SAVGO

Los autores proponen la Optimización de la Geometría del Valor Estado-Acción (SAVGO), un algoritmo actor-crítico fuera de política consciente de la geometría que integra explícitamente la similitud basada en valores en el mecanismo de actualización de la política.

A. Aprendizaje de Geometría Estado-Acción Consciente del Valor

SAVGO aprende un espacio de incrustación conjunta para pares estado-acción $(s, a)$ donde la distancia geométrica (específicamente la similitud coseno) refleja la similitud en la utilidad esperada (valores Q).

• Codificador: Una red neuronal $z_\psi(s, a)$ mapea pares estado-acción a un espacio de incrustación de $d$ dimensiones.
• Construcción del Objetivo: Para cualquier par de tuplas estado-acción $(s_i, a_i)$ y $(s_j, a_j)$, se calcula una brecha de valor normalizada $\Delta_{i,j}$ basada en la diferencia de sus valores Q.
• Mapeo de Curvatura: Esta brecha de valor se mapea a una similitud coseno objetivo $Y_{i,j}$ utilizando una transformación de curvatura acotada:
  $$Y_{i,j} = 1 - 2(\Delta_{i,j})^\lambda$$
  donde $\lambda$ controla la sensibilidad. Las brechas pequeñas (valores similares) se mapean a alta similitud ($\approx 1$), mientras que las brechas grandes se mapean a similitud baja/negativa.
• Función de Pérdida: El codificador se entrena para minimizar la pérdida de regresión entre la similitud coseno predicha de las incrustaciones y el objetivo $Y_{i,j}$. Esto fuerza al espacio de incrustación a organizarse de tal manera que las acciones con valores similares se agrupen en la hiperesfera unitaria.

B. Mejora de la Política Consciente de la Geometría

En lugar de una actualización de gradiente punto a punto estándar, SAVGO realiza una agregación ponderada por similitud sobre acciones candidatas.

1. Muestreo: Para un estado dado $s_t$, se muestrea una acción "ancla" $\hat{a}_t$ de la política actual. Además, se muestrean $K$ acciones candidatas $\{a^k_t\}$ de una distribución de propuesta.
2. Incrustación y Puntuación: Tanto el ancla como los candidatos se incrustan mediante $z_\psi$. Los candidatos se puntúan utilizando una estimación conservadora del crítico ($\min Q$).
3. Ponderación por Kernel: Las similitudes coseno entre la incrustación del ancla y las incrustaciones de los candidatos se convierten en una distribución de probabilidad (kernel de similitud) utilizando un softmax controlado por temperatura:
   $$w_k = (1-\epsilon)\frac{\exp(\cos(\hat{\zeta}_t, \zeta^k_t)/\rho)}{\sum \exp(\dots)} + \frac{\epsilon}{K}$$
   Esto crea un peso $w_k$ para cada candidato basado en su proximidad geométrica al ancla en el espacio consciente del valor.
4. Actualización Agregada: La política se actualiza para maximizar una estimación de valor ponderada por similitud:
   $$\hat{Q}(s_t, \hat{a}_t) = \sum_{k=1}^K w_k Q(s_t, a^k_t)$$
   Esto permite que la política sea atraída hacia regiones de alto valor que pueden no estar inmediatamente adyacentes en el espacio de acciones crudo, pero que están "cerca" en la geometría de valor aprendida.

3. Contribuciones Clave

1. Objetivo Unificado: Propone SAVGO, que unifica el aprendizaje de representaciones, la estimación de valores y la optimización de la política en un único objetivo consistente con la geometría, superando el tratamiento del aprendizaje de representaciones como un mero regularizador.
2. Operador de Política Novel: Deriva un operador de mejora de política consciente de la geometría que utiliza similitudes coseno aprendidas para ponderar acciones candidatas, permitiendo actualizaciones de política guiadas por la estructura global de valores en lugar de solo gradientes locales.
3. Validación Empírica: Demuestra mejoras consistentes sobre bases sólidas (SAC, TD3, TQC, PPO) en los puntos de referencia MuJoCo, particularmente en tareas de alta dimensión.

4. Resultados Experimentales

El método se evaluó en la suite de control continuo MuJoCo v5 con un presupuesto fijo de 1 millón de pasos de entorno.

• Rendimiento: SAVGO logró las recompensas totales más altas en toda la suite, con las ganancias más significativas en tareas desafiantes de alta dimensión:
  • Humanoid: SAVGO (7687) superó significativamente a TQC (6330) y SAC (5351).
  • Walker2d: SAVGO (5626) superó a TQC (4952) y SAC (4693).
  • Ant & HalfCheetah: Rendimiento competitivo o superior con varianza reducida.
• Eficiencia de Muestras: SAVGO demostró un aprendizaje inicial más rápido y una convergencia más suave en comparación con las bases.
• Estudios de Ablación:
  • Curvatura ($\lambda$): Valores alrededor de 1.0–1.5 proporcionaron el mejor equilibrio entre estabilidad y rendimiento.
  • Número de Candidatos ($K$): Valores moderados (por ejemplo, $K=128$ para Humanoid) produjeron resultados óptimos; demasiados pocos candidatos aumentaron la varianza, mientras que demasiados ofrecieron rendimientos decrecientes.
  • Necesidad de Componentes: Eliminar la temperatura adaptativa, la pérdida de representación (congelando el codificador) o la escala de valor adaptativa causó todas caídas significativas en el rendimiento. Reemplazar el kernel de similitud con pesos uniformes provocó el colapso del algoritmo, demostrando la necesidad de la ponderación consciente de la geometría.

5. Significado y Limitaciones

Significado:

• Cerrando la Brecha: SAVGO cierra con éxito la brecha entre el aprendizaje de representaciones y la optimización de la política, mostrando que la geometría del espacio latente puede explotarse directamente para mejorar la toma de decisiones.
• Robustez: Al agregar sobre múltiples candidatos ponderados por similitud de valor, el método es más robusto al ruido del crítico y a mínimos locales que las actualizaciones basadas en gradientes estándar.
• Escalabilidad: Mantiene la escalabilidad de los métodos actor-crítico fuera de política mientras añade una sobrecarga computacional manejable (lineal en $K$).

Limitaciones:

• Costo Computacional: El método requiere evaluar $K$ candidatos por estado, lo que lo hace más lento que SAC/TD3 estándar (aprox. 8h vs. 2h para 1M de pasos en los experimentos).
• Dependencia del Crítico: El método asume que el crítico proporciona una clasificación razonablemente consistente; un ruido severo del crítico puede desestabilizar los pesos de similitud.
• Acciones Discretas: Extender esto a espacios de acción discretos (por ejemplo, Atari) no es trivial debido a la dificultad de definir propuestas de candidatos continuas y geometrías estado-acción para acciones discontinuas.

En conclusión, SAVGO representa un paso significativo hacia adelante en el control continuo al hacer que la "forma" de la función de valor sea un impulsor directo de la mejora de la política, lo que conduce a un rendimiento superior en entornos complejos y de alta dimensión.