Resumen Técnico: Controladores Sin Pesos Diferenciables (DWCs)

Planteamiento del Problema

El control de sistemas autónomos en condiciones del mundo real a menudo exige políticas que puedan evaluarse con baja latencia y un consumo energético mínimo. Las redes neuronales profundas (DNN) estándar, aunque eficaces para tareas de control continuo mediante aprendizaje por refuerzo (RL), dependen de operaciones de multiplicación-acumulación (MAC) computacionalmente intensivas. Esto las hace ineficientes para plataformas embebidas con recursos limitados, como UAVs y robots móviles, e incluso subóptimas para GPUs de alto rendimiento en comparación con alternativas de baja precisión.

Las soluciones existentes, como la cuantización post-entrenamiento (PTQ) o el entrenamiento consciente de la cuantización (QAT), se dirigen principalmente al aprendizaje supervisado estático o a espacios de acción discretos. A menudo presentan dificultades para mantener el rendimiento en entornos de control continuo donde los estados de entrada y las acciones de salida son valores reales, y donde pequeños errores de control pueden acumularse con el tiempo. Además, las DNN estándar operan como "cajas negras", ofreciendo una interpretabilidad limitada sobre qué características de entrada impulsan decisiones de control específicas.

Metodología

Los autores introducen los Controladores Sin Pesos Diferenciables (DWCs), una arquitectura simbólico-diferenciable que reemplaza las multiplicaciones de matrices densas por lógica booleana dispersa. Los DWCs están diseñados para ser entrenados de extremo a extremo mediante gradientes de RL, pero se compilan directamente en circuitos compatibles con FPGA.

Arquitectura Central

El pipeline de inferencia de un DWC consta de tres etapas principales:

1. Codificación de Entrada: Las observaciones de valores reales se normalizan (recortadas al intervalo $[-10, 10]$) y se convierten en vectores binarios mediante codificación de termómetro. Para una entrada $x$, se definen umbrales $\tau_1 < \dots < \tau_B$ (basados en cuantiles de Gauss estirada), y la codificación $E(x)$ produce un vector de bits donde los bits se activan a 1 si $x \ge \tau_i$.
2. Capas Lógicas: Los vectores binarios son procesados por capas de Tablas de Búsqueda (LUTs). Cada LUT actúa como una neurona con $k$ entradas binarias y una salida de un solo bit. A diferencia de las redes sin pesos tradicionales, la conectividad (qué bits de entrada alimentan a qué LUT) es aprendible mediante estimación de paso directo (straight-through estimation). Las LUTs almacenan tablas de verdad binarias, realizando lógica booleana sin operaciones aritméticas.
3. Decodificación de Salida: La capa final produce salidas binarias que se agrupan por dimensión de acción. Una operación de conteo de bits (popcount) suma los bits en cada grupo. Esta suma entera se mapea luego a un valor de acción continuo mediante una transformación afín entrenable (escalado y sesgo) y, para Soft Actor-Critic (SAC), una activación $\tanh$ final.

Mecanismo de Entrenamiento

Los DWCs utilizan Redes Sin Pesos Diferenciables (DWNs) como base. Para permitir el entrenamiento basado en gradientes sobre estructuras discretas:

• Gradientes Sustitutos: Los autores emplean un estimador de Diferencia Finitas Extendida (EFD) para aproximar los gradientes a través de las operaciones discretas de las LUTs.
• Interconexiones Aprendibles: Mientras que las DWNs previas solo aprendían la conectividad de la primera capa, este trabajo extiende las interconexiones aprendibles a capas subsecuentes para mejorar la capacidad de representación.
• Integración con RL: La red de política se instancia como un DWC, mientras que las redes auxiliares (críticos, cabezales de ruido) en algoritmos como SAC siguen siendo redes estándar de punto flotante.

Contribuciones Clave

1. Arquitectura Simbólico-Diferenciable: La extensión de las DWNs desde la clasificación hacia el control continuo, permitiendo la síntesis de políticas de control que son circuitos digitales en lugar de funciones de valores reales.
2. Entrenamiento y Rendimiento: Demostración de que los DWCs pueden entrenarse con éxito utilizando algoritmos de RL estándar (SAC, DDPG, PPO), logrando retornos competitivos con las líneas base de punto flotante completo y de redes cuantizadas en cinco entornos de MuJoCo.
3. Eficiencia de Hardware: Los DWCs se compilan en hardware FPGA con una latencia de pocos o un solo ciclo de reloj y un costo energético de nivel nanojulio por acción, órdenes de magnitud más eficientes que las líneas base cuantizadas.
4. Interpretabilidad: La conectividad dispersa y discreta permite la inspección directa de la política, revelando qué dimensiones de entrada e influencias de umbral impulsan las decisiones de control.

Resultados Experimentales

Los autores evaluaron los DWCs en cinco entornos de MuJoCo: Ant, HalfCheetah, Hopper, Humanoid y Walker2d.

• Rendimiento: En cuatro de las cinco tareas (Ant, Hopper, Humanoid, Walker2d), los DWCs lograron retornos medianos comparables a las líneas base de punto flotante completo (FP) y superiores o similares a las redes cuantizadas de baja precisión.
  • HalfCheetah presentó un desafío; los DWCs estándar (1024 LUTs/capa) lograron retornos menores (7.5k) que las líneas base FP (11.5k). Sin embargo, una variante de alta capacidad (16,384 LUTs/capa) cerró esta brecha, alcanzando ~10.3k, lo que sugiere que la tarea está limitada por la capacidad.
• Robustez al Ruido: Los DWCs demostraron perfiles de robustez al ruido comparables a las redes cuantizadas y, generalmente, iguales o mejores que las líneas base FP bajo ruido Gaussiano inyectado.
• Síntesis de Hardware (FPGA): Sintetizado en una FPGA AMD Xilinx Artix-7 a 100 MHz:
  • Latencia: 1–3 ciclos de reloj (frente a 21–24,000 ciclos para las líneas base cuantizadas).
  • Rendimiento (Throughput): Hasta $10^8$ acciones por segundo.
  • Energía: ~2 nanojulios por acción (frente a $10^{-5}$ a $10^{-8}$ Julios para las líneas base).
  • Recursos: Los DWCs no requirieron recursos DSP ni BRAM, dependiendo únicamente de LUTs y Flip-Flops.
• Análisis de Interpretabilidad: El análisis de conectividad reveló que los DWCs identifican consistentemente dimensiones de entrada específicas (por ejemplo, la velocidad del torso en Humanoid) como críticas, mientras ignoran dimensiones irrelevantes. La densidad de conexión fue mayor alrededor del umbral cero normalizado, observándose una distribución bimodal en varias tareas.

Significado y Limitaciones

El artículo afirma que los DWCs ofrecen un camino viable hacia el control de baja latencia y eficiencia energética para dispositivos de borde sin sacrificar el rendimiento del RL estándar. Al reemplazar las multiplicaciones de matrices con lógica booleana dispersa, los DWCs cierran la brecha entre la flexibilidad de las redes neuronales y la eficiencia de los circuitos lógicos.

Los autores señalan una limitación significativa: el costo computacional del entrenamiento. Debido a las relajaciones requeridas para el entrenamiento basado en gradientes (gradientes sustitutos y aprendizaje de interconexiones), el proceso de entrenamiento es computacionalmente costoso y actualmente es factible solo en entornos simulados, no de forma interactiva en el dispositivo.

Este trabajo se posiciona como un paso hacia políticas de control interpretables y nativas de hardware, distintas del trabajo previo que se centra en la poda o cuantización de redes basadas en pesos existentes.