Resumen Técnico: Aprendizaje de Controladores Continuos Cuantizados para Hardware de Enteros

Planteamiento del Problema

El despliegue de políticas de aprendizaje por refuerzo profundo (RL) para control continuo en hardware embebido enfrenta restricciones significativas en cuanto a latencia, consumo de energía y huella de memoria. Mientras que las GPU de alto rendimiento ofrecen potencia computacional, a menudo son demasiado intensivas en energía para sistemas alimentados por baterías como nano-/micro-UAVs o no logran cumplir con los requisitos de latencia de nivel de microsegundos de los bucles de control críticos para la seguridad (por ejemplo, control de plasma de fusión o brazos robóticos). Los campos de matrices programables en lógica de un chip (FPGA) ofrecen una alternativa prometedora para la inferencia de baja latencia y bajo consumo de energía; sin embargo, sufren de memoria interna limitada y del alto costo de hardware de la aritmética de punto flotante (FP32). En consecuencia, el despliegue de redes neuronales estándar en FP32 en FPGAs es ineficiente. Aunque la cuantización post-entrenamiento (PTQ) existe, a menudo tiene un rendimiento inferior comparado con la cuantización consciente del entrenamiento (QAT), particularmente para modelos pequeños y configuraciones de bajo ancho de bits. El desafío central es desarrollar un flujo de trabajo que aprenda políticas de control continuo directamente en un régimen de solo enteros y baja precisión para permitir el despliegue eficiente en FPGA sin sacrificar la calidad del control.

Metodología

Los autores proponen un flujo de trabajo de aprendizaje hacia el hardware centrado en la cuantización consciente del entrenamiento (QAT) para el control continuo por RL, dirigido específicamente a la inferencia de solo enteros en FPGAs.

1. Marco de RL: El estudio utiliza algoritmos de actor-crítico off-policy, Deep Deterministic Policy Gradient (DDPG) y Soft Actor-Critic (SAC), entrenados en cinco tareas de control continuo de MuJoCo (Humanoid, Walker2d, Ant, HalfCheetah, Hopper).
2. Cuantización Consciente del Entrenamiento (QAT):
   • Arquitectura: La red de la política se instancia como una red FP32 estándar durante el entrenamiento, pero equipada con capas de Cuantización/Descuantización (QDQ).
   • Mecanismo: Los pasos QDQ se insertan en la entrada, después de cada activación ReLU y antes de la salida final. Estos pasos simulan la aritmética de enteros mediante el escalado, redondeo y recorte de valores FP32 a un ancho de bits objetivo ($b$) y luego su descuantización de vuelta a FP32 para el cálculo de gradientes.
   • Diferenciabilidad: Se utiliza un Estimador de Paso Directo (STE) para la retropropagación de gradientes a través de la operación de redondeo no diferenciable.
   • Escalado: Los escalados de activación se aprenden mediante actualizaciones de gradiente (después de un periodo de calentamiento), mientras que los escalados de pesos se fijan al valor absoluto máximo de la matriz de pesos.
   • Alcance: El estudio distingue entre la cuantización del "núcleo" (pesos y activaciones internas), la entrada y la salida.
3. Estrategia de Selección de Modelo: Se emplea un proceso de selección de tres pasos para encontrar la configuración más pequeña y amigable con el hardware que iguale el rendimiento de FP32:
   • Determinar el ancho de bits mínimo del núcleo ($b_{core}$) para pesos y activaciones internas.
   • Seleccionar el ancho de capa oculta ($h$) más pequeño que mantenga el rendimiento.
   • Determinar el ancho de bits de entrada necesario ($b_{in}$).
4. Síntesis de Hardware: Las políticas seleccionadas se sintetizan en una FPGA Artix-7 (XC7A15T) utilizando el compilador de flujo de datos FINN. La síntesis apunta a un reloj fijo de 100 MHz, optimizando el rendimiento mediante el ajuste de elementos de procesamiento (PE) y el ancho de SIMD. El despliegue es estrictamente de solo enteros tras la cuantización inicial de la entrada.

Resultados Clave

El estudio evalúa el flujo de trabajo a través de cinco entornos MuJoCo, comparando las políticas QAT contra líneas base de precisión completa (FP32) y un modelo de referencia cuantizado.

• Sensibilidad al Ancho de Bits:
  • Las políticas QAT pueden alcanzar la paridad con FP32 (dentro de una desviación estándar) con anchos de bits del núcleo tan bajos como 3 bits, y en algunos casos (por ejemplo, Ant, Hopper), 2 bits son suficientes.
  • La cuantización de la entrada se identifica como el principal cuello de botella; un alto error de cuantización en la primera capa degrada significativamente el rendimiento, mientras que las capas más profundas son más resilientes a los bajos anchos de bits.
  • La cuantización de la salida tiene un impacto mínimo en el rendimiento y se mantiene en 8 bits para la eficiencia del hardware.
• Selección de Modelo:
  • Los modelos seleccionados (Tabla 1) utilizan anchos de capa oculta que van desde 16 hasta 256 y anchos de bits del núcleo de 2 o 3 bits.
  • A pesar de la reducción agresiva, estos modelos convergen de manera similar a las líneas base de FP32 durante el entrenamiento (Figura 2).
• Robustez:
  • Las políticas cuantizadas exhiben una mayor robustez al ruido de entrada en comparación con las líneas base de FP32. Cuando se inyecta ruido gaussiano en el espacio de estados, los modelos QAT a menudo igualan o superan el rendimiento de FP32. Los autores hipotetizan que esto se debe a la discretización del espacio de estados durante el entrenamiento, lo que obliga a la política a permanecer estable a través de bins de cuantización adyacentes, actuando como una regularización implícita.
• Rendimiento de Hardware (Síntesis en FPGA):
  • Las políticas de bajo ancho de bits seleccionadas se sintetizaron con éxito en una FPGA Artix-7 de gama baja.
  • Latencia: Las latencias de inferencia oscilan entre 0.2 µs (Hopper) y 243.2 µs (HalfCheetah).
  • Energía: El consumo de energía por acción está en el rango de los microjulios (por ejemplo, $6.5 \times 10^{-8}$ J para Hopper).
  • Comparación: En comparación con un modelo de referencia de núcleo de 8 bits (que a menudo excedía la capacidad de la FPGA o requería significativamente más recursos), los modelos seleccionados de bajo ancho de bits lograron mejoras de órdenes de magnitud en la latencia (hasta 1000x para Hopper) y reducciones sustanciales en el uso de potencia y recursos (LUTs, FFs, BRAM, DSPs).

Significado y Reivindicaciones

El artículo afirma demostrar que el entrenamiento consciente de la cuantización es un método viable y efectivo para desplegar políticas de RL de control continuo en hardware de enteros con recursos limitados.

• Viabilidad del Control de Bajo Ancho de Bits: Los autores demuestran que las tareas de control continuo no requieren necesariamente aritmética de punto flotante de alta precisión. Las políticas pueden comprimirse a 2 o 3 bits por peso y activación manteniendo una calidad de control comparable a las redes de precisión completa.
• Eficiencia de Hardware: Al evitar costosos flujos de trabajo de punto flotante, el flujo de trabajo propuesto permite el despliegue de controladores de RL en FPGAs pequeñas y de bajo consumo con latencias de microsegundos y costos de energía de microjulios, haciéndolos adecuados para sistemas autónomos alimentados por baterías.
• Robustez Inesperada: Un hallazgo notable es que el proceso de cuantización mismo puede mejorar la robustez al ruido de los sensores, lo que sugiere que las políticas entrenadas con QAT podrían ser más confiables en entornos del mundo real con sensores imperfectos.
• Limitaciones: Los autores señalan modestamente que el estudio está actualmente limitado a la simulación (MuJoCo) y aún no aborda restricciones de seguridad del mundo real, seguridad informática o las características específicas del ruido de sensores físicos más allá de la inyección analítica. Se propone trabajo futuro para probar en sistemas físicos y políticas basadas en visión.