Lyapunov-Guided Training for Hardware-Safe Neural Networks Under Fixed-Point Arithmetic

Resumen Técnico: Entrenamiento Guiado por Lyapunov para Redes Neuronales Seguras en Hardware bajo Aritmética de Punto Fijo

1. Planteamiento del Problema

El despliegue de redes neuronales profundas en hardware con recursos limitados (por ejemplo, FPGAs, procesadores embebidos) depende fuertmente de la aritmética de baja precisión para reducir la huella de memoria, el ancho de banda y el consumo de energía. Mientras que la investigación estándar sobre cuantización se centra en los errores de redondeo, el recorte (clipping) y la calibración, a menudo pasa por alto un modo de fallo crítico inherente al hardware de punto fijo práctico: el desbordamiento por envolvente (wrapping) de complemento a dos.

A diferencia de la aritmética de saturación, donde los valores desbordados se recortan al máximo o mínimo entero representable, la aritmética de envolvente provoca que los valores "den la vuelta" al rango entero finito. En consecuencia, un valor positivo grande puede convertirse en un valor negativo grande, y viceversa. En arquitecturas profundas como ResNets y Transformers, que pueden verse como sistemas dinámicos indexados por profundidad, este envolvente introduce errores discontinuos de signo y magnitud en las activaciones ocultas. Estos errores corrompen la trayectoria del estado, lo que conduce a una propagación inestable del error numérico y a una degradación catastrófica de la precisión, incluso cuando el ancho de bits nominal parece suficiente. Los métodos actuales de entrenamiento consciente de la cuantización (QAT), que suelen asumir un recorte idealizado o ignorar la dinámica de envolvente, no logran prevenir esta inestabilidad, cayendo a menudo en una precisión cercana al azar bajo el envolvente de estilo hardware.

2. Metodología

El artículo propone un marco de cuantización estabilizado por Lyapunov diseñado para controlar explícitamente la trayectoria del estado interno de las redes neuronales que operan bajo aritmética de envolvente. La metodología central trata a la red como un sistema dinámico de tiempo discreto y fuerza la estabilidad mediante una restricción de energía por capa.

• Modelo del Sistema: La red se modela como una secuencia de estados ocultos $h_\ell$ actualizados mediante transformaciones no lineales. Los autores definen una función de energía de Lyapunov normalizada por capa:
  $$V(h_\ell) = \frac{1}{TD} \|h_\ell\|_F^2$$
  donde $T$ es el número de tokens y $D$ es la dimensión de incrustación (embedding). Esta métrica de energía representa la magnitud promedio del estado oculto.

• Proyección de Lyapunov Monótona: Para evitar que el estado oculto entre en regiones propensas al desbordamiento, los autores introducen un mecanismo de proyección estricto. Para un estado actualizado no restringido $z_{\ell+1}$, el estado proyectado $h_{\ell+1}$ se restringe para satisfacer:
  $$V(h_{\ell+1}) \leq \min\{V(h_\ell), V_{\max}\}$$
  Aquí, $V_{\max}$ es un umbral de energía seguro derivado del percentil 99 de la energía de los tokens del conjunto de entrenamiento inicial, escalado con un margen de seguridad ($\gamma = 1.20$). La proyección escala el vector de estado si su energía excede el objetivo, asegurando que la energía sea tanto acotada como no creciente a través de la profundidad.

• Pase Adelante Consciente del Hardware: Un aspecto crítico del método es el orden de las operaciones para tener en cuenta el envolvente. El pase adelante propuesto se ejecuta de la siguiente manera:

  1. Calcular la actualización de precisión completa no restringida.
  2. Aplicar la cuantización de punto fijo con aritmética de envolvente (simulando la escritura de retorno en hardware).
  3. Aplicar la proyección de Lyapunov al estado envuelto.
  4. Realizar una "proyección de reparación" tras un paso final de cuantización para asegurar que la escritura de retorno de punto fijo no vioole la restricción de Lyapunov.

• Objetivo de Entrenamiento: En el entrenamiento consciente de la cuantización (QAT), se minimiza la pérdida estándar de entropía cruzada sujeta a la dinámica proyectada por capa definida anteriormente. A diferencia de la regularización suave, este enfoque impone una restricción estricta sobre la trayectoria del estado.

3. Contribuciones Clave

El artículo realiza cuatro contribuciones principales:

1. Formulación del Problema: Encuadra la cuantización de redes neuronales de punto fijo con desbordamiento de envolvente como un problema de estabilidad de estados ocultos, distinguiéndolo del análisis estándar de error de cuantización.
2. Diseño de Mecanismo: Introduce un mecanismo de proyección de Lyapunov monótona que impone una energía por capa acotada y no creciente, restringiendo directamente el estado oculto en lugar de solo el ruido de cuantización.
3. Conciencia de Hardware: El marco modela explícitamente el envolvente de complemento a dos y la escritura de retorno de punto fijo, actuando como un mecanismo de estabilización específicamente para aritmética de estilo hardware.
4. Evidencia Empírica: Demuestra que el desbordamiento de activación, más que la reducción del ancho de bits por sí sola, es un modo de fallo dominante en redes de baja precisión, y que el control de estabilidad puede restaurar el rendimiento del aprendizaje.

4. Resultados Experimentales

El método fue evaluado en el conjunto de datos MNIST utilizando un transformador compacto basado en parches (4 capas, 16 tokens, incrustaciones de 64 dimensiones) bajo aritmética de punto fijo con signo y anchos de bits que van desde 4 hasta 16 bits.

• Fallo Sin Restricciones: El QAT estándar con aritmética de envolvente colapsó a una precisión cercana al azar (aprox. 10–11%) entre 6 y 16 bits, a pesar de aumentar la precisión. Las tasas de desbordamiento de activación en estos modelos sin restricciones superaron el 11% (alcanzando un máximo de ~13.9% a 8 bits).
• Éxito de la Estabilización: El QAT proyectado por Lyapunov restauró el aprendizaje estable. A 12 bits, el modelo proyectado logró una precisión del 86.55% ± 0.65%, comparado con el ~9.87% del QAT con envolvente sin restricciones.
• Supresión de Desbordamiento: La proyección suprimió con éxito el desbordamiento de activación al 0.009% a 12 bits (frente al 13.6% en el caso sin restricciones).
• Control de Energía: La energía máxima del estado oculto normalizado se redujo de 6.26 (en el entrenamiento sin restricciones de precisión completa) a 0.36 en el modelo proyectado, confirmando la imposición de un conjunto de energía seguro.
• Rendimiento de PTQ: La cuantización post-entrenamiento (PTQ) también se benefició significativamente; a 6 bits, la precisión mejoró de 64.65% a 80.83% con la proyección.

5. Significación y Reivindicaciones

El artículo argumenta que el aprendizaje de baja precisión robusto requiere más que una optimización consciente de la cuantización; requiere el control explícito de la trayectoria del estado interno. Los autores afirman que:

• La Estabilidad es Crítica: El crecimiento inestable de los estados ocultos en redes profundas conduce directamente a la corrupción del estado por desbordamiento bajo aritmética de envolvente, algo que los métodos de cuantización estándar no logran abordar.
• Control de Lyapunov como Seguridad: El control de estado basado en Lyapunov actúa como un mecanismo de seguridad eficaz y consciente del hardware. Al mantener la energía del estado oculto dentro de un "conjunto seguro", la red evita los cambios de signo discontinuos causados por el envolvente.
• Compromiso (Trade-off): El método ofrece un compromiso significativo entre estabilidad y precisión. Si bien el entrenamiento sin restricciones de precisión completa produce la mayor precisión (89.15%), permite un crecimiento de energía peligroso. El modelo restringido por Lyapunov sacrifica una cantidad modesta de precisión (aproximadamente 2.2 puntos porcentuales en precisión completa) para lograr una reducción de 17.4 veces en la energía máxima del estado oculto y permitir un entrenamiento fiable a anchos de bits bajos (por ejemplo, 12 bits) donde los métodos sin restricciones fallan por completo.

Los autores concluyen que ver la inferencia y el entrenamiento de baja precisión como un problema de estabilidad dinámica, en lugar de puramente un problema de aproximación numérica, es esencial para el despliegue de redes neuronales fiables en hardware de punto fijo. Se sugiere como trabajo futuro el uso de conjuntos de datos más grandes, arquitecturas más profundas e implementaciones de hardware en el bucle (hardware-in-the-loop).