🤖 machine learning

Generative Models on Analog Hardware with Dynamics

Este artículo presenta los Sistemas de Interacción Analógica (AIS), un marco unificado que cierra la brecha entre el hardware analógico fijo determinado por la física y el modelado generativo flexible mediante el empleo de parámetros y estados ocultos que varían en el tiempo, logrando una reducción de energía de 2 órdenes de magnitud y puntuaciones de FID significativamente mejoradas en conjuntos de datos MNIST en comparación con enfoques previos basados en hardware.

Autores originales: Yu-Neng Wang, Sara Achour

Publicado 2026-06-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yu-Neng Wang, Sara Achour

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a dibujar imágenes.

La forma antigua (Computadoras digitales):
Actualmente, usamos computadoras digitales muy potentes (como las GPU de tu PC de juegos o de los centros de datos) para hacer esto. Estas computadoras son como contadores muy rápidos y muy precisos. Para dibujar una imagen, descomponen la tarea en millones de pasos matemáticos diminutos y discretos. Calculan, se detienen, calculan de nuevo y se detienen otra vez. Este proceso es increíblemente preciso pero consume una cantidad masiva de electricidad, como tener funcionando un aire acondicionado de alta gama solo para hacer un boceto.

La nueva idea (Hardware analógico):
Los autores de este artículo proponen usar "hardware analógico" en su lugar. Piensa en esto no como un contador, sino como un gigantesco e interconectado parque de juegos de columpios y resortes.

En este parque de juegos, la "computación" ocurre de forma natural. Si empujas un columpio, la física de las cuerdas y las cadenas tira automáticamente de los columpios vecinos.
El sistema no cuenta pasos; simplemente fluye. Resuelve problemas dejando que las leyes físicas (como la gravedad o el magnetismo) hagan el trabajo. Esto es increíblemente eficiente desde el punto de vista energético, como usar el viento para mover un velero en lugar de quemar combustible.

El gran problema:
Existe un desajuste. Los modelos de IA modernos son como un software flexible que puede aprender cualquier forma o patrón. Pero nuestro parque de juegos analógico es rígido. Los columpios están conectados de una manera específica por la física, y solo pueden moverse en patrones específicos. Es como intentar enseñarle a un columpio a dibujar un círculo perfecto cuando solo está diseñado para columpiar hacia adelante y hacia atrás. El "parque de juegos" no es naturalmente lo suficientemente flexible para aprender imágenes complejas por sí solo.

La solución: "Sistemas de Interacción Analógica" (AIS)
Los autores crearon un nuevo marco llamado Sistemas de Interacción Analógica (AIS) para cerrar esta brecha. No intentaron forzar a los columpios a actuar como una computadora digital; en su lugar, encontraron formas ingeniosas de hacer que el parque de juegos fuera más expresivo sin romper las leyes de la física.

Introdujeron tres "trucos" principales para hacer que los columpios rígidos sean capaces de dibujar imágenes complejas:

Controles por fragmentos de tiempo (El "Director de Orquesta"):
En lugar de que las conexiones entre los columpios sean fijas para siempre, imagina a un director que cambia las reglas cada pocos segundos. Durante el primer segundo, los columpios están conectados estrechamente; durante el siguiente segundo, están conectados laxamente. Al cambiar las "reglas del juego" a lo largo del tiempo, el sistema puede crear movimientos mucho más complejos que si las reglas permanecieran iguales.
Columpios ocultos (Los "Bailarines Fantasma"):
Los autores añadieron columpios "ocultos" que no puedes ver en la imagen final, pero que están conectados a los visibles. Estos columpios ocultos actúan como un equipo de apoyo secreto. Bailan alrededor, ayudando a los columpios visibles a encontrar el camino correcto para formar una imagen, aunque nunca veas los columpios ocultos en el resultado final. Esto le da al sistema mucha más "capacidad cerebral" sin necesidad de más partes visibles.
Dejar de lado el camino (El objetivo de "Solo el Destino"):
Normalmente, al entrenar una IA, le decimos exactamente cómo moverse en cada paso (como un GPS dando direcciones giro a giro). Pero debido a que el hardware analógico es rígido, forzarlo a seguir un camino específico es imposible.
En su lugar, los autores utilizaron un enfoque de GAN (Red Generativa Antagónica). Le dijeron al sistema: "No me importa cómo llegues allí, solo asegúrate de terminar en el destino correcto".

El Generador: El parque de juegos analógico intenta convertir el ruido aleatorio en una imagen.
El Crítico: Una computadora digital mira la imagen final y dice: "Eso parece un gato" o "Eso parece basura".
El parque de juegos aprende mediante ensayo y error, encontrando su propio camino único y sinuoso desde el ruido hasta la imagen, en lugar de ser forzado a seguir una línea recta.

Los Resultados:
El equipo realizó pruebas con conjuntos de datos de imágenes simples (como números escritos a mano y artículos de moda).

Rendimiento: Su sistema analógico produjo imágenes que fueron de 3 a 4 veces mejores que los intentos anteriores de generación de imágenes analógicas.
Eficiencia: Esta es la gran victoria. Estimaron que su sistema utiliza unos 23 microjulios de energía para generar una imagen.
- Para ponerlo en perspectiva: Una computadora digital estándar podría usar de 7 a 79 milijulios para la misma tarea.
- Eso significa que el sistema analógico es 100 veces más eficiente energéticamente (dos órdenes de magnitud) que la línea base digital.

En Resumen:
El artículo demuestra que podemos construir un nuevo tipo de IA que funcione con hardware físico (como osciladores y resortes) en lugar de solo chips digitales. Al aceptar las limitaciones del hardware y utilizar métodos de entrenamiento ingeniosos (cambiando las reglas a lo largo del tiempo, añadiendo ayudantes ocultos y centrándose solo en el resultado final), crearon un sistema que dibuja imágenes con una fracción del costo energético de las computadoras actuales. Es una prueba de que la física de la naturaleza puede aprovecharse para realizar tareas complejas de IA de manera eficiente.

Resumen Técnico: Modelos Generativos en Hardware Analógico con Dinámicas

Planteamiento del Problema
Los modelos generativos modernos, particularmente aquellos basados en difusión y flow matching, dependen de dinámicas flexibles definidas por software e implementadas mediante redes neuronales. Estos modelos incurren en costos energéticos sustanciales debido a la integración numérica iterativa en hardware digital. Por el contrario, las plataformas de hardware analógico (por ejemplo, osciladores acoplados, Máquinas de Ising Analógicas) resuelven ecuaciones diferenciales de forma natural con alta eficiencia energética, aprovechando las leyes físicas. Sin embargo, existe un desajuste fundamental: el hardware analógico impone ecuaciones diferenciales fijas determinadas por la física con una capacidad de aproximación limitada, mientras que los modelos generativos modernos requieren campos vectoriales flexibles. Este artículo aborda el desafío de diseñar una arquitectura de modelo generativo que sea apta para su implementación en hardware analógico, superando al mismo tiempo las limitaciones de las dinámicas fijas, los kernels de interacción no estándar y las restricciones de hardware como el ruido y la precisión limitada.

Metodología
Los autores introducen los Sistemas de Interacción Analógica (AIS), un marco unificado para sistemas dinámicos implementables en hardware. El enfoque central involucra tres pilares metodológicos clave:

Arquitectura y Dinámica:
- Los modelos AIS se definen mediante ecuaciones diferenciales ordinarias (ODE) donde la evolución del estado está gobernada por interacciones físicas (por ejemplo, acoplamiento sinusoidal en osciladores, no linealidades polinómicas o sigmoideas en máquinas de Ising).
- Para cerrar la brecha de expresividad entre la física fija y las redes neuronales flexibles, los autores proponen dos mecanismos compatibles con el hardware:
  - Parámetros por tramos temporales (time-piecewise parameters): Dividir el intervalo de integración en segmentos con conjuntos de parámetros independientes para aumentar la complejidad del campo vectorial.
  - Estados físicos ocultos: Aumentar el espacio de estados visibles con elementos físicos ocultos que interactúan con los nodos visibles, expandiendo el espacio de parámetros efectivo sin requerir la observación directa de la trayectoria oculta.
- La arquitectura de hardware está diseñada como una cuadrícula dispersa de elementos físicos (PE) con conexiones locales y limitadas de larga distancia para minimizar la sobrecarga de enrutamiento. Los parámetros se cuantizan a anchos de bits bajos para reducir el área y la potencia de los DAC.
Paradigma de Entrenamiento:
- El artículo argumenta que la supervisión exacta de la trayectoria (por ejemplo, Optimal Transport Conditional Flow Matching), que obliga al modelo a seguir un camino específico en cada paso de tiempo, es inviable para los AIS debido a las restricciones estructurales.
- En su lugar, los autores emplean un procedimiento de entrenamiento de Redes Generativas Adversarias de Wasserstein (WGAN). Este método utiliza supervisión de puntos finales, penalizando solo el estado visible terminal ( $v(T)$ ) en lugar de las trayectorias intermedias. Esto permite que el sistema físico se autoorganice y descubra su propio camino desde el ruido hacia los datos, optimizando sobre estados ocultos que carecen de trayectorias de referencia (ground-truth).
Estrategia de Implementación de Hardware:
- La arquitectura propuesta admite pesos variables en el tiempo mediante tres estrategias: "Guardar y reprogramar" (digitalización de estados intermedios), "Estacionario en peso" (weight stationary, despliegue espacial a través de múltiples núcleos) y "Estacionario en estado" (state stationary, actualizaciones de peso dinámicas dentro de un solo núcleo).
- La estimación de potencia se extrapola de mediciones de silicio existentes de una máquina de Ising de osciladores acoplados de 28 nm, escalando según el número de nodos, la densidad de acoplamiento y la precisión del peso.

Contribuciones Clave

Marco Unificado: Definición de los Sistemas de Interacción Analógica (AIS) como una clase de sistemas dinámicos donde la computación emerge de la física del dispositivo, distinta de las emulaciones digitales de redes neuronales ODE.
Mecanismos de Expresividad: Identificación y validación empírica de los parámetros por tramos temporales y los estados físicos ocultos como métodos efectivos para cerrar la brecha de expresividad entre los sistemas restringidos por la física y los modelos de referencia de redes neuronales.
Innovación en el Entrenamiento: Desarrollo de un procedimiento de entrenamiento WGAN adaptado para hardware analógico, que desacopla la forma de la trayectoria de la calidad del objetivo, permitiendo la optimización de sistemas con kernels de interacción fijos.
Diseño Consciente del Hardware: Propuesta de una arquitectura dispersa de bajo bit-width con leyes de escala que demuestran que la conectividad dispersa y la cuantización son necesarias para una eficiencia energética práctica.

Resultados

Estudio de Expresividad: En tareas de distribución sintética de baja dimensión (por ejemplo, transformar distribuciones gaussianas en mezclas multimodales), la combinación de supervisión de punto final mediante SWD (Sliced Wasserstein Distance), pesos por tramos temporales y estados ocultos redujo significamente la distancia de Wasserstein ( $W_2^2$ ) en comparación con las bases de referencia de parámetros fijos o supervisión de trayectoria. KuraSHIL (Kuramoto with injection-locking) emergió como el de mejor desempeño.
Calidad Generativa: En los conjuntos de datos MNIST y Fashion-MNIST, el AIS basado en osciladores logró puntuaciones de FID (Fréchet Inception Distance) de 27.6 y 80.8, respectivamente. Esto supera a los mejores modelos generativos analógicos implementables en hardware previos (DTM y NLM) por un factor de 3 a 4 veces.
Robustez: El modelo mantuvo un alto rendimiento con pesos cuantizados de 4 bits (FID 27.2/81.9) y demostró resiliencia a niveles de ruido transitorio ( $\delta=0.025$ ).
Eficiencia Energética: Los autores estiman un costo energético de 23 $\mu$ J por imagen generada para un núcleo AIS de 56×56 operando a 100 MHz. Esto representa una mejora de dos órdenes de magnitud sobre las bases de referencia digitales (estimadas en 7–79 mJ por imagen). El análisis de escalado indica que el paso a una conectividad all-to-all o a mayores anchos de bits aumentaría drásticamente el consumo de energía, validando la necesidad de diseños de baja precisión y dispersos.

Significancia
El artículo afirma que las limitaciones impuestas por el hardware analógico —específicamente las dinámicas fijas y las restricciones físicas— pueden superarse para producir modelos generativos expresivos y energéticamente eficientes. Al cambiar el objetivo de entrenamiento del emparejamiento de trayectorias al emparejamiento de distribuciones de punto final mediante WGANs, y al aprovechar los estados ocultos y los parámetros variables en el tiempo, los autores demuestran que el hardware analógico puede implementar de forma nativa el modelado generativo basado en ecuaciones diferenciales. Este trabajo sugiere un camino viable hacia una IA generativa de baja potencia y baja latencia que aproveche la física intrínseca del sustrato en lugar de emular algoritmos digitales. Los resultados indican que, con las adaptaciones arquitectónicas y de entrenamiento apropiadas, los sistemas analógicos pueden lograr una calidad generativa competitiva ofreciendo, al mismo tiempo, ahorros de energía sustanciales sobre las alternativas digitales basadas en GPU.

Más como este