💻 computer science

Analog Diffusion Models

Este artículo presenta los Modelos de Difusión Analógica (ADMs), los cuales aprovechan una correspondencia de punto fijo entre la dinámica del hardware analógico y la inferencia de difusión implícita para permitir una IA generativa totalmente analógica y de alta eficiencia sin requerir el rediseño del modelo ni comprometer la compatibilidad con los ecosistemas de entrenamiento estándar.

Autores originales: Jiaqi Chu, Heiner Kremer, Fabian Falck, Grace Brennan, Burcu Canakci, James Clegg, Daniel Cletheroe, Doug Kelly, Christos Gkantsidis, Michael Hansen, Paul Jeha, Kirill Kalinin, Jim Kleewein, Babak Rah

Publicado 2026-08-06

📖 10 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiaqi Chu, Heiner Kremer, Fabian Falck, Grace Brennan, Burcu Canakci, James Clegg, Daniel Cletheroe, Doug Kelly, Christos Gkantsidis, Michael Hansen, Paul Jeha, Kirill Kalinin, Jim Kleewein, Babak Rahmani, Saravan Rajmohan, Victor Rühle, Jannes Gladrow, Francesca Parmigiani, Hitesh Ballani

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el mundo de la inteligencia artificial como una enorme estación de trenes de alta velocidad. Durante años, los trenes (nuestros modelos de IA) se han vuelto más rápidos y potentes, pero también se están volviendo increíblemente pesados y hambrientos de energía. El tipo de tren más popular en este momento se llama "modelo de difusión". Piensa en él como un escultor que comienza con un bloque de mármol caótico y ruidoso y va quitando el ruido poco a poco, paso a paso, hasta que emerge una hermosa estatua. Para obtener esa estatua perfecta, el escultor tiene que realizar miles de pequeños y cuidadosos movimientos de cincel. Cada movimiento toma tiempo y energía, y a medida que las estatuas se vuelven más grandes, el proceso se vuelve agotador para nuestros chips informáticos actuales, que son como calculadoras digitales que solo pueden hacer una cosa a la vez de forma muy rápida.

Entra la idea de la "computación analógica". Si las computadoras digitales son como un reloj digital que marca segundos precisos y separados, las computadoras analógicas son como un río que fluye o un péndulo que oscila. No cuentan pasos; dejan que la física haga el trabajo. En lugar de calcular un número, dejan que una señal fluya a través de un circuito hasta que naturalmente se asienta en un estado estable, de forma muy similar a cómo un péndulo eventualmente se detiene en la parte inferior de su oscilación. Los científicos han esperado durante mucho tiempo que el uso de estas máquinas "fluyentes" pudiera hacer que la IA fuera increíblemente rápida y eficiente energéticamente. Sin embargo, ha habido un problema persistente: los algoritmos de IA fueron diseñados para la forma de pensar del "reloj digital". Intentar forzar que funcionen en un hardware de "río fluyente" generalmente significaba o bien romper el cerebro de la IA, o bien usar el hardware solo para una pequeña parte del trabajo, dejando el trabajo pesado a las computadoras digitales antiguas y hambrientas de energía.

Este artículo introduce una nueva y astuta forma de cerrar esa brecha, llamada Modelos de Difusión Analógicos (ADMs). Los investigadores, trabajando en Microsoft Research, descubrieron que la forma en que un modelo de difusión "va quitando" el ruido se parece sospechosamente a la forma en que un sistema físico analógico se "asienta" naturalmente hacia un estado estable. En lugar de forzar a la IA a cambiar su personalidad para adaptarse al hardware, reimaginaron los pasos de la IA para que el hardware pudiera hacer el trabajo de forma natural. Probaron esto en una computadora óptica especial que utiliza luz y electricidad para realizar cálculos. En sus experimentos, el sistema generó imágenes y patrones de datos con éxito, de forma íntegra en este hardware analógico, con cada paso del proceso tomando solo 10–15 microsegundos.

El equipo no se detuvo solo en el pequeño prototipo. Utilizaron un "gemelo digital" —una simulación informática superprecisa de su hardware— para probar cómo funcionaría esta idea en modelos de IA mucho más grandes y del mundo real, incluyendo algunos con miles de millones de parámetros. Estas simulaciones sugят que este enfoque podría ser un cambio de juego. Al usar este método de "asentamiento", la IA podría necesitar hasta 16 veces menos pasos para crear una imagen de alta calidad en comparación con los métodos estándar. Aunque cada uno de estos nuevos pasos requiere algunos bucles internos de "asentamiento", la cantidad total de trabajo disminuye significativamente. Los investigadores sugieren que si esta tecnología se escala a un hardware futuro y miniaturizado, podría ofrecer ahorros masivos de energía, haciendo potencialmente que la próxima generación de IA sea mucho más sostenible sin necesidad de reinventar los algoritmos que ya amamos.

La idea central: Dejar que la física haga el cincelado

Para entender por qué esto es importante, veamos cómo funciona el "escultado" habitualmente. En una IA digital estándar, la computadora calcula un paso, se detiene, guarda el resultado, calcula el siguiente paso, y así sucesivamente. Es como un robot que tiene que hacer una pausa, pensar y luego mover su brazo por cada cada golpe de cincel que elimina del mármol. Esto es lento y consume mucha electricidad.

Los investigadores se dieron cuenta de que la matemática "implícita" utilizada en algunos modelos de IA avanzados es en realidad un problema de "punto fijo". En lenguaje sencillo, esto significa encontrar un lugar donde, si aplicas una regla, terminas exactamente en el mismo lugar. Es como una pelota rodando por una colina; sigue moviéndose hasta que llega al fondo y se detiene. Una vez que está en el fondo, aplicar la regla "rodar hacia abajo" no cambia nada porque ya está allí.

La magia de este artículo es que el hardware analógico hace exactamente esto de forma natural. Cuando envías una señal a través de un bucle de luz y electrónica, no cuenta pasos. Simplemente fluye hasta que se estabiliza. Los autores se dieron cuenta de que, si configuraban su modelo de IA correctamente, el "asentamiento" de la luz y la electricidad es el paso que da la IA. El hardware no necesita que se le diga que se detenga después de un cálculo; encuentra la respuesta naturalmente al alcanzar el equilibrio.

El experimento: Luz, espejos y micro-LEDs

Para demostrar que esto funciona, el equipo construyó una máquina física llamada Computadora Óptica Analógica (AOC). Imagina un laberinto diminuto y de alta tecnología hecho de luz.

La fuente de luz: Utilizaron matrices de luces diminutas (micro-LEDs) para representar los datos.
Los pesos: Utilizaron espejos especiales llamados Moduladores de Luz Espacial (SLMs) que pueden cambiar cuánta luz reflejan. Estos espejos actúan como el "cerebro" de la IA, conteniendo los pesos (el conocimiento) del modelo.
El bucle: La luz viaja desde los LEDs, golpea los espejos, es sumada por sensores y luego el resultado se retroalimenta al sistema.

Esto crea un bucle de retroalimentación. El sistema se sigue ajustando hasta que el patrón de luz se estabiliza. Esta estabilización ocurre en un abrir y cerrar de ojos; específicamente, en 10 a 15 microsegundos por paso.

Probaron esto en varias tareas diferentes:

Formas 2D: Pidieron a la máquina que generara patrones 2D simples como corazones, estrellas y letras. El hardware hizo esto con éxito, produciendo formas que coincidían casi perfectamente con sus simulaciones digitales.
Generación de espacio latente: Utilizaron una técnica llamada "difusión latente" (que es como funcionan los generadores de imágenes modernos como DALL-E o Stable Diffusion). Ejecutaron todo el proceso iterativo en el hardware analógico y solo usaron una computadora digital para el último paso para convertir el resultado en una imagen. Generaron con éxito imágenes de dígitos escritos a mano (MNIST), artículos de moda (FashionMNIST) y letras (EMNIST).

El panorama general: Simulaciones y escalabilidad

La máquina física que construyeron es pequeña, con 2,304 pesos programables. Eso es minúsculo comparado con los modelos de IA modernos, que pueden tener miles de millones de pesos. Entonces, ¿cómo sabemos que esto funciona para modelos grandes?

Los investigadores crearon un "Gemelo Digital" (DT). Esta es una simulación informática que imita el comportamiento exacto, el ruido y las peculiaridades de su hardware físico. Entrenaron modelos de IA estándar en computadoras digitales normales, pero les dijeron que esperaran el "ruido" y el comportamiento de la máquina analógica. Luego, pasaron estos modelos a través del Gemelo Digital para ver cómo se desempeñarían si realmente estuvieran corriendo en el hardware basado en luz.

Probaron esto en:

Redes Neuronales Convolucionales (U-Nets)
Transformadores de Difusión (DiT)
Modelos enormes con hasta 13 mil millones de parámetros (como el modelo FLUX.1).

Los resultados fueron prometedores. En estas simulaciones, los "Modelos de Difusión Analógicos" (ADMs) pudieron lograr los mismos resultados de alta calidad que los métodos digitales estándar, pero con hasta 16 veces menos pasos de difusión.

Por ejemplo, en un conjunto de datos de imágenes de mariposas, el método estándar necesitaba 128 pasos para obtener una buena imagen. El método analógico solo necesitó 8 pasos para obtener una calidad similar. Aunque cada uno de esos 8 pasos requería algunos bucles internos de "asentamiento" (iteraciones de punto fijo), el trabajo total seguía siendo mucho menor.

Por qué esto importa (y qué no es)

El artículo sugiere un nuevo camino a seguir. En lugar de intentar forzar los algoritmos de IA para que encajen en las limitaciones del nuevo hardware (lo que a menudo rompe la IA), alinearon la física natural del hardware con las necesidades del algoritmo.

Lo que el artículo NO afirma:

No dice que sea un producto terminado que puedas comprar hoy. El hardware es todavía un prototipo.
No afirma haber resuelto aún el problema de la energía para toda la IA. Los ahorros de energía son "proyectados" basándose en simulaciones y en la eficiencia conocida de la computación óptica.
No dice que cada modelo de IA funcione mejor de esta manera; en algunas pruebas específicas (como con el conjunto de datos AFHQ usando un modelo DiT), el método básico tuvo dificultades, pero una versión más avanzada llamada "Implicit-CN" (Crank-Nicolson) solucionó el problema.

El nivel de confianza:
Los autores son muy cuidadosos con su lenguaje. Demostraron el concepto en el hardware pequeño. Mostraron que los resultados de 2D y de espacio latente coinciden con el gemelo digital. Sugieren que los resultados de escalabilidad (para los modelos de mil millones de parámetros) es muy probable que se cumplan porque las matemáticas lo respaldan, pero esos resultados específicos a gran escala son actualmente simulaciones, no experimentos físicos en una máquina de mil millones de pesos.

La hoja de ruta futura

El artículo traza una hoja de ruta para el futuro. El hardware actual tiene el tamaño de un pequeño chip. Los autores proponen que, al apilar estos sistemas ópticos en tres dimensiones (usando la tercera dimensión para enrutar la luz, en lugar de solo a través de una superficie plana), podrían escalar hasta 100 millones de pesos dentro de un volumen del tamaño de un centímetro.

Si este escalado ocurre, y si el hardware puede operar a velocidades de gigahertz (que es mucho más rápido que las velocidades actuales de megahertz), la eficiencia energética podría ser 100 veces mejor que la de los chips digitales actuales para la parte del cálculo real. Incluso cuando se añade el costo del paso digital final para convertir el resultado en una imagen, el sistema total podría ser 26 veces más eficiente que los métodos actuales.

En resumen, este artículo sugiere que, al escuchar la física de la luz y la electricidad, y al dejar que la IA se "asiente" naturalmente en lugar de obligarla a contar, podríamos finalmente desbloquear los enormes ahorros de energía que la computación analógica ha prometido durante décadas. Es un cambio de "hacer que el algoritmo se ajuste a la máquina" a "dejar que la máquina haga lo que mejor sabe hacer".

Resumen Técnico: Modelos de Difusión Analógicos

Planteamiento del Problema

La IA generativa, particularmente los modelos de difusión, se ha vuelto dominante para la creación de imágenes, audio y video, pero su proceso de inferencia iterativo es computacional y energéticamente intensivo, lo que representa un estimado del 90% del uso de energía en despliegues comerciales. Si bien el hardware analógico y óptico ofrece un potencial de órdenes de magnitud en ganancias de eficiencia para las multiplicaciones de matrices, un "bloqueo estructural" ha impedido su adopción. Los intentos previos de ejecutar modelos de difusión en hardware analógico se han enfrentado a un compromiso binario: o bien confinar los componentes analógicos a partes pequeñas de un flujo de trabajo digital (limitando las ganancias a nivel de sistema) o rediseñar el modelo generativo para ajustarse a las restricciones del hardware (sacrificando la compatibilidad con los flujos de entrenamiento estándar, los pesos preentrenados y el ecosistema en evolución). En consecuencia, ningún sistema ha demostrado aún una inferencia de difusión totalmente analógica que permanezca compatible con las formulaciones de modelos estándar.

Metodología

Los autores introducen los Modelos de Difusión Analógicos (ADMs), los cuales explotan una correspondencia estructural entre la dinámica de equilibrio físico de los bucles de retroalimentación analógicos y la estructura de punto fijo de la inferencia de difusión implícita.

Concepto Central: Correspondencia de Punto Fijo

Los modelos de difusión típicamente integran una Ecuación Diferencial Ordinaria (ODE) sobre un horizonte de tiempo finito utilizando resolvedores explícitos. Los ADMs reformulan esto utilizando un resolvedor de ODE implícito (específicamente Euler implícito o Crank-Nicolson). En esta formulación, cada paso de difusión corresponde a encontrar el punto fijo estable de una transformación no lineal aprendida. Esto se alinea naturalmente con el hardware analógico, que evoluciona mediante dinámicas de relajación física hacia un estado estacionario, resolviendo efectivamente la ODE cuando $t \to \infty$ .

Separación de Entrenamiento e Inferencia

Una innovación clave es la separación de las restricciones de entrenamiento e inferencia:

Entrenamiento: Los modelos se entrenan utilizando objetivos de flow-matching estándar en GPUs digitales. Para dar cuenta de las no idealidades analógicas (ruido, no linealidades, diafonía/crosstalk), los autores emplean un Gemelo Digital (DT). El DT actúa como una capa de traducción diferenciable y agnóstica a la tarea que aplica corrupciones específicas del hardware a los parámetros y salidas, pero mantiene la arquitectura de la red neuronal estándar. Crucialmente, el entrenamiento no requiere búsqueda de punto fijo u optimización de bucle cerrado con el hardware (hardware-in-the-loop).
Inferencia: El modelo entrenado se ejecuta enteramente en hardware analógico. El operador ADM se construye de tal manera que iterar el mapa de actualización en el sistema analógico hasta la convergencia produce la actualización de Euler implícito. Esto permite que el sistema realice el paso de difusión de forma nativa en el dominio analógico sin modificar los pesos del modelo.

Implementación de Hardware

Los autores demuestran los ADMs en una Computadora Óptica Analógica (AOC) que presenta:

Arquitectura: Un bucle recursivo que integra multiplicación de matrices-vector óptica 3D (usando microLEDs, Moduladores Espaciales de Luz (SLMs) y fotodetectores) con no linealidades electrónicas analógicas (pares diferenciales bipolares).
Escala: El prototipo soporta 2,304 pesos programables, una escala diez veces mayor que trabajos anteriores. Utiliza un diseño de matriz de bloques para implementar redes multicapa dentro de un único bucle recursivo.
Latencia: Los tiempos de convergencia medidos son de 10–15 µs por paso de difusión, gobernados por un ancho de banda del sistema de 5 MHz.

Ejecución en el Espacio Latente

Para datos de alta dimensionalidad, los autores emplean un marco de ADM Latente. El proceso de difusión iterativo se ejecuta enteramente en el espacio latente analógico de un Autoencoder Variacional (VAE). Solo el paso final de decodificación del espacio latente al espacio de píxeles se realiza digitalmente. Esto aisla la parte más intensiva en energía del proceso de generación (la denoise iterativa) al hardware analógico.

Contribuciones Clave y Resultados

1. Validación de Hardware en Distribuciones 2D

Los autores demostraron pasos de difusión totalmente analógicos en el hardware AOC utilizando diversas distribuciones 2D.

Desempeño: Los resultados del hardware coincidieron estrechamente con las simulaciones del Gemelo Digital, con un Error Cuadrático Medio Normalizado (NRMSE) por paso de aproximadamente $10^{-2}$ .
Robustez: Se demostró que la dinámica de atractor de punto fijo y el propio proceso de difusión son robustos al ruido analógico, permitiendo una generación estable con un promedio mínimo (5 repeticiones).

2. Generación de Imágenes Latentes

Utilizando el enfoque de ADM latente, el sistema generó muestras de los conjuntos de datos MNIST, FashionMNIST y ExtendedMNIST.

Calidad: Los ADMs en hardware superaron sustancialmente a las líneas base de solo VAE, logrando una Distancia de Incepción de Fréchet (FID) más baja y menores discrepancias distribucionales en el espacio latente.
Eficiencia: Todo el proceso de difusión iterativa se ejecutó en el dominio analógico, quedando únicamente el paso final de decodificación en el dominio digital.

3. Escalabilidad Algorítmica (Simulaciones de Gemelo Digital)

Para probar la escalabilidad más allá de los límites actuales del hardware, los autores simularon ADMs en arquitecturas que van desde 32M hasta 13B de parámetros (incluyendo U-Nets y Diffusion Transformers) a través de conjuntos de datos de alta resolución (Smithsonian Butterflies, AFHQ, Oxford Flowers-102).

Reducción de Pasos: El muestreo implícito superó consistentemente al muestreo explícito en el régimen de pocos pasos. Los ADMs lograron la misma calidad de muestra (FID) que los métodos estándar con hasta 16 veces menos pasos de difusión.
Operaciones Totales: Aunque cada paso implícito requiere múltiples iteraciones de punto fijo (por ejemplo, 4), la reducción en los pasos de difusión resulta en una reducción neta de 1–2× en las evaluaciones totales de la red neuronal.
Estabilidad: Para arquitecturas donde los métodos implícitos básicos tuvieron dificultades (por ejemplo, AFHQ con DiT), la variante Crank-Nicolson (Implicit-CN) proporcionó un compromiso más favorable, ofreciendo precisión de segundo orden y condiciones de estabilidad relajadas, logrando hasta 8× menos pasos.
Compatibilidad con el Estado del Arte: El enfoque se aplicó con éxito al modelo FLUX.1 de 13B de parámetros, mejorando la calidad de la muestra en recuentos de pasos extremadamente bajos (2 pasos) donde los métodos implícitos estándar fallaron en converger.

4. Proyecciones de Eficiencia Energética

El artículo proyecta ganancias de energía de extremo a extremo basadas en una ventaja conservadora de 100× en eficiencia por operación del hardware analógico sobre los aceleradores digitales actuales.

Resolución Nativa: Para la generación dentro de la resolución nativa del hardware (sin decodificador digital), se preserva la ganancia completa de 100×.
Escalamiento Latente: Para la generación de alta resolución que requiere un decodificador digital, la sobrecarga reduce la ganancia proyectada a aproximadamente 26× en el caso de Smithsonian Butterflies, lo que sigue representando una mejora significativa a nivel de sistema.

Significancia y Reivindicaciones

El artículo afirma que los Modelos de Difusión Analógicos ofrecen una ruta práctica para desbloquear el potencial de eficiencia de la computación analógica para cargas de trabajo de IA sin sacrificar la compatibilidad con el ecosistema.

Alineación Estructural vs. Rediseño de Algoritmos: Los autores argumentan que igualar la física del hardware con la estructura algorítmica (mediante la explotación de la correspondencia de punto fijo) es un enfoque más general y práctico que rediseñar algoritmos para ajustarse a las restricciones del hardware.
Compatibilidad con el Ecosistema: Los ADMs preservan el uso de flujos de entrenamiento estándar, pesos preentrenados y los algoritmos en rápida mejora del ecosistema de IA convencional, abordando el problema de la "lotería del hardware" donde el hardware alternativo corre el riesgo de irrelevancia debido a la incompatibilidad.
Escalabilidad: Los resultados sugieren que, a medida que el hardware analógico escale a millones de pesos (por ejemplo, mediante el apilamiento óptico 3D), la combinación de la reducción de pasos de difusión y la eficiencia por operación podría entregar ahorros de energía de órdenes de magnitud para la inferencia de IA generativa.

Los autores mantienen la modestia, señalando que alcanzar estas ganancias para aplicaciones industriales requiere una mayor escala del hardware analógico para igualar la precisión y el recuento de pesos de los modelos generativos modernos, y que el prototipo actual sirve como una validación del principio operativo.