🔬 physics

Thermodynamic cost of inference and learning in physical neural networks

Este artículo demuestra que, si bien la inferencia cuasiestática en redes neuronales físicas no conlleva un costo termodinámico, el aprendizaje de parámetros conlleva un gasto energético irreducible, estableciendo que el precio termodinámico fundamental de la computación neuronal está determinado por el almacenamiento de memoria en lugar del procesamiento aritmético.

Autores originales: Alexei Tkachenko

Publicado 2026-08-18

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alexei Tkachenko

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Cada vez que una computadora resuelve un problema o aprende un nuevo patrón, consume energía. Lo vemos en las enormes centrales eléctricas que alimentan nuestros centros de datos y en el calor que irradia nuestras computadoras portátiles. Durante décadas, los científicos se han preguntado cuánto de este costo energético es simplemente un defecto de nuestra tecnología actual y cuánto es una ley fundamental de la naturaleza de la que ninguna máquina podrá escapar jamás. La respuesta estándar para las computadoras digitales proviene de una regla llamada el principio de Landauer. Esta establece que si una máquina borra una pieza de información, debe liberar una cantidad diminuta e inevitable de calor. Esta regla se aplica a los interruptores binarios dentro de nuestros procesadores, donde la información se almacena como estados distintos y estables como "encendido" o "apagado". Sin embargo, muchos investigadores están construyendo ahora un tipo diferente de computadora. Estas son redes neuronales físicas, dispositivos hechos de luz, partes mecánicas o circuitos electrónicos que computan relajándose hacia un estado de equilibrio, de forma muy similar a una pelota rodando por una colina para encontrar el punto más bajo. Debido a que estas máquinas no dependen de cambiar interruptores rígidos, las viejas reglas sobre el borrado de bits podrían no aplicarse a ellas de la misma manera. La pregunta es si estas nuevas máquinas pueden computar y aprender con casi nada de energía, o si ellas también están sujetas a un límite físico estricto.

Un investigador del Laboratorio Nacional de Brookhaven ha trazado ahora exactamente cuánta energía requieren estas redes físicas. No construyó un dispositivo físico en un laboratorio; en su lugar, creó un modelo matemático detallado que trata a una red neuronal como un sistema de resortes y pesos. En su modelo, las conexiones entre las capas de la red no son instrucciones rígidas, sino restricciones elásticas, como resortes que tiran del sistema hacia una forma específica. Cuando se le da una entrada a la red, esta simplemente se relaja hacia la forma que satisface todos los resortes a la vez. Este enfoque permitió al científico calcular el costo energético de dos procesos distintos: la inferencia, que es el acto de resolver un problema, y el aprendizaje, que es el acto de entrenar a la máquina para que mejore en la resolución de problemas. Sus hallazgos revelan una división sorprendente en la física de estas máquinas. Descubrieron que el acto de pensar, o inferencia, puede realizarse teóricamente con cero energía si la máquina se mueve lo suficientemente lento. El costo solo aparece cuando la máquina es forzada a moverse rápidamente. En contraste, el acto de aprender conlleva un precio energético permanente que no se puede evitar, sin importar qué tan lentamente opere la máquina.

El investigador encontró que para la inferencia, el costo energético no está determinado por el número de conexiones o "pesos" dentro de la red, como ocurre en las computadoras digitales. En cambio, el costo depende del ancho de la red, o de cuántas neuronas están activas a la vez. Si se le permite a la máquina relajarse lentamente, moviéndose de una entrada a la siguiente a un ritmo pausado, no requiere trabajo alguno. Esto se debe a que la máquina está siempre en un estado de equilibrio, deslizándose a lo largo de un valle suave de energía sin tener que subir nunca una colina o borrar una memoria. El único momento en que se gasta energía es cuando la máquina es empujada a moverse más rápido que su velocidad natural de relajación. En este régimen rápido, la energía requerida es proporcional a la distancia que la máquina debe recorrer a través de su espacio de estados, dividida por el tiempo que tarda. Las simulaciones mostrieron que, incluso a la velocidad útil más rápida, el costo energético es notablemente bajo, aproximadamente equivalente a la energía térmica del entorno por cada dimensión de la capa más ancha de la red. Esto significa que el costo escala con el tamaño del ancho de la red, no con su complejidad total. Para una red con un millón de neuronas activas, el costo energético es aproximadamente un millón de veces la diminuta energía térmica de una sola partícula, una cifra que es miles de millones de veces menor de lo que consume el hardware digital actual.

El aprendizaje, sin embargo, cuenta una historia diferente. Cuando la máquina es entrenada, tanto la entrada como la salida deseada se imponen al sistema al mismo tiempo. Esto crea un conflicto, o tensión, dentro de los resortes de la red, porque la configuración actual no puede satisfacer tanto la entrada como el objetivo simultáneamente. Para aprender, la máquina debe ajustar sus pesos internos para aliviar esta tensión. El investigador encontró que este proceso de ajuste de los pesos conlleva un costo energético irreducible. A diferencia de la inferencia, este costo no desaparece incluso si el entrenamiento se realiza infinitamente lento. Cada vez que un peso cambia, una pequeña cantidad de energía se disipa como calor, aproximadamente unas pocas veces la energía térmica del entorno por parámetro. Este costo se incurre una vez para todo el conjunto de parámetros que definen el conocimiento de la máquina. No depende de cuántos ejemplos vea la máquina durante el entrenamiento, sino más bien del número de pesos que tiene que almacenar. Esto contrasta fuertemente con el entrenamiento digital, donde la máquina debe borrar y reescribir información por cada ejemplo que ve, lo que conduce a una factura energética masiva que escala con el tamaño del conjunto de datos.

El investigador probó estas ideas simulando una red pequeña entrenada para reconocer dígitos escritos a mano, una tarea estándar en el aprendizaje automático. Observaron cómo se comportaba la máquina a medida que cambiaban entre diferentes números y a medida que ajustaba sus pesos para mejorar su precisión. Los resultados coincidieron perfectamente con sus predicciones teóricas. Cuando se le pedía a la máquina que realizara una inferencia rápidamente, la energía que consumía aumentaba bruscamente, y su precisión caía a medida que el trabajo que realizaba se volvía comparable al movimiento aleatorio del calor en el sistema. Pero cuando se le permitía a la máquina moverse lentamente, resolvía el problema con casi nada de energía, y su precisión se mantenía alta. Durante el entrenamiento, observaron que la energía gastada en el ajuste de los pesos seguía un patrón preciso, confirmando que se libera una pequeña y fija cantidad de calor por cada bit de aprendizaje que ocurre. Las simulaciones mostaron que una vez que la máquina había aprendido la tarea, la energía requerida para mantener ese conocimiento era insignificante, pero la energía requerida para escribir ese conocimiento en primer lugar era un costo fundamental e inevitable.

Estos hallazgos sugieren que el precio termodinámico de una red neuronal está determinado por su memoria más que por su aritmética. El acto de computar un resultado es casi gratuito, limitado solo por qué tan rápido se obliga a la máquina a moverse. El acto de aprender, sin embargo, requiere pagar una tarifa pequeña pero permanente para escribir los parámetros en la estructura física de la máquina. Esta distinción ofrece una nueva perspectiva sobre el futuro de la computación. Mientras que las máquinas digitales están limitadas por el costo de borrar bits para cada operación, las máquinas físicas podrían potencialmente realizar cálculos complejos con una eficiencia energética que es órdenes de magnitud mejor. La brecha restante entre el hardware actual y estos límites teóricos no se debe a un defecto en las leyes de la física, sino a las ineficiencias de nuestros materiales y diseños actuales. El estudio proporciona una hoja de ruta clara de lo que es posible, mostrando que si podemos construir máquinas que verdaderamente se relajen hacia sus soluciones, el costo energético de la inteligencia podría reducirse al mínimo absoluto permitido por el universo.

Resumen Técnico: Costo Termodinámico de la Inferencia y el Aprendizaje en Redes Neuronales Físicas

Planteamiento del Problema
La rápida expansión de las redes neuronales profundas ha provocado un aumento escalonado de la demanda energética tanto para el entrenamiento como para la inferencia. Si bien las ineficiencias del hardware actual están bien documentadas, una pregunta fundamental permanece: ¿cuáles son los costos energéticos intrínsecos a la computación neuronal en sí misma, independientemente de las implementaciones específicas de dispositivos? Para el hardware digital, el estándar de referencia termodinámico es el principio de Landauer, que asigna una disipación mínima de $k_B T \ln 2$ por cada bit borrado en operaciones lógicamente irreversibles. Sin embargo, este límite se aplica a estados de información metaestables y multiestables, y no restringe directamente la computación analógica continua o los sistemas físicos que operan mediante relajación y equilibrio en lugar de puertas digitales con reloj. El artículo busca determinar los límites termodinámicos de las redes neuronales físicas basadas en energía, abordando específicamente cuánta energía se requiere para la inferencia y el aprendizaje cuando la red se modela como un sistema físico gobernado por un Hamiltoniano.

Metodología
El autor propone un marco teórico que integra una red neuronal feedforward genérica en un Hamiltoniano físico.

Incrustación del Hamiltoniano: Una red feedforward estándar con capas $x_n$ , pesos $W_n$ y sesgos $b_n$ se mapea a una función de energía elástica:
$H(x; \theta) = \frac{\kappa}{2} \sum_{n=1}^L \|x_n - f_n(W_n x_{n-1} + b_n)\|^2$
Aquí, cada relación de capa se trata como una restricción de compatibilidad elástica con una rigidez $\kappa$ . El "estado feedforward" corresponde al colector de energía cero ( $H=0$ ). A diferencia de las redes de Hopfield donde los estados son atractores, esta construcción crea un colector de estado fundamental altamente degenerado donde cada entrada selecciona un estado único de energía cero compatible.
Dinámica: El sistema evoluciona mediante la dinámica de Langevin sobreamortada ( $\dot{x}_n = -\mu \nabla_{x_n} H + \text{ruido}$ ).
Inferencia vs. Entrenamiento:
- Inferencia: Modelada como la relajación de las variables ocultas y de salida hacia el colector de energía cero bajo una entrada fija.
- Entrenamiento: Modelado como un proceso sobreconstreñido donde tanto la entrada como la salida objetivo están fijadas, creando una deformación (pérdida) que impulsa las actualizaciones de parámetros mediante el equilibrio de fuerzas mecánicas (retropropagación).
Límites Termodinámicos: El artículo deriva límites exactos para el trabajo requerido para conducir el sistema entre estados térmicos. Utiliza la distancia Wasserstein-2 ( $W_2$ ) para el transporte óptimo y la relaja a un límite de geometría de la información que involucra la divergencia de Kullback-Leibler (KL) y la distancia de Fisher-Rao.
Validación Numérica: Se realizaron simulaciones en una red física mínima (arquitectura 64 $\to$ 20 $\to$ 10) entrenada con el conjunto de datos de dígitos escritos a mano (MNIST). Las simulaciones probaron la disipación de trabajo, los tiempos de relajación y la precisión bajo diversos protocolos de velocidad y temperaturas.

Contribuciones Clave y Resultados

Inferencia Reversible en el Límite Cuasiestático:
El artículo demuestra que la energía libre de equilibrio de la red incrustada es independiente de la entrada y de todos los parámetros (pesos y sesgos) a todas las temperaturas. En consecuencia, el cambio en la energía libre ( $\Delta F$ ) para cualquier transición de entrada es exactamente cero. En el límite cuasiestático (operación infinitamente lenta), la inferencia requiere cero trabajo. Esto contrasta con los sistemas digitales donde la computación a menudo implica borrar bits; aquí, la computación es una respuesta isostática monostable a lo largo de un colector de energía cero, evitando por completo el costo de Landauer.
Costo de Inferencia a Velocidad Finita:
Para una operación a velocidad finita, el trabajo requerido está limitado inferiormente por la distancia cuadrática de Wasserstein-2 entre los estados térmicos inicial y final, dividido por la duración del protocolo $\tau$ .
- El límite se relaja a una medida entrópica: $E_{inf} \ge d k_B T \Gamma_{inf} \frac{\tau_L}{\tau}$ , donde $d$ es el ancho de la capa más ancha, $\tau_L$ es la escala de tiempo difusiva y $\Gamma_{inf}$ es un factor de fidelidad relacionado con la relación señal-ruido.
- A la velocidad máxima utilizable (donde $\tau \approx \tau_{inf}$ ), la fidelidad y el tiempo de relajación se cancelan, produciendo un costo de aproximadamente $k_B T$ por dimensión de la capa más ancha.
- Crucialmente, este costo escala con el ancho de la red (número de neuronas), no con el número de parámetros (sinapsis). Las simulaciones confirmaron que el trabajo medido satura el límite de transporte dentro de un 4%.
- La precisión colapsa cuando el trabajo disipado cae por debajo de la escala térmica ( $k_B T$ ), confirmando que la fiabilidad está determinada por la relación entre el trabajo y la distinguibilidad térmica.
Costo Irreducible del Aprendizaje:
El aprendizaje es fundamentalmente diferente de la inferencia. Debido a que el entrenamiento requiere cambiar los parámetros (pesos y sesgos), conlleva un costo irreducible que sobrevive al límite cuasiestático.
- El costo total de entrenamiento consiste en un término de presentación de datos (que desaparece con la presentación lenta) y un término de recocido de parámetros.
- El costo de recocido de parámetros es aproximadamente de unos pocos $k_B T$ por parámetro para todo el proceso de entrenamiento. Este costo se incurre una vez para establecer la configuración de los parámetros, a diferencia del entrenamiento digital que paga un costo de borrado por cada presentación de datos.
- El costo escala con el número de parámetros ( $N_\theta$ ) pero es independiente del tamaño del conjunto de datos en el límite cuasiestático (a diferencia de los referentes digitales que escalan con $N_\theta \times \text{Tamaño del Conjunto de Datos}$ ).
Comparación con Referentes Digitales:
El artículo compara estos límites físicos con el límite de Landauer para hardware digital irreversible (aritmética de 16 bits).
- Inferencia: El costo físico ( $\sim d k_B T$ ) es órdenes de magnitud inferior al referente Landauer digital ( $\sim N_\theta k_B T$ ) porque las redes físicas realizan multiplicaciones mediante geometría en lugar de operaciones discretas.
- Entrenamiento: El costo físico es un costo de actualización de parámetros de una sola vez, mientras que el entrenamiento digital incurre en costos de borrado para cada token en el conjunto de datos.
- La Tabla 1 del artículo estima que la inferencia física podría ser $\sim 10^5$ veces más eficiente que el referente Landauer y $\sim 10^{13}$ veces más eficiente que las estimaciones actuales de hardware, mientras que el entrenamiento físico ofrece una ventaja similar sobre el entrenamiento digital debido a la ausencia de costos de borrado por cada ejemplo.

Significancia y Reivindicaciones
El artículo afirma establecer el precio termodinámico fundamental de la computación neuronal, distinguiendo entre los costos de la aritmética (inferencia) y la memoria (aprendizaje).

Inferencia: El costo termodinámico está determinado por el ancho de la red y la velocidad de operación, no por su conteo de parámetros. En el límite ideal, la computación es gratuita; el costo surge solo de la velocidad finita necesaria para separar la señal del ruido térmico.
Aprendizaje: El costo está dominado por el aspecto de la memoria —la escritura de los parámetros—. Este costo es irreducible incluso en el límite lento, pero se amortiza sobre todo el conjunto de datos, lo que lo hace potencialmente mucho más barato que el entrenamiento digital, que paga por cada ejemplo.
Físico vs. Digital: El trabajo sugiere que las redes neuronales físicas pueden teóricamente subpasar a las implementaciones digitales no solo mediante mejoras de ingeniería, sino porque evitan el costo fundamental de Landauer asociado con el borrado de información durante la computación. El "precio termodinámico" de una red neuronal está, por tanto, más asociado a su memoria (aprendizaje) que a su aritmética (inferencia).

El autor señala que estos límites se aplican a sustratos ideales; los costos del mundo real (conversión de datos, control, materiales no ideales) actualmente predominan. Además, el modelo asume una estructura afín más activación y aún no aborda los mecanismos de atención ni los costos de almacenamiento de los pesos después del entrenamiento. No obstante, los resultados proporcionan una base termodinámica rigurosa para evaluar futuras arquitecturas de computación neuromórfica y física.

Resumen Técnico: Costo Termodinámico de la Inferencia y el Aprendizaje en Redes Neuronales Físicas

Más como este