🔬 physics

Thermodynamic cost of inference and learning in physical neural networks

Este artigo demonstra que, embora a inferência quase estática em redes neurais físicas não incorra em custo termodinâmico, o aprendizado de parâmetros carrega uma despesa energética irredutível, estabelecendo que o preço termodinâmico fundamental da computação neural é determinado pelo armazenamento de memória, e não pelo processamento aritmético.

Autores originais: Alexei Tkachenko

Publicado 2026-08-18

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alexei Tkachenko

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Toda vez que um computador resolve um problema ou aprende um novo padrão, ele consome energia. Vemos isso nas enormes usinas de energia que alimentam nossos centros de dados e no calor que irradia de nossos laptops. Por décadas, cientistas se perguntaram quanto desse custo energético é simplesmente uma falha em nossa tecnologia atual e quanto é uma lei fundamental da natureza da qual nenhuma máquina poderá jamais escapar. A resposta padrão para computadores digitais vem de uma regra chamada princípio de Landauer. Ela afirma que, se uma máquina apaga uma informação, ela deve liberar uma quantidade minúscula e inevitável de calor. Esta regra se aplica aos interruptores binários dentro de nossos processadores, onde a informação é armazenada como estados distintos e estáveis como "ligado" ou "desligado". No entanto, muitos pesquisadores estão construindo um tipo diferente de computador. Estas são redes neurais físicas, dispositivos feitos de luz, partes mecânicas ou circuitos eletrônicos que computam ao relaxar em um estado de equilíbrio, muito parecido com uma bola rolando ladeira abaixo para encontrar o ponto mais baixo. Como essas máquinas não dependem de alternar interruptores rígidos, as velhas regras sobre apagar bits podem não se aplicar a elas da mesma forma. A questão é se essas novas máquinas podem computar e aprender com quase nenhuma energia, ou se elas também estão presas por um limite físico rigoroso.

Um pesquisador do Laboratório Nacional de Brookhaven mapeou agora exatamente quanta energia essas redes físicas requerem. Ele não construiu um dispositivo físico em um laboratório; em vez disso, criou um modelo matemático detalhado que trata uma rede neural como um sistema de molas e pesos. Em seu modelo, as conexões entre as camadas da rede não são instruções rígidas, mas sim restrições elásticas, como molas que puxam o sistema em direção a uma forma específica. Quando a rede recebe uma entrada, ela simplesmente relaxa na forma que satisfaz todas as molas simultaneamente. Essa abordagem permitiu ao cientista calcular o custo energético de dois processos distintos: inferência, que é o ato de resolver um problema, e aprendizado, que é o ato de treinar a máquina para se tornar melhor em resolver problemas. Suas descobertas revelam uma divisão surpreendente na física dessas máquinas. Eles descobriram que o ato de pensar, ou inferência, pode teoricamente ser feito com zero energia se a máquina se mover lentamente o suficiente. O custo só aparece quando a máquina é forçada a se mover rapidamente. Em contraste, o ato de aprender carreem um preço energético permanente que não pode ser evitado, não importa o quão lentamente a máquina opere.

O pesquisador descobriu que, para a inferência, o custo de energia não é determinado pelo número de conexões ou "pesos" dentro da rede, como ocorre em computadores digitais. Em vez disso, o custo depende da largura da rede, ou de quantos neurônios estão ativos de uma só vez. Se a máquina for permitida a relaxar lentamente, movendo-se de uma entrada para a próxima em um ritmo calmo, ela não requer trabalho algum. Isso ocorre porque a máquina está sempre em um estado de equilíbrio, deslizando ao longo de um vale suave de energia sem nunca ter que subir uma colina ou apagar uma memória. O único momento em que energia é gasta é quando a máquina é empurrada para se mover mais rápido do que sua velocidade natural de relaxamento. Nesse regime rápido, a energia necessária é proporcional à distância que a máquina deve percorrer através de seu espaço de estados, dividida pelo tempo que leva para isso. As simulações mostraram que, mesmo na velocidade útil mais rápida, o custo de energia é notavelmente baixo, aproximadamente equivalente à energia térmica do ambiente para cada dimensão da camada mais larga da rede. Isso significa que o custo escala com o tamanho da largura da rede, não com sua complexidade total. Para uma rede com um milhão de neurônios ativos, o custo de energia é cerca de um milhão de vezes a minúscula energia térmica de uma única partícula, um valor que é bilhões de vezes menor do que o que o hardware digital atual consome.

O aprendizado, porém, conta uma história diferente. Quando a máquina é treinada, tanto a entrada quanto a saída desejada são impostas ao sistema ao mesmo tempo. Isso cria um conflito, ou tensão, dentro das molas da rede, porque as configurações atuais não podem satisfazer tanto a entrada quanto o alvo simultaneamente. Para aprender, a máquina deve ajustar seus pesos internos para aliviar essa tensão. O pesquisador descobriu que esse processo de ajuste de pesos carrega um custo energético irredutível. Ao contrário da inferência, esse custo não desaparece mesmo se o treinamento for feito infinitamente devagar. Cada vez que um peso é alterado, uma pequena quantidade de energia é dissipada como calor, aproximadamente algumas vezes a energia térmica do ambiente por parâmetro. Esse custo é incorrido uma vez para todo o conjunto de parâmetros que definem o conhecimento da máquina. Não depende de quantos exemplos a máquina vê durante o treinamento, mas sim do número de pesos que ela tem que armazenar. Isso contrasta fortemente com o treinamento digital, onde a máquina deve apagar e reescrever informações para cada exemplo que vê, levando a uma enorme conta de energia que escala com o tamanho do conjunto de dados.

O pesquisador testou essas ideias simulando uma pequena rede treinada para reconhecer dígitos manuscritos, uma tarefa padrão em aprendizado de máquina. Eles observaram como a máquina se comportava conforme alternavam entre diferentes números e conforme ela ajustava seus pesos para melhorar sua precisão. Os resultados corresponderam perfeitamente às suas previsões teóricas. Quando a máquina era solicitada a realizar uma inferência rapidamente, a energia que ela consumia subia bruscamente, e sua precisão caía à medida que o trabalho realizado tornava-se comparável ao jiggling (vibração) térmico aleatório no sistema. Mas quando a máquina era permitida a mover-se lentamente, ela resolvia o problema com quase nenhuma energia, e sua precisão permanecia alta. Durante o treinamento, eles observaram que a energia gasta no ajuste dos pesos seguia um padrão preciso, confirmando que uma pequena e fixa quantidade de calor é liberada para cada parte do aprendizado que ocorre. As simulações mostraram que, uma vez que a máquina havia aprendido a tarefa, a energia necessária para manter esse conhecimento era negligenciável, mas a energia necessária para escrever esse conhecimento pela primeira vez era um custo fundamental e inevitável.

Essas descobertas sugerem que o preço termodinâmico de uma rede neural é definido por sua memória, e não por sua aritmética. O ato de computar um resultado é quase gratuito, limitado apenas pela rapidez com que a máquina é forçada a se mover. O ato de aprender, no entanto, exige pagar uma taxa pequena, mas permanente, para escrever os parâmetros na estrutura física da máquina. Esta distinção oferece uma nova perspectiva sobre o futuro da computação. Enquanto as máquinas digitais estão presas ao custo de apagar bits para cada operação, as máquinas físicas poderiam potencialmente realizar cálculos complexos com uma eficiência energética ordens de magnitude superior. A lacuna restante entre o hardware atual e esses limites teóricos não se deve a uma falha nas leis da física, mas sim às ineficiências de nossos materiais e designs atuais. O estudo fornece um roteiro claro para o que é possível, mostrando que, se pudermos construir máquinas que verdadeiramente relaxam em suas soluções, o custo energético da inteligência poderá ser reduzido ao mínimo absoluto permitido pelo universo.

Resumo Técnico: Custo Termodinâmico de Inferência e Aprendizado em Redes Neurais Físicas

Enunciado do Problema
A rápida expansão das redes neurais profundas levou a uma demanda energética crescente tanto para o treinamento quanto para a inferência. Embora as ineficiências do hardware atual estejam bem documentadas, uma questão fundamental permanece: quais são os custos energéticos intrínsecos à própria computação neural, independentemente de implementações específicas de dispositivos? Para o hardware digital, o benchmark termodinâmico padrão é o princípio de Landauer, que atribui uma dissipação mínima de $k_B T \ln 2$ por bit apagado para operações logicamente irreversíveis. No entanto, este limite aplica-se a estados portadores de informação metaestáveis ou multiestáveis e não restringe diretamente a computação analógica contínua ou sistemas físicos que operam via relaxação e equilíbrio, em vez de portas digitais clockadas. O artigo busca determinar os limites termodinâmicos de redes neurais físicas baseadas em energia, abordando especificamente quanta energia é necessária para a inferência e o aprendizado quando a rede é modelada como um sistema físico governado por um Hamiltoniano.

Metodologia
O autor propõe um arcabouço teórico que incorpora uma rede neural feedforward genérica em um Hamiltoniano físico.

Incorporação do Hamiltoniano: Uma rede feedforward padrão com camadas $x_n$ , pesos $W_n$ e vieses $b_n$ é mapeada para uma função de energia elástica:
$H(x; \theta) = \frac{\kappa}{2} \sum_{n=1}^L \|x_n - f_n(W_n x_{n-1} + b_n)\|^2$
Aqui, cada relação de camada é tratada como uma restrição de compatibilidade elástica com rigidez $\kappa$ . O "estado feedforward" corresponde ao manifold de energia zero ( $H=0$ ). Diferente das redes de Hopfield, onde os estados são atratores, esta construção cria um manifold de estado fundamental altamente degenerado, onde cada entrada seleciona um estado único e de energia zero compatível.
Dinâmica: O sistema evolui via dinâmica de Langevin superamortecida ( $\dot{x}_n = -\mu \nabla_{x_n} H + \text{ruído}$ ).
Inferência vs. Treinamento:
- Inferência: Modelada como a relaxação das variáveis ocultas e de saída para o manifold de energia zero sob uma entrada fixa.
- Treinamento: Modelado como um processo sobreconstrito onde tanto a entrada quanto a saída alvo são fixadas, criando tensão (strain/loss) que impulsiona atualizações de parâmetros via balanço de forças mecânicas (retropropagação).
Limites Termodinâmicos: O artigo deriva limites exatos para o trabalho necessário para conduzir o sistema entre estados térmicos. Utiliza a distância Wasserstein-2 ( $W_2$ ) para transporte ótimo e a relaxa para um limite de geometria da informação envolvendo a divergência de Kullback-Leibler (KL) e a distância de Fisher-Rao.
Validação Numérica: Simulações foram realizadas em uma rede física mínima (arquitetura 64 $\to$ 20 $\to$ 10) treinada no conjunto de dados de dígitos manuscritos (MNIST). As simulações testaram a dissipação de trabalho, tempos de relaxação e precisão sob variados protocolos de velocidade e temperaturas.

Principais Contribuições e Resultados

Inferência Reversível no Limite Quase-Estático:
O artigo prova que a energia livre de equilíbrio da rede incorporada é independente da entrada e de todos os parâmetros (pesos e vieses) em todas as temperaturas. Consequentemente, a mudança na energia livre ( $\Delta F$ ) para qualquer transição de entrada é exatamente zero. No limite quase-estático (operação infinitamente lenta), a inferência requer zero trabalho. Isso contrasta com sistemas digitais onde a computação frequentemente envolve a apagamento de bits; aqui, a computação é uma resposta monostável e isostática ao longo de um manifold de energia zero, evitando o custo de Landauer inteiramente.
Custo de Inferência em Velocidade Finita:
Para operação em velocidade finita, o trabalho requerido é limitado inferiormente pela distância ao quadrado de Wasserstein-2 entre os estados térmicos inicial e final, dividida pela duração do protocolo $\tau$ .
- O limite é relaxado para uma medida entrópica: $E_{inf} \ge d k_B T \Gamma_{inf} \frac{\tau_L}{\tau}$ , onde $d$ é a largura da camada mais larga, $\tau_L$ é a escala de tempo difusiva e $\Gamma_{inf}$ é um fator de fidelidade relacionado à razão sinal-ruído.
- Na velocidade máxima utilizável (onde $\tau \approx \tau_{inf}$ ), a fidelidade e o tempo de relaxação se cancelam, resultando em um custo de aproximadamente $k_B T$ por dimensão da camada mais larga.
- Crucialmente, este custo escala com a largura da rede (número de neurônios), não com o número de parâmetros (sinapses). Simulações confirmaram que o trabalho medido satura o limite de transporte dentro de 4%.
- A precisão colapsa quando o trabalho dissipado cai abaixo da escala térmica ( $k_B T$ ), confirmando que a confiabilidade é determinada pela razão entre o trabalho e a distinguibilidade térmica.
Custo Irredutível de Aprendizado:
O aprendizado é fundamentalmente diferente da inferência. Como o treinamento exige a alteração dos parâmetros (pesos e vieses), ele carrega um custo irredutível que sobrevive ao limite quase-estático.
- O custo total de treinamento consiste em um termo de apresentação de dados (que desaparece com a apresentação lenta) e um termo de recozimento de parâmetros (parameter-annealing).
- O custo de recozimento de parâmetros é de aproximadamente alguns $k_B T$ por parâmetro para todo o processo de treinamento. Este custo é incorrido uma única vez para estabelecer a configuração de parâmetros, ao contrário do digital, que paga um custo de apagamento para cada apresentação de dados.
- O custo escala com o número de parâmetros ( $N_\theta$ ), mas é independente do tamanho do conjunto de dados no limite quase-estático (ao contrário dos benchmarks digitais que escalam com $N_\theta \times \text{Tamanho do Dataset}$ ).
Comparação com Benchmarks Digitais:
O artigo compara esses limites físicos aos limites de Landauer para hardware digital irreversível (aritmética de 16 bits).
- Inferência: O custo físico ( $\sim d k_B T$ ) é ordens de magnitude menor que o benchmark de Landauer digital ( $\sim N_\theta k_B T$ ) porque as redes físicas realizam multiplicações via geometria em vez de operações discretas.
- Treinamento: O custo físico é um custo de atualização de parâmetro único, enquanto o treinamento digital incorre em custos de apagamento para cada token no conjunto de dados.
- A Tabela 1 do artigo estima que a inferência física poderia ser $\sim 10^5$ vezes mais eficiente que o benchmark de Landauer e $\sim 10^{13}$ vezes mais eficiente que as estimativas atuais de hardware, enquanto o treinamento físico oferece uma vantagem semelhante sobre o treinamento digital devido à ausência de custos de apagamento por token.

Significância e Alegações
O artigo afirma estabelecer o preço termodinâmico fundamental da computação neural, distinguindo os custos de aritmética (inferência) e memória (aprendizado).

Inferência: O custo termodinâmico é definido pela largura da rede e pela velocidade de operação, não pelo seu número de parâmetros. No limite ideal, a computação em si é gratuita; o custo surge apenas da velocidade finita necessária para separar o sinal do ruído térmico.
Aprendizado: O custo é dominado pelo aspecto de memória — escrever os parâmetros. Este custo é irredutível mesmo no limite lento, mas é amortizado sobre todo o conjunto de dados, tornando-o potencialmente muito mais barato do que o treinamento digital, que paga por exemplo.
Físico vs. Digital: O trabalho sugere que redes neurais físicas podem, teoricamente, subverter as implementações digitais não apenas através de melhorias de engenharia, mas porque evitam o custo de Landauer fundamental associado ao apagamento de informação durante a computação. O "preço termodinâmico" de uma rede neural é, portanto, associado mais à sua memória (aprendizado) do que à sua aritmética (inferência).

O autor observa que estes limites se aplicam a substratos ideais; os custos do mundo real (conversão de dados, controle, materiais não ideais) atualmente dominam. Além disso, o modelo assume uma estrutura afim-mais-ativação e ainda não aborda mecanismos de atenção ou os custos de armazenamento de pesos após o treinamento. No entanto, os resultados fornecem uma base termodinâmica rigorosa para avaliar futuras arquiteturas de computação neuromórfica e física.

Resumo Técnico: Custo Termodinâmico de Inferência e Aprendizado em Redes Neurais Físicas

Mais como este