🤖 machine learning

Generative Models on Analog Hardware with Dynamics

Este artigo introduz os Sistemas de Interação Analógica (AIS), um framework unificado que preenche a lacuna entre o hardware analógico fixo determinado pela física e a modelagem generativa flexível ao empregar parâmetros e estados ocultos variantes no tempo, alcançando uma redução de energia de 2 ordens de magnitude e pontuações de FID significativamente melhoradas em conjuntos de dados MNIST em comparação com abordagens anteriores baseadas em hardware.

Autores originais: Yu-Neng Wang, Sara Achour

Publicado 2026-06-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yu-Neng Wang, Sara Achour

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a desenhar imagens.

O Jeito Antigo (Computadores Digitais):
Atualmente, usamos computadores digitais poderosos (como as GPUs de um PC gamer ou de centros de dados) para fazer isso. Esses computadores são como contadores muito rápidos e muito precisos. Para desenhar uma imagem, eles dividem a tarefa em milhões de minúsculos passos matemáticos discretos. Eles calculam, param, calculam novamente e param de novo. Esse processo é incrivelmente preciso, mas consome uma quantidade enorme de eletricidade, como manter um ar-condicionado de alto desempenho ligado apenas para fazer um esboço.

A Nova Ideia (Hardware Analógico):
Os autores deste artigo propõem o uso de "hardware analógico" em vez disso. Pense nisso não como um contador, mas como um parquinho gigante e interconectado de balanços e molas.

Neste parquinho, a "computação" acontece naturalmente. Se você empurra um balanço, a física das cordas e correntes puxa automaticamente os balanços vizinhos.
O sistema não conta passos; ele apenas flui. Ele resolve problemas deixando as leis da física (como a gravidade ou o magnetismo) fazerem o trabalho. Isso é incrivelmente eficiente em termos de energia, como usar o vento para mover um veleiro em vez de queimar combustível.

O Grande Problema:
Existe um descompasso. Os modelos de IA modernos são como softwares flexíveis que podem aprender qualquer forma ou padrão. Mas o nosso parquinho analógico é rígido. Os balanços estão conectados de uma forma específica pela física, e eles só podem se mover em padrões específicos. É como tentar ensinar um conjunto de balanços a desenhar um círculo perfeito quando ele foi projetado apenas para balançar para frente e para trás. O "parquinho" não é naturalmente flexível o suficiente para aprender imagens complexas por conta própria.

A Solução: "Sistemas de Interação Analógica" (AIS)
Os autores criaram um novo framework chamado Sistemas de Interação Analógica (AIS) para preencher essa lacuna. Eles não tentaram forçar os balanços a agir como um computador digital; em vez disso, encontraram maneiras inteligentes de tornar o parquinho mais expressivo sem quebrar as leis da física.

Eles introduziram três "truques" principais para tornar os balanços rígidos capazes de desenhar imagens complexas:

Controles por Blocos de Tempo (O "Regente"):
Em vez de as conexões entre os balanços serem fixas para sempre, imagine um regente que muda as regras a cada poucos segundos. Durante o primeiro segundo, os balanços estão conectados firmemente; no segundo seguinte, eles estão conectados frouxamente. Ao mudar as "regras do jogo" ao longo do tempo, o sistema pode criar movimentos muito mais complexos do que se as regras permanecessem as mesmas.
Balanços Escondidos (Os "Dançarinos Fantasmas"):
Os autores adicionaram balanços "escondidos" que você não vê na imagem final, mas que estão conectados aos visíveis. Esses balanços escondidos agem como uma equipe de apoio secreta. Eles dançam ao redor, ajudando os balanços visíveis a encontrar o caminho certo para formar uma imagem, mesmo que você nunca veja os balanços escondidos no resultado final. Isso dá ao sistema muito mais "poder cerebral" sem precisar de mais partes visíveis.
Deixar de Lado o Caminho (O Objetivo de "Apenas o Destino"):
Normalmente, ao treinar uma IA, dizemos a ela exatamente como se mover em cada passo (como um GPS dando direções passo a passo). Mas, como o hardware analógico é rígido, forçá-lo a seguir um caminho específico é impossível.
Em vez disso, os autores usaram uma abordagem de GAN (Rede Adversária Generativa). Eles disseram ao sistema: "Não me importa como você chega lá, apenas certifique-se de que termine no destino correto."

O Gerador: O parquinho analógico tenta transformar ruído aleatório em uma imagem.
O Crítico: Um computador digital olha para a imagem final e diz: "Isso parece um gato" ou "Isso parece lixo".
O parquinho aprende por tentativa e erro, encontrando seu próprio caminho único e sinuoso do ruído até a imagem, em vez de ser forçado a seguir uma linha reta.

Os Resultados:
A equipe testou isso em conjuntos de dados de imagens simples (como números escritos à mão e itens de moda).

Desempenho: O sistema analógico deles produziu imagens que foram de 3 a 4 vezes melhores do que as tentativas anteriores de geração de imagens analógicas.
Eficiência: Esta é a grande vitória. Eles estimaram que o sistema deles usa cerca de 23 microjoules de energia para gerar uma imagem.
- Para colocar em perspectiva: Um computador digital padrão pode usar de 7 a 79 milijoules para a mesma tarefa.
- Isso significa que o sistema analógico é 100 vezes mais eficiente em termos de energia (duas ordens de magnitude) do que a base digital.

Em Resumo:
O artigo mostra que podemos construir um novo tipo de IA que roda em hardware físico (como osciladores e molas) em vez de apenas chips digitais. Ao aceitar as limitações do hardware e usar métodos de treinamento inteligentes (mudando as regras ao longo do tempo, adicionando ajudantes ocultos e focando apenas no resultado final), eles criaram um sistema que desenha imagens com uma fração do custo de energia dos computadores de hoje. É uma prova de que a física da natureza pode ser aproveitada para realizar tarefas complexas de IA de forma eficiente.

Resumo Técnico: Modelos Generativos em Hardware Analógico com Dinâmicas

Declaração do Problema
Modelos generativos modernos, particularmente aqueles baseados em difusão e flow matching, dependem de dinâmicas flexíveis, definidas por software e implementadas via redes neurais. Esses modelos incorrem em custos de energia substanciais devido à integração numérica iterativa em hardware digital. Por outro lado, plataformas de hardware analógico (ex: osciladores acoplados, Máquinas de Ising Analógicas) resolvem naturalmente equações diferenciais com alta eficiência energética ao alavancar leis físicas. No entanto, existe um descompasso fundamental: o hardware analógico impõe equações diferenciais fixas, determinadas pela física, com capacidade de aproximação limitada, enquanto os modelos generativos modernos exigem campos vetoriais flexíveis. Este artigo aborda o desafio de projetar uma arquitetura de modelo generativo que seja adequada para implementação em hardware analógico, superando as limitações de dinâmicas fixas, kernels de interação não padronizados e restrições de hardware, como ruído e precisão limitada.

Metodologia
Os autores introduzem os Sistemas de Interação Analógica (AIS), um framework unificado para sistemas dinâmicos implementáveis em hardware. A abordagem central envolve três pilares metodológicos principais:

Arquitetura e Dinâmica:
- Os modelos AIS são definidos por equações diferenciais ordinárias (ODEs) onde a evolução do estado é governada por interações físicas (ex: acoplamento senoidal em osciladores, não linearidades polinomiais ou sigmoides em máquinas de Ising).
- Para reduzir a lacuna de expressividade entre a física fixa e as redes neurais flexíveis, os autores propõem dois mecanismos compatíveis com hardware:
  - Parâmetros por segmentos de tempo (time-piecewise parameters): Dividir o intervalo de integração em segmentos com conjuntos de parâmetros independentes para aumentar a complexidade do campo vetorial.
  - Estados físicos ocultos (hidden physical states): Aumentar o espaço de estados visíveis com elementos físicos ocultos que interagem com os nós visíveis, expandindo o espaço de parâmetros efetivo sem exigir a observação direta da trajetória oculta.
- A arquitetura de hardware é projetada como uma grade esparsa de elementos físicos (PEs) com conexões locais e limitadas de longa distância para minimizar o overhead de roteamento. Os parâmetros são quantizados para larguras de bits baixas para reduzir a área e o consumo de potência do DAC.
Paradigma de Treinamento:
- O artigo argumenta que a supervisão de trajetória exata (ex: Optimal Transport Conditional Flow Matching), que força o modelo a seguir um caminho específico em cada passo de tempo, é inviável para AIS devido a restrições estruturais.
- Em vez disso, os autores empregam um procedimento de treinamento de Rede Adversária Generativa Wasserstein (WGAN). Este método utiliza supervisão de extremidade (endpoint supervision), penalizando apenas o estado visível terminal ( $v(T)$ ) em vez de trajetórias intermediárias. Isso permite que o sistema físico se auto-organize e descubra seu próprio caminho do ruído para os dados, otimizando sobre estados ocultos que carecem de trajetórias de referência (ground-truth).
Estratégia de Implementação de Hardware:
- A arquitetura proposta suporta pesos variantes no tempo através de três estratégias: "Salvar-e-reprogramar" (digitalização de estados intermediários), "Estacionário em peso" (weight stationary - unrolling espacial através de múltiplos núcleos) e "Estacionário em estado" (state stationary - atualizações dinâmicas de peso dentro de um único núcleo).
- A estimativa de potência é extrapolada de medições de silício existentes de uma máquina de Ising de osciladores acoplados em 28 nm, escalonando para contagem de nós, densidade de acoplamento e precisão de peso.

Principais Contribuições

Framework Unificado: Definição de Sistemas de Interação Analógica (AIS) como uma classe de sistemas dinâmicos onde a computação emerge da física do dispositivo, distinta de emulações digitais de Neural ODEs.
Mecanismos de Expressividade: Identificação e validação empírica de parâmetros por segmentos de tempo e estados físicos ocultos como métodos eficazes para estreitar a lacuna de expressividade entre sistemas limitados pela física e modelos de linha de base de redes neurais.
Inovação de Treinamento: Desenvolvimento de um procedimento de treinamento WGAN adaptado para hardware analógico, que desacopla a forma da trajetória da qualidade do alvo, permitindo a otimização de sistemas com kernels de interação fixos.
Design Consciente de Hardware: Proposta de uma arquitetura esparsa de baixa largura de bits, com leis de escala demonstrando que conectividade esparsa e quantização são necessárias para eficiência energética prática.

Resultados

Estudo de Expressividade: Em tarefas de distribuição sintética de baixa dimensão (ex: transformar distribuições Gaussianas em misturas multimodais), a combinação de supervisão de extremidade SWD (Sliced Wasserstein Distance), pesos por segmentos de tempo e estados ocultos reduziu significamente a distância de Wasserstein ( $W_2^2$ ) em comparação com as linhas de base de parâmetros fixos ou supervisão de trajetória. O KuraSHIL (Kuramoto with injection-locking) emergiu como o desempenho mais forte.
Qualidade Generativa: Nos datasets MNIST e Fashion-MNIST, o AIS baseado em osciladores alcançou pontuações de FID (Fréchet Inception Distance) de 27,6 e 80,8, respectivamente. Isso supera os melhores modelos generativos analógicos implementáveis em hardware anteriores (DTM e NLM) por um fator de 3 a 4 vezes.
Robustez: O modelo manteve alto desempenho com pesos quantizados de 4 bits (FID 27,2/81,9) e demonstrou resiliência a níveis de ruído transiente ( $\delta=0,025$ ).
Eficiência Energética: Os autores estimam um custo de energia de 23 $\mu$ J por imagem gerada para um núcleo AIS de 56×56 operando a 100 MHz. Isso representa uma melhoria de duas ordens de magnitude sobre as linhas de base digitais (estimadas em 7–79 mJ por imagem). A análise de escala indica que mover para conectividade all-to-all ou maiores larguras de bits aumentaria drasticamente o consumo de energia, validando a necessidade de designs esparsos e de baixa precisão.

Significância
O artigo afirma que as limitações impostas pelo hardware analógico — especificamente dinâmicas fixas e restrições físicas — podem ser superadas para gerar modelos generativos expressivos e energeticamente eficientes. Ao mudar o objetivo de treinamento de correspondência de trajetória para correspondência de distribuição de extremidade via WGANs, e ao alavancar estados ocultos e parâmetros variantes no tempo, os autores demonstram que o hardware analógico pode implementar nativamente a modelagem generativa baseada em equações diferenciais. Este trabalho sugere um caminho viável para IA generativa de baixa potência e baixa latência que aproveita a física intrínseca do substrato em vez de emular algoritmos digitais. Os resultados indicam que, com adaptações arquiteturais e de treinamento apropriadas, os sistemas analógicos podem alcançar qualidade generativa competitiva, oferecendo economias de energia substanciais em relação às alternativas digitais baseadas em GPUs.

Mais como este