인공지능의 세계를 거대하고 빠른 기차역이라고 상상해 보십시오. 수년 동안 기차(우리의 AI 모델)는 점점 더 빠르고 강력해졌지만, 동시에 믿을 수 없을 정도로 무거워지고 에너지를 많이 소비하게 되었습니다. 현재 가장 인기 있는 기차 유형은 "확산 모델(diffusion model)"이라고 불립니다. 이것을 마치 혼란스럽고 노이즈가 가득한 대리석 덩어리에서 시작하여, 단계적으로 노이즈를 조금씩 깎아내어 아름다운 조각상을 만들어내는 조각가라고 생각해보십시오. 완벽한 조각상을 얻기 위해 조각가는 수천 번의 작고 세심한 정질 동작을 수행해야 합니다. 각 동작에는 시간과 에너지가 소모되며, 조각상이 커질수록 이 과정은 현재의 컴퓨터 칩들에게 매우 고된 일이 됩니다. 이 칩들은 한 번에 한 가지 일만 매우 빠르게 수행할 수 있는 디지털 계산기와 같습니다.

여기 "아날로그 컴퓨팅"이라는 아이디어가 등장합니다. 디지털 컴퓨터가 정확하고 분리된 초를 세는 디지털 시계와 같다면, 아날로그 컴퓨터는 흐르는 강물이나 흔들리는 추와 같습니다. 그들은 단계를 세지 않습니다. 대신 물리학이 그 일을 하도록 내버려 둡니다. 숫자를 계산하는 대신, 신호가 회로를 통해 흘러가 자연스럽게 안정된 상태에 도달하도록 합니다. 이는 마치 추의 진동이 결국 바닥에서 멈추는 것과 같습니다. 과학자들은 이러한 "흐르는" 기계를 사용하면 AI를 믿을 수 없을 정도로 빠르고 에너지 효율적으로 만들 수 있기를 오랫동안 희망해 왔습니다. 하지만 어려운 문제가 있었습니다. AI 알고리즘은 "디지털 시계" 방식의 사고방식에 맞춰 설계되었다는 점입니다. 이 "흐르는 강물" 형태의 하드웨어에 억지로 맞추려고 하면, 보통 AI의 두뇌를 망가뜨리거나 하드웨어를 아주 작은 부분에만 사용하게 되어, 무거운 작업은 여전히 에너지를 많이 쓰는 기존의 디지털 컴퓨터가 떠맡게 되었습니다.

이 논문은 그 간극을 메우는 영리한 새로운 방법인 **아날로그 확산 모델(Analog Diffusion Models, ADMs)**을 소개합니다. 마이크로소프트 리서치(Microsoft Research)의 연구진은 확산 모델이 노이즈를 "깎아내는" 방식이 물리적인 아날로그 시스템이 자연스럽게 안정된 상태로 "가라앉는" 방식과 매우 유사하다는 것을 발견했습니다. AI의 성격을 하드웨어에 맞추도록 강요하는 대신, 그들은 하드웨어가 자연스럽게 작업을 수행할 수 있도록 AI의 단계를 재구상했습니다. 그들은 빛과 전기를 사용하여 계산을 수행하는 특수한 광학 컴퓨터에서 이를 테스트했습니다. 실험 결과, 이 시스템은 이 아날카로그 하드웨어 상에서 이미지와 데이터 패턴을 완전히 생성해냈으며, 각 단계는 단 10~15 마이크로초밖에 걸리지 않았습니다.

연구팀은 여기서 멈추지 않았습니다. 그들은 이 아이디어가 훨씬 더 크고 실제적인 AI 모델, 즉 수십억 개의 파라미터를 가진 모델에서도 어떻게 작동할지 테스트하기 위해 "디지털 트윈(digital twin)"—그들의 하드웨어를 매우 정확하게 모사한 컴퓨터 시뮬레이션—을 사용했습니다. 이 시뮬레이션은 이 접근 방식이 게임 체인저가 될 수 있음을 시사합니다. 이 "안착(settling)" 방식을 사용하면, 표준적인 방법과 비교했을 때 고품질 이미지를 생성하는 데 필요한 단계가 최대 16배 적을 수 있습니다. 이 새로운 단계들이 각각 몇 번의 내부 "안착" 루프를 필요로 함에도 불구하고, 전체적인 작업량은 크게 줄어듭니다. 연구진은 이 기술을 미래의 소형화된 하드웨어로 확장한다면, 우리가 이미 사랑하는 알고리즘을 재발명할 필요 없이 차세대 AI를 훨씬 더 지속 가능하게 만들어 엄청난 에너지 절감을 제공할 수 있을 것이라고 제안합니다.

핵심 아이디어: 물리학이 정질을 하게 두기

이것이 왜 중요한지 이해하려면, 보통 "조각"이 어떻게 이루어지는지 살펴봅시다. 표준적인 디지털 AI에서 컴퓨터는 한 단계를 계산하고, 멈추고, 결과를 저장하고, 다음 단계를 계산하는 과정을 반복합니다. 이는 로봇이 대리석을 한 조각 깎을 때마다 멈춰서 생각한 뒤 팔을 움직여야 하는 것과 같습니다. 이는 느리고 전기를 많이 사용합니다.

연구진은 일부 고급 AI 모델에서 사용되는 "암시적(implicit)" 수학이 사실 "고정점(fixed-point)" 문제라는 것을 깨달았습니다. 쉬운 말로 설명하자면, 이는 어떤 규칙을 적용했을 때도 정확히 같은 지점에 머무르게 되는 지점을 찾는 것을 의미합니다. 이는 언덕 아래로 굴러 내려가는 공과 같습니다. 공은 바닥에 닿아 멈출 때까지 계속 움직입니다. 일단 바닥에 도달하면, "굴러 내려가라"는 규칙을 적용해도 이미 그곳에 있기 때문에 아무것도 변하지 않습니다.

이 논문의 마법은 아날로그 하드웨어가 자연스럽게 바로 이 작업을 수행한다는 점에 있습니다. 신호를 빛과 전기의 루프를 통해 보내면, 그것은 단계를 세지 않습니다. 그저 안정될 때까지 흐를 뿐입니다. 저자들은 AI 모델을 올바르게 설정한다면, 빛과 전기가 "안착하는" 과정 자체가 AI가 단계를 밟는 과정이 된다는 것을 깨달았습니다. 하드웨어는 한 번의 계산 후에 멈추라고 명령받을 필요가 없습니다. 평형 상태에 도달함으로써 스스로 답을 찾아냅니다.

실험: 빛, 거울, 그리고 마이크로 LED

이것이 작동함을 증명하기 위해, 팀은 **아날로그 광학 컴퓨터(Analog Optical Computer, AOC)**라고 불리는 물리적 기계를 구축했습니다. 빛으로 만들어진 작고 첨단 기술이 집약된 미로를 상상해 보십시오.

• 광원: 데이터 표현을 위해 작은 빛의 배열(마이크로 LED)을 사용했습니다.
• 가중치(Weights): 빛의 반사량을 조로 조절할 수 있는 공간 광 변조기(Spatial Light Modulators, SLM)라는 특수 거울을 사용했습니다. 이 거울들은 AI의 "두뇌" 역할을 하며 모델의 가중치(지식)를 보유합니다.
• 루프: 빛은 LED에서 출발하여 거울에 부딪히고, 센서에 의해 합산된 후, 그 결과가 다시 시스템으로 피드백됩니다.

이것은 피드백 루프를 생성합니다. 시스템은 빛의 패턴이 안정될 때까지 스스로를 조정합니다. 이 안정화 과정은 눈 깜짝할 사이, 구체적으로 단계당 10~15 마이크로초 만에 일어납니다.

그들은 이를 몇 가지 다른 작업에 대해 테스트했습니다:

1. 2D 도형: 기계에 하트, 별, 글자와 같은 간단한 2D 패턴을 생성하도록 요청했습니다. 하드웨어는 이를 성공적으로 수행하여 디지털 시뮬레이션과 거의 완벽하게 일치하는 도형을 만들어냈습니다.
2. 잠재 공간 생성(Latent Space Generation): 그들은 현대의 이미지 생성기(DALL-E 또는 Stable Diffusion 등)가 사용하는 방식인 "잠재 확산(latent diffusion)" 기술을 사용했습니다. 이들은 전체 반복 과정을 아날로그 하드웨어에서 실행했으며, 결과를 그림으로 바꾸는 마지막 단계에만 디지털 컴퓨터를 사용했습니다. 그들은 필기체 숫자(MNIST), 패션 아이템(FashionMNIST), 그리고 글자(EMNIST) 이미지를 성공적으로 생성했습니다.

큰 그림: 시뮬레이션과 확장성

그들이 만든 물리적 기계는 2,304개의 프로그래밍 가능한 가중치를 가진 작은 규모입니다. 이는 수십억 개의 가중치를 가질 수 있는 현대 AI 모델에 비하면 매우 작습니다. 그렇다면 이 방식이 큰 모델에서도 작동할 것이라는 것을 어떻게 알 수 있을까요?

연구진은 "디지털 트윈(Digital Twin, DT)"을 만들었습니다. 이것은 물리적 하드웨어의 정확한 동작, 노이즈, 특성을 모사하는 컴퓨터 시뮬레이션입니다. 그들은 일반적인 디지털 컴퓨터에서 표준 AI 모델을 훈련시키되, 아날로그 기계의 "노이즈"와 동작을 예상하도록 설정했습니다. 그런 다음, 이 모델들을 디지털 트윈을 통해 실행하여 실제로 빛 기반의 하드웨어에서 실행될 경우 어떻게 작동할지 확인했습니다.

그들은 다음을 테스트했습니다:

• 합성곱 신경망(Convolutional Neural Networks, U-Nets)
• 확산 트랜스포머(Diffusion Transformers, DiT)
• 최대 130억 개의 파라미터(FLUX.1 모델 등)를 가진 거대 모델

결과는 유망했습니다. 이 시뮬레이션에서 "아날로그 확산 모델(ADM)"은 표준 디지털 방식과 동일한 고품질 이미지 결과를 달성하면서도, 최대 16배 적은 확산 단계만으로 가능했습니다.

예를 들어, 나비 이미지 데이터셋의 경우 표준 방식은 좋은 그림을 얻기 위해 128단계가 필요했습니다. 반면 아날로그 방식은 유사한 품질을 얻기 위해 단 8단계만 필요했습니다. 각 단계가 몇 번의 내부 "안착" 루프를 요구함에도 불구하고, 전체 작업량은 여전히 훨씬 적었습니다.

이것이 왜 중요한가 (그리고 무엇이 아닌가)

이 논문은 새로운 길을 제시합니다. AI 알고리즘을 새로운 하드웨어의 제약에 맞추려고 애쓰는 대신(이는 종종 AI를 망가뜨립니다), 하드웨어의 자연스러운 물리학을 알고리즘의 요구 사항에 맞춘 것입니다.

이 논문이 주장하지 않는 것:

• 이것이 오늘 당장 구매할 수 있는 완성된 제품이라고 말하지 않습니다. 하드웨어는 여ยัง 프로토타입 단계입니다.
• 모든 AI의 에너지 문제를 해결했다고 주장하지 않습니다. 에너지 절감 효과는 시뮬레이션과 알려진 광학 컴퓨팅의 효율성을 바탕으로 한 "예상치"입니다.
• 모든 AI 모델이 이 방식으로 더 잘 작동할 것이라고 말하지 않습니다. 특정 테스트(AFHQ 데이터셋을 사용한 DiT 모델의 경우)에서는 기본 방식이 어려움을 겪었으나, "Implicit-CN(Crank-Nicolson)"이라는 더 발전된 버전이 이 문제를 해결했습니다.

신뢰 수준:
저자들은 매우 신중한 언어를 사용합니다. 그들은 작은 하드웨어에서 개념을 **입증(demonstrated)**했습니다. 그들은 2D 및 잠재 공간 결과가 디지털 트윈과 일치함을 보여주었습니다(showed). 또한, 수십억 파라미터 모델에 대한 확장 결과는 수학적으로 검증되었기 때문에 매우 실현 가능성이 높다고 **제안(suggest)**하지만, 해당 대규모 결과는 현재 물리적 실험이 아닌 시뮬레이션 결과입니다.

미래 로드맵

논문은 미래를 위한 로드맵을 제시합니다. 현재 하드웨어는 작은 칩 크기입니다. 저자들은 이러한 광학 시스템을 3차원으로 쌓아 올림으로써(빛을 평면이 아닌 입체적으로 경로화하기 위해), 1센티미터 부피 안에 1억 개의 가중치를 담을 수 있다고 제안합니다.

만약 이러한 확장이 이루어지고, 하드웨어가 현재의 메가헤르츠(MHz) 속도보다 훨씬 빠른 기가헤르츠(GHz) 속도로 작동할 수 있다면, 실제 계산 부분에서의 에너지 효율은 현재의 디지털 칩보다 100배 더 좋을 수 있습니다. 결과를 그림으로 바꾸는 마지막 디지털 단계를 포함하더라도, 전체 시스템은 현재 방식보다 26배 더 효율적일 수 있습니다.

요약하자면, 이 논문은 빛과 전기의 물리학에 귀를 기울이고, AI가 단계를 세는 대신 자연스럽게 "안착"하도록 함으로써, 우리가 수십 년 동안 약속해 온 엄청난 에너지 절감을 마침내 실현할 수 있다는 것을 시사합니다. 이는 "알고리즘을 기계에 맞추는 것"에서 "기계가 가장 잘하는 일을 하도록 내버려 두는 것"으로의 전환입니다.