🤖 machine learning

Physical Foundation Models: Fixed hardware implementations of large-scale neural networks

본 논문은 자연 물리 역학을 활용하여 고정된 하드웨어 구현으로 대규모 신경망을 직접 실현함으로써 트릴리온 규모 AI 모델에 대한 전례 없는 에너지 효율성, 속도 및 매개변수 밀도를 달성하는 패러다임인 '물리 기반 모델 (Physical Foundation Models, PFMs)'을 제안합니다.

원저자: Logan G Wright, Tianyu Wang, Tatsuhiro Onodera, Peter L. McMahon

게시일 2026-05-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Logan G Wright, Tianyu Wang, Tatsuhiro Onodera, Peter L. McMahon

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

'물리적 기초 모델 (Physical Foundation Models)'에 대한 논문을 간단한 언어와 창의적인 비유로 설명합니다.

핵심 아이디어: 스위스 군용 칼에서 맞춤형 도구로

스위스 군용 칼을 상상해 보세요. 그것은 매우 다재다능합니다. 자를 수도, 나사를 돌릴 수도, 병을 따고 톱질도 할 수 있습니다. 하지만 모든 일을 해야 하기 때문에 어떤 단일 작업에서도 절대적으로 최상은 아닙니다. 또한 무겁고 주머니 공간을 많이 차지합니다.

현재의 AI 모델 (ChatGPT 나 Gemini 를 구동하는 모델들) 은 바로 그 스위스 군용 칼과 같습니다. 이들은 거의 모든 일을 하도록 훈련된 방대하고 범용적인 '기초 모델 (Foundation Models)'입니다. 이를 구동하기 위해 우리는 강력한 프로그래밍 가능한 컴퓨터 칩 (GPU) 을 사용하는데, 이는 도구로 가득 찬 작업장과 같은 역할을 합니다. 이러한 칩은 유연하지만, 지시 사항과 데이터를 끊임없이 가져와 왕복해야 하기 때문에 (요리가 냉장고와 스토브 사이를 오가는 셰프처럼) 에너지 소비가 많고 느립니다.

저자들은 급진적인 새로운 아이디어를 제시합니다: 유연한 작업장을 짓는 대신, 각기 다른 AI 모델마다 맞춤형 단일 목적 기계를 만들어 보는 것은 어떨까요?

이들을 **물리적 기초 모델 (PFMs)**이라고 부릅니다.

비유: '얼어붙은' 조각상

일반적인 컴퓨터 칩을 점토 조각상으로 생각해 보세요. 당신은 이를 빚고, 재형성하고, 원하는 대로 언제든지 바꿀 수 있습니다. 이는 유연성 측면에서 훌륭하지만, 새로운 일을 할 때마다 매번 재형성하는 데 시간과 노력이 듭니다.

저자들은 점토 사용을 중단하고 얼어붙은 유리를 사용하기 시작할 것을 제안합니다.

옛 방식: 소프트웨어로 AI 모델을 훈련시킨 후, 그 모델을 시뮬레이션할 수 있는 칩을 만듭니다. 칩은 모델처럼 행동하도록 프로그래밍되어야 합니다.
새로운 방식 (PFM): 최종적으로 훈련된 AI 모델을 칩이 만들어지기 전에 실제로 하드웨어 자체에 조각합니다. AI 의 '두뇌'는 일련의 지시 사항이 아니라, 물질의 물리적 형태 그 자체입니다.

칩이 제조되면 AI 는 장치의 물리성에 '하드 와이어링'됩니다. 유리를 녹여 새로운 것을 만들지 않는 한 모델을 변경할 수 없습니다. 하지만 모델이 하드웨어 그 자체이기 때문에 '생각'하거나 데이터를 '가져와야' 할 필요가 없습니다. 입력이 흐르도록 내버려 두기만 하면, 물질의 물리성이 자연스럽게 답을 만들어냅니다.

작동 원리: 빛의 파이프

이 논문은 빛을 주요 예시로 사용합니다. 특수 유리로 만든 길고 투명한 관을 상상해 보세요.

입력: 관의 한쪽 끝으로 빛의 패턴을 비춥니다.
'두뇌': 관 내부의 유리는 매끄럽지 않습니다. 특정 AI 모델과 정확히 일치하도록 조각된 미세한 요철과 곡선 (나노 스케일 구조) 이 있습니다.
과정: 빛이 관을 통과하면서 그 미세한 요철에 따라 반사되고, 휘어지고, 스스로 간섭합니다. 이는 컴퓨터가 숫자를 계산하는 것이 아니라, 빛이 빛이 자연스럽게 하는 일을 하는 것입니다.
출력: 빛이 다른 쪽 끝에 도달하면 패턴이 변합니다. 그 새로운 패턴이 바로 당신의 질문에 대한 답입니다.

빛이 광속으로 이동하고 '계산'이 빛이 이동하는 것만으로 발생하기 때문에, 이 과정은 디지털 컴퓨터에 비해 압도적으로 빠르고 거의 전기를 사용하지 않습니다.

왜 이를 수행하는가? (세 가지 큰 승리)

저자들은 우리가 이러한 '얼어붙은' 기계를 만들 수 있다면 다음과 같은 세 가지 막대한 이점을 얻을 것이라고 주장합니다.

에너지 효율성: 디지털 컴퓨터는 책을 읽고 메모를 작성하기 위해 도서관을 오가며 뛰어다니는 사람과 같습니다. 반면 PFM 은 책이 당신 앞의 벽에 직접 인쇄되어 있는 것과 같습니다. 당신은 그저 그것을 보면 됩니다. 이는 엄청난 양의 에너지를 절약합니다.
속도: '연산'이 물질 속을 통과하는 빛이나 전자의 물리적 이동일 뿐이므로, 프로세서의 속도가 아닌 신호의 속도에만 제한되어 거의 즉시 발생합니다.
크기와 규모: 디지털 컴퓨터는 데이터를 저장하고 이동시키기 위해 많은 공간이 필요합니다. 반면 PFMs 는 데이터가 물질 자체의 3 차원 구조에 저장되므로, 막대한 양의 '두뇌 능력'을 아주 작은 공간에 담을 수 있습니다.

'영원한' 문제

이 논문이 솔직하게 인정하는 함정이 하나 있습니다. 이러한 기계가 하드웨어에 '얼어붙어' 있기 때문에, 새로운 것을 배울 수 없습니다.

어제 일어난 새로운 사건에 대해 AI 를 업데이트하고 싶다면, 소프트웨어 업데이트를 다운로드할 수 없습니다. 낡은 유리관을 버리고 새로운 설계가 조각된 완전히 새로운 관을 제조해야 합니다.

저자들은 이것이 실제로 괜찮다고 제안합니다.

기초 모델 (GPT-5 나 Llama 4 등) 은 일 년에 한 번 정도만 업데이트됩니다.
우리는 새로운 전화기 모델을 출시하듯이, 이러한 'AI 관'을 연간 일정으로 쏟아내는 공장을 건설할 수 있습니다.
그들이 구축된 특정 작업에 대해서는 오늘날 우리가 가진 어떤 것보다 훨씬 우월할 것입니다.

미래 비전

이 논문은 다음과 같은 미래를 상상합니다.

데이터 센터: 전 세계의 AI 를 실행하기 위해 이러한 거대한 고정 하드웨어 관을 사용하여 현재 전력의 일부만 사용합니다.
에지 장치 (Edge Devices): (휴대전화, 로봇, 자동차 등) 인터넷에 연결할 필요 없이 매우 똑똑해질 수 있도록, 그들 내부에 자체적으로 작은 맞춤형 AI 관이 내장될 수 있습니다.
거대 모델: 현재 디지털 컴퓨터에서는 전력과 메모리 요구 사항이 너무 많아 실행이 불가능한 수조 개 또는 수경개의 파라미터 (연결) 를 가진 AI 모델을 구축할 수 있을지도 모릅니다.

요약

이 논문은 프로그래밍 가능한 컴퓨터(유연하지만 비효율적) 에서 물리적 기계(경직되지만 놀라울 정도로 효율적) 로의 전환을 제안합니다. 유리나 실리콘과 같은 물질의 물리성에 AI 를 직접 조각함으로써, 오늘날 우리가 가진 어떤 것보다 더 빠르고 작으며 에너지를 적게 사용하는 '물리적 기초 모델'을 만들 수 있습니다. 이는 현재 우리가 상상하기조차 힘든 규모의 AI 시스템을 구축할 수 있는 가능성을 열어줄 것입니다.

와이트 (Wright) 외의 논문 "물리적 기초 모델: 대규모 신경망의 고정 하드웨어 구현"에 대한 상세 기술 요약입니다.

1. 문제 제기

이 논문은 대규모 AI 기초 모델 (예: GPT-4, Gemini, Llama 4) 의 학습 및 배포와 관련된 급증하는 계산, 에너지, 자본 비용을 다룹니다.

에너지 및 비용 위기: 현재 데이터센터 AI 작업 부하는 약 44GW 의 전력을 소비하며, 2030 년까지 150GW 를 초과할 것으로 예상되며, 자본 비용은 5 조 달러를 초과할 것입니다.
폰 노이만 병목 현상: 전통적인 디지털 아키텍처는 메모리와 처리 장치를 분리하여 데이터 이동 (가중치 및 활성화 값 이동) 으로 인해 막대한 에너지 및 지연 시간 패널티를 초래합니다.
확장성 한계: 현재 디지털 하드웨어는 $10^{12}$ 개 파라미터보다 훨씬 큰 모델을 지원하기 어렵습니다. 가상의 $10^{18}$ 개 파라미터 모델은 엑사바이트 규모의 메모리가 필요하며, 현재 메모리 대역폭으로는 읽는 데 수십 년이 걸려 분리된 메모리 아키텍처에서의 추론은 비현실적입니다.
에지 제약: 높은 에너지 요구 사항은 로봇, 센서, 모바일 등 전력 제약이 있는 에지 장치에 대규모 기초 모델을 배포하는 것을 방해합니다.

2. 방법론 및 핵심 개념

저자들은 AI 하드웨어 구현에 대한 급진적인 재고를 제안하는 **물리적 기초 모델 (PFMs)**을 제시합니다.

정의: PFMs 는 제조 시 신경망 아키텍처와 파라미터가 나노 구조 유리, 반도체와 같은 물리적 기판에 직접 "하드 와이어링"되는 고정된 단일 목적 하드웨어 장치입니다.
주요 차이점: 프로그래밍 가능한 디지털 칩 (GPU) 이나 고정 가중치 디지털 ASIC (Taalas 의 HC1 등) 과 달리, PFMs 는 디지털 논리를 통해 수학적 연산을 시뮬레이션하는 대신 하드웨어의 자연스러운 물리적 동역학 (예: 빛의 전파, 전자 흐름) 을 사용하여 계산을 수행합니다.
철학: 이 접근법은 페인만의 "아래쪽의 풍부한 공간" (나노 스케일 제조) 과 라이서슨의 "위쪽의 풍부한 공간" (추상화 계층 제거) 을 결합합니다. 하드웨어 자체를 소프트웨어로 간주하여 추론 작업을 위해 물리 시스템을 직접 최적화합니다.
트레이드오프: PFMs 는 제조 후 가중치를 업데이트할 수 있는 프로그래밍 가능성 (programmability) 을 희생하여 파라미터 밀도, 에너지 효율성, 속도의 막대한 개선을 달성합니다. 이들은 새로운 기초 모델의 출시 주기와 일치하는 약 1 년 주기로 제조되도록 설계되었습니다.

3. 주요 기여

개념적 프레임워크: 기초 모델 (학습 후 정적임) 에는 고정 하드웨어가 최적의 해결책임을 주장하는 PFM 패러다임을 소개합니다.
대략적 계산: 저자들은 특정 광학 PFM(3D 나노 구조 유리 매체) 에 대한 확장 분석을 수행하고 최첨단 디지털 GPU (예: NVIDIA B200 급) 와 비교합니다.
플랫폼 탐색: 광학 외에도 나노 전자 (크로스바 어레이, 역설계 저항성 와이어, 반도체) 및 역학과 같은 잠재적 구현에 대한 논의가 포함됩니다.
연구 로드맵: 대규모 물리적 역설계, 고정 하드웨어를 위한 학습 전략, 제조 변동성 처리 등 PFMs 를 실현하기 위해 필요한 핵심 과제를 식별합니다.

4. 결과 및 성능 추정

파라미터를 굴절률 변화로 인코딩하는 3D 광학 PFM (나노 구조 유리) 예시를 사용하여, 저자들은 $10^{12}$ 개에서 $10^{18}$ 개 파라미터 범위의 모델에 대한 성능을 추정합니다:

지표	광학 PFM ( $10^{12}$ 개 파라미터)	광학 PFM ( $10^{18}$ 개 파라미터)	디지털 GPU 기준 ( $10^{12}$ 개 파라미터)
부피	$\sim (1 \text{ mm})^2 \times 1 \text{ m}$	$\sim (10 \text{ cm})^2 \times 100 \text{ m}$	$\sim (17 \text{ cm})^3$
추론당 에너지	$\sim 100 \, \mu\text{J}$	$\sim 10 \text{ mJ}$	$\sim 1 \text{ J}$
추론당 시간	$\sim 100 \text{ ns}$	$\sim 10 \, \mu\text{s}$	$\sim 25 \text{ ms}$

에너지 효율성: PFMs 는 디지털 하드웨어에 비해 추론당 에너지를 $10^4$ 배에서 $10^8$ 배 낮게 제공합니다. 심지어 $10^{18}$ 개 파라미터 PFM 도 $10^{12}$ 개 파라미터 디지털 시스템보다 약 100 배 적은 에너지를 소비합니다.
속도: 추론 지연 시간은 $10^3$ 배에서 $10^5$ 배 감소합니다 (밀리초 대비 나노초/마이크로초).
확장성: 파라미터에 비례하여 에너지가 선형적으로 증가하는 ( $E \propto P$ ) 디지털 시스템과 달리, 광학 PFM 의 에너지는 빛 전파의 3 차원 부피 특성과 파라미터 수를 증가시키지 않고 입력/출력 차원을 늘릴 수 있는 능력으로 인해 $E \propto P^{1/3}$ 로 확장됩니다.
실현 가능성: 계산에 따르면 $10^{18}$ 개 파라미터 모델은 관리 가능한 부피 (예: 100m 길이의 관) 에 물리적으로 들어갈 수 있으며 휴대용 에너지원으로 구동될 수 있어 에지 장치에서 "조 단위 파라미터" AI 를 가능하게 합니다.

5. 중요성 및 미래 전망

초대형 모델 가능화: PFMs 는 $10^{15}$ 개에서 $10^{21}$ 개 파라미터를 가진 AI 시스템을 구축할 수 있는 타당한 경로를 제공하며, 현재 디지털 하드웨어로는 불가능한 인간 뇌 ( $10^{14}$ 개 시냅스) 의 복잡성에 도달하거나 이를 초과할 수 있습니다.
에지 AI 혁명: 전력 소비를 극적으로 줄임으로써 PFMs 는 로봇, 자동차, 센서에서 기초 모델을 로컬에서 실행할 수 있게 하여 클라우드 추론과 관련된 지연 시간 및 개인정보 보호 문제를 제거할 수 있습니다.
새로운 연구 의제: 이 논문은 물리적 역설계라는 거대한 연구 과제를 제시합니다. 이는 추상적인 가중치가 아닌 하드웨어의 물리적 파라미터 (예: 굴절률 패턴) 에 직접 신경망을 학습시키는 것을 포함합니다.
식별된 과제:
- 학습: 디지털로 시뮬레이션하는 것 (너무 비쌈) 없이 $10^{18}$ 개 파라미터 물리 시스템을 어떻게 학습할 것인가? 제안된 해결책으로는 "네트워크의 네트워크"(PFM 의 혼합) 와 디지털 "관리자" 모델을 사용하는 것입니다.
- 제조 변동성: 제조된 모든 PFM 은 약간의 물리적 차이가 있으므로, 시스템은 결함에 강건하거나 제조 후 조정 (예: 작은 디지털 보상기) 을 사용해야 합니다.
- 비선형성: 광학 커 효과와 같은 물리적 매체를 통해 필요한 비선형 활성화 함수를 구현할 때 치명적인 신호 열화 없이 수행하는 것.
- I/O 병목 현상: 디지털 입력을 아날로그 물리 신호로 변환하고 다시 변환하는 속도는 여전히 잠재적인 병목 현상입니다.

결론:
이 논문은 기초 모델의 시대가 범용 프로그래밍 가능한 하드웨어에서 특수화된 고정 물리 하드웨어로의 전환을 필요로 한다고 주장합니다. 재료 (광학, 전자) 의 자연스러운 물리학을 활용하여 계산을 수행함으로써 PFMs 는 디지털 컴퓨팅의 근본적인 한계를 극복하고, 더 빠르고 에너지 효율적이며 이전에 불가능하다고 생각되었던 규모를 달성할 수 있는 새로운 세대의 AI 를 가능하게 할 수 있습니다.