🤖 AI

NeuronFabric: A Software Reference Architecture for On-Chip Transformer Training with Local Adam

이 논문은 로컬 Adam 업데이트를 통한 온칩 트랜스포머 학습을 위한 소프트웨어 참조 아키텍처이자 C# 프로토타입인 NeuronFabric을 소개하며, 이는 수치적 정확성을 검증하고 BF16W 구성(BF16 가중치와 FP32 옵티마이저 모멘트)이 향후 FPGA 및 ASIC 구현을 위해 Xilinx ZCU102 장치의 BRAM 용량 내에 들어맞도록 메모리 요구 사항을 줄임을 입증한다.

원저자: Evgeny Ukladchikov

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Evgeny Ukladchikov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 자립형 학습 기계

당신이 로봇에게 셰익스피어를 쓰는 법을 가르치려고 노력 중이라고 상상해 보세요. 현재 대부분의 AI 학습은 매우 느린 선생님을 둔 학생과 같습니다.

학생(칩)은 문장을 읽고 다음 단어를 추측합니다.
학생은 실수를 하고, 자신이 어떻게 틀렸는지 계산합니다.
학생은 정답지를 확인하기 위해 선생님의 사무실(호스트 컴퓨터)까지 매번 달려가야 합니다.
선생님이 학생의 노트를 업데이트하면, 학생은 다시 돌아와서 다시 시도합니다.

이 "왔다 갔다 하는 과정"은 느리고 많은 에너지를 낭비합니다.

NeuronFabric은 다른 아이디어를 제안합니다: 정답지를 자신의 주머니에 넣고 다니는 학생입니다.
이 시스템에서 칩은 단순히 추측만 하는 것이 아니라, 스스로 실수를 계산하고, 자신의 노트를 살펴보고, 자신의 메모리를 즉시 업데이트합니다. 이 모든 과정은 방을 떠나지 않고도 이루어집니다. 이 논문은 이러한 "자기 업데이트" 수학이 소프트웨어에서 올바르게 작동함을 증명하며, 이를 물리적으로 수행할 수 있는 미래형 칩을 위한 토대를 마련했습니다.

주요 개념 설명

1. "로컬 Adam" (자기 교정 메커니즘)

표준 AI에서 "옵티마이저"(실수를 바로잡는 부분)는 보통 별도의 컴퓨터에 존재합니다. NeuronFabric은 이 옵티마이저를 모든 개별 뉴런 내부에 배치합니다.

비유: 모든 학생이 자신만의 개인 화이트보드를 가지고 있는 교실을 상 imagine 해보세요. 문제를 틀렸을 때, 학생들은 선생님이 올 때까지 기다리지 않습니다. 그들은 즉시 실수를 지우고, 수정을 적고, 다음 단계로 넘어갑니다.
논문의 주장: 저자들은 C#(프로그래밍 언어)를 사용하여 이 기능을 소프트웨어 버전으로 구축했습니다. 그들은 모든 뉴리언이 로컬에서 스스로 업데이트하더라도 수학적 원리가 여전히 유효하며, 로봇이 일관된 텍스트를 쓰도록 학습된다는 것을 증명했습니다.

2. "BF16W" 트릭 (배낭 전략)

이 자기 업데이트 시스템을 작은 칩(예: FPGA)에 담기 위해서는 메모리가 가장 큰 문제입니다.

문제: 보통 로 학습을 하려면 로봇은 지식 하나당 세 개의 무거운 배낭을 메고 다녀야 합니다:
1. 지식 그 자체 (Weights/가중치).
2. 얼마나 빨리 배웠는지에 대한 기록 (Momentum/모멘텀).
3. 얼마나 변동했는지에 대한 기록 (Variance/분산).
- 만약 배낭이 너무 무거우면, 로봇은 이 모든 것을 자신의 작은 방(SRAM)에 담을 수 없습니다.
해결책 (BF16W): 저자들은 "지식" 배낭을 줄일 수 있다는 사실을 깨달았습니다. 고정밀(32비트)의 무거운 배낭을 메는 대신, 약간 덜 정밀하지만 가벼운(16비트) 배낭을 메는 것입니다.
결과: "학습 기록"은 무겁고 정밀하게 유지하되, "지식" 배낭은 크기를 절반으로 줄였습니다.
- 비유: 여행 짐을 싸는 것과 같습니다. 값비싸고 깨지기 쉬운 보석(학습 통계)은 무겁고 안전한 상자에 담습니다. 하지만 무거운 겨울 코트(가중치) 대신 얇고 가벼운 재킷으로 바꿉니다. 이렇게 하면 여행 가방에 공간을 확보하여 잠자리(활성화 버퍼)를 위한 침낭을 넣을 수 있고, 바닥에서 잠을 자지 않아도 됩니다.
논문의 주장: 이 트릭 덕und 외부 메모리에 연결하지 않고도 중간 사양의 칩(ZCU102)에 전체 학습 시스템을 담을 수 있는 충분한 공간을 확보했습니다.

3. "어휘 예산" (생각을 위한 공간)

저자들은 작은 AI 모델을 만들 때 숨겨진 함정을 발견했습니다.

함정: 메모리 예산이 매우 적은 상태에서 로봇에게 거대한 사전(어휘)을 가르치려 하면, 사전이 거의 모든 공간을 차지해 버립니다. 그러면 로봇이 실제로 생각하거나 문법을 배울 공간이 남지 않습니다.
비유: 작은 공책을 가지고 있다고 상상해 보세요. 만약 페이지의 90%를 알파벳과 사전을 적는 데 사용한다면, 이야기를 쓸 수 있는 페이지는 몇 장 남지 않을 것입니다. 그 이야기는 엉망이 될 것입니다.
해결책: 저자들은 "바이트 수준(byte-level)" 접근 방식(모든 문자를 단일 토큰으로 취급)과 작은 어휘량(256개 문자)을 사용했습니다. 이는 "사전"이 공책의 아주 작은 구석만 차지하게 하여, 로봇이 셰익스피어 문장을 쓰는 법을 배울 수 있는 충분한 공간을 남겨주었습니다.
논문의 주장: 만약 이 "어휘 세금"을 관리하지 않는다면, 수학이 아무리 훌륭하더라도 작은 모델은 의미 있는 결과물을 만들어내지 못한다는 것을 보여주었습니다.

4. "노-호스트(No-Host)" 목표 (독립적인 칩)

이 연구의 궁극적인 목표는 컴퓨터(CPU)의 지시 없이 스스로 학습하는 칩을 만드는 것입니다.

현재 상태: 이 논문은 소프트웨어 프로토타입을 설명합니다. 수학적 타당성을 입증하기 위해 표준 컴퓨터에서 실행됩니다.
미래 상태: 목표는 이와 동일한 소프트웨어 로직을 실제 물리적 칩(FPGA)에 구현하는 것입니다.
주장: 만약 이 물리적 칩이 이 작업을 수행할 수 있게 된다면, 서버로 데이터를 보내거나 컴퓨터가 가중치를 업데이트하기를 기다릴 필요 없이 새로운 데이터로 스스로를 학습시킬 수 있을 것입니다. 이는 진정한 "온-칩(on-chip)" 학습 기계가 될 것입니다.

실제로 무엇을 달성했는가?

개념 증명을 구축했습니다: C#으로 작성된 프로그램을 통해 작은 AI 모델(334,000 파라미터)을 완전히 독자적으로 학습시켰습니다.
수학적 타당성을 입증했습니다: AI가 셰익스피어처럼 보이는 텍스트(예: "HAMLET: Break him of him...")를 생성하는 것을 확인했습니다. 완벽하지는 않았지만, 일관성이 있었습니다.
메모리 계산이 작동함을 입증했습니다: 필요한 공간을 정확히 계산했으며, "가벼운 재킷(BF16W)" 트릭을 사용하면 전체 시스템이 특정 칩(ZCU102)에 여유 공간을 두고 들어간다는 것을 보여주었습니다.
하지 못한 것: 아직 물리적인 칩을 제작하지는 않았습니다. 칩의 속도나 전력 소모량을 측정하지도 않았습니다. 오직 일반 컴퓨터에서 실행되는 소프트웨어만을 측정했습니다.

요약

이 논문을 새로운 자동차 엔진의 설계도이자 시뮬레이션이라고 생각하십시오.
저자는 이렇게 말하고 있습니다: "나는 중앙 컴퓨터 없이 연료 분사와 점화 플러그가 서로 직접 대화하는 엔진을 설계했습니다. 나는 이 엔진의 컴퓨터 시뮬레이션을 만들었고, 엔진은 완벽하게 작동합니다. 또한 이 엔진이 소형차에도 들어갈 만큼 작다는 것을 계산해 두었습니다. 이제 실제 금속 엔진을 만들어 실제로 잘 돌아가는지 증명해야 합니다."

이 논문은 설계가 건실하다는 증거이며, 물리적인 칩을 만드는 것이 다음 단계입니다.

기술 요약: NeuronFabric

문제 정의

현재 공개적으로 문서화된 신경망 가속기들은 일반적으로 연산 단계와 옵티마이저 상태 업데이트 단계를 분리합니다. 추론 전용 칩(예: Groq LPU, Apple ANE, IBM North-Pole)은 칩 내부에서 그래디언트 계산이 불가능하며, 훈련용 가속기(예: Cerebras, Tenstorrent)는 일반적으로 호스트 CPU나 외부 GPU로 가중치 업데이트 작업을 오프로드합니다. 이러한 구조적 분리는 다음과 같은 심각한 병목 현상을 초리합니다:

가중치 트래픽: 추론 시에는 모든 가중치를 매 순전파(forward pass)마다 외부 메모리(HBM)로부터 로드해야 합니다.
훈련 지연 시간: 그래디언트를 계산하는 칩이 직접 업데이트를 수행하지 않습니다. 업데이트는 별도로 조율되며, 종종 데이터를 칩 외부로 이동시켜야 하는 과정을 필요로 합니다.
지속 학습의 한계: 추론 전용 칩은 외부 클러스터로부터 전체 모델을 다시 로드하는 과정(수 분에서 수 시간 소요) 없이 새로운 데이터로부터 가중치를 업데이트할 수 없습니다.

본 논문은 모든 뉴런이 자체 가중치를 보유하고 로컬에서 Adam 옵티마이저를 실행하는 실리콘 칩이 외부 트래픽을 최소화하고 진정한 온칩(on-chip) 훈련을 가능하게 할 것이라고 상정합니다. 그러나 실리콘 제작에 착수하기 전에, 이러한 "로컬 Adam" 아키텍처의 수학적 타당성과 수치적 정확성이 확립되어야 합니다.

방법론

저자들은 외부 머신러닝 프레임워크 없이 C#으로 구현된 완전한 소프트웨어 참조 아키텍처인 NeuronFabric을 개발했습니다. 이 시스템은 모든 소프트웨어 추상화가 하드웨어 블록(예: NeuronCore는 BRAM에, Forward()는 DSP48 체인에 매핑)에 직접 대응하도록 설계되었습니다.

핵심 아키텍처:

Local Adam: 각 NeuronCore는 자체 가중치 벡터 $w$ 와 편향 $b$ 를 저장합니다. 역전파(backward pass) 중에 코어는 그래디언트를 계산하고 Adam 알고리즘을 사용하여 인플레이스(in-place) 방식으로 가중치를 업데이트합니다. 코어 간의 가중치 버스는 존재하지 않습니다.
모델 구성: Shakespeare 코퍼스로 훈련된 334K 파라미터 자기회귀 트랜스포머(Pre-LN)입니다.
- 차원: 임베딩 $d=88$ , 헤드 4개, 피드포워드 $f=264$ , 레이어 4개.
- 어휘 사전(Vocabulary): 256 (바이트 수준).
- 기법: 파라미터를 절약하기 위해 가중치 타이잉(weight tying, 출력 투영이 임베딩 행렬을 재사용)을 사용합니다.

BF16W 정밀도 체계:
FPGA 훈련의 엄격한 SRAM 제약을 해결하기 위해 저자들은 BF16W(Brain Floating Point 16 Weights)를 도입했습니다.

저장: 가중치는 BF16(2 바이트)으로 저장됩니다.
연산: 가중치는 순전파/역전파 및 Adam 모멘트 업데이트를 위해 FP32로 캐스팅됩니다.
모멘트: Adam의 1차( $m$ ) 및 2차( $v$ ) 모멘트는 수치적 안정성을 보장하기 위해 FP32(4 바이트 각각)로 유지됩니다.
업데이트: Adam 스텝 이후, 업데이트된 FP32 가중치는 다시 BF16으로 반올림되어 저장소에 기록됩니다.

어휘 예산 제약(Vocabulary-Budget Constraint):
본 논문은 소규모 파라미터 모델에 대한 중요한 제약을 식별했습니다. 임베딩 테이블( $|V| \times d$ )이 파라미터 예산의 불균형적인 비중을 차지하여("어휘세"), 트랜스포머 레이어가 구조적 패턴을 학습할 수 있는 용량이 부족해진다는 점입니다. 이는 세 가지 도메인에 걸쳐 정량화되었으며, 남은 추론 용량( $P_{reason}$ )이 약 20K 미만으로 떨어지면 일관된 텍스트 생성이 실패함을 보여주었습니다.

주요 기여

소프트웨어 참조 구현: 훈련, 평가, 체크포인팅을 단일 바이너리 내에서 실행하는, 완전한 프레임워크 프리(framework-free) C# 기반 트랜스포머 구현을 제공합니다.
BF16W 검증: 가중치를 BF16으로 저장하되 모멘트는 FP32로 유지함으로써, 무시할 만한 수렴 페널티(+0.020 validation loss on Shakespeare)와 함께 SRAM 사용량을 파라미터당 12 바이트에서 10 바이트로 줄일 수 있음을 입증했습니다.
어휘 예산 정량화: 고정된 예산의 하드웨어에서 임베딩 테이블이 모델을 지배한다는 경험적 증거를 제시하며, 이는 작은 어휘 사전이나 특화된 멀티 칩 아키텍처(예: 별도의 임베딩 칩)가 필요함을 시사합니다.
FPGA 실현 가능성 목표: Xilinx ZCU102 FPGA의 4.0 MB 온칩 BRAM 내에 완전히 들어가면서, 훈련 중 DDR 액세스 없이도 활성화 버퍼를 위한 660 KB의 여유 공간을 남기는 구체적인 구성(334K BF16W 모델)을 설정했습니다.

결과

시스템은 Windows 11 머신(AMD Ryzen 9 9900X CPU, NVIDIA RTX 4090 GPU)에서 Shakespeare 코퍼스(80K 샘플)를 사용하여 검증되었습니다.

정확성: 수치적 그래디언트 체크(유한 차분법 vs 해석적 그래디언트)가 모든 컴포넌트에서 통과되어, 로컬 Adam 구현의 수학적 정확성을 확인했습니다.
수렴:
- GPU FP32 (Oracle): 검증 손실(validation loss) 1.5224 달성.
- CPU BF16W: 검증 손실 1.5426 달성.
- +0.020의 차이는 BF16 가중치 저장과 FP32 연산 사이의 정밀도 차이 때문입니다.
생성 품질: 모델은 인식 가능한 셰익스피어식 대화 구조와 등장인물 패턴을 가진 일관된 캐릭터 레벨 텍스트를 생성하여, 훈련 루프가 기능적인 솔루션으로 수렴함을 확인했습니다.
SRAM 효율성:
- FP32 Adam (12 bytes/param): 총 4.00 MB (ZCU102 BRAM을 정확히 채우며, 활성화 버퍼를 위한 공간이 전혀 남지 않음).
- BF16W Adam (10 bytes/param): 총 3.34 MB (활성화 및 제어 상태를 위해 660 KB의 여유 공간 확보).

의의 및 주장

본 논문은 연구 프로토타입으로서의 겸손한 범위를 명시합니다. NeuronFabric은 생산용 가속기가 아닌 연구용 프로토타입입니다. 본 논문에는 FPGA 측정값이나 타이밍 클로저(timing closure) 결과가 포함되어 있지 않습니다.

본 논문의 주요 의의는 다음과 같습니다:

선행 기술 확립: "로컬 Adam 업데이트" 아키텍처를 향후 FPGA/ASIC 구현을 위한 선행 기술로서 공표하는 공개적 아키텍처 디클로저 및 소프트웨어 참조 역할을 합니다.
개념 증명: 호스트 CPU의 개입 없이 온칩에서 전체적으로 훈련되는 트랜스포머에 대해, 수학적 원리가 작동하며 숫자가 정확하다는 것을 입증합니다.
향후 경로 정의: 334K BF16W Shakespeare 모델을 향후 FPGA 구현을 위한 검증 가능한 목표로 설정합니다. 만약 동일한 손실 곡선을 호스트의 개입 없이 FPGA에서 달고서 얻을 수 있다면, 온칩 트랜스포머 훈련의 실현 가능성은 단순한 소프트웨어 투영이 아닌 측정 가능한 사실이 됩니다.

저자들은 다음 즉각적인 단계로, 이 특정 훈련 루프를 ZCU102 FPGA에 구현하여 소프트웨어 결과가 하드웨어로 전이되는지 확인하고, 이를 통해 "호스트 CPU 없는" 훈련 패러다임을 검증하는 것이라고 결론지었습니다.