⚡ electrical engineering

Lyapunov-Guided Training for Hardware-Safe Neural Networks Under Fixed-Point Arithmetic

본 논문은 고정점 오버플로로 인한 불안정성을 억제하기 위해 단조 상태 투영을 강제하는 리아푸노프 유도 학습 프레임워크를 제안하며, 이를 통해 자원이 제한된 하드웨어에서 신뢰할 수 있는 저정밀도 신경망 학습 및 추론을 가능하게 한다.

원저자: Anis Hamadouche, Amir Hussain

게시일 2026-07-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Anis Hamadouche, Amir Hussain

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 손글씨 숫자(예: "1", "2", "3")를 인식하는 법을 가르치려 한다고 상상해 보세요. 이 로봇을 스마트워치나 센서 같은 소형 배터리 구동 기기에서 실행할 수 있을 만큼 빠르고 저렴하게 만들기 위해, 당신은 로봇의 두뇌를 축소하고 싶습니다. 이를 위해 수학적 정밀도를 줄여, 복잡한 고정밀 숫자(과학자의 계산기 같은)에서 단순한 저정밀 숫자(아이의 주판 같은)로 전환합니다. 이것을 **양자화(quantization)**라고 부릅니다.

하지만 이 논문의 연구자들은 이 과정에서 숨겨진 함정을 발견했습니다.

함정: "되돌아오는(Wrap-Around)" 사고

대부분의 사람들은 숫자가 로봇의 작은 메모리 용량을 초과하면, 단순히 최대 한계치에서 "잘려 나갈(clipped)" 것이라고 가정합니다. (마치 속도계가 120mph에 멈춰버리는 것처럼 말이죠.)

하지만 많은 실제 컴퓨터 칩에서는 수학이 다르게 작동합니다. 이들은 **2의 보수 래핑(two's-complement wrapping)**이라는 방식을 사용합니다. 시계 바늘을 상상해 보세요. 바늘을 12시 너머로 계속 돌리면 멈추는 것이 아니라, 다시 1로 돌아와 처음부터 시작합니다.

이 로봇의 두뇌에서는, 숫자가 너무 커져서 양수가 되면 갑자기 거대한 음수로 변해버립니다.
반대로 숫자가 너무 작아져서 음수가 되면, 갑자기 거대한 양수로 변해버립니다.

논문에서는 이를 **"오버플로 래핑(overflow wrapping)"**이라고 부릅니다. 이는 마치 롤러코스터가 트랙 끝에서 속도를 줄이는 대신, 갑자기 뒤집혀서 반대 방향으로 튀어나가는 것과 같습니다. 이는 로봇을 완전히 혼란에 빠뜨려, 학습한 내용을 잊어버리고 무작위 추측 수준의 성능을 내게 만듭니다.

해결책: "리야푸노프 안전망(Lyapunov Safety Net)"

저자들인 아니스 하마두슈(Anis Hamadouche)와 아미르 후세인(Amir Hussain)은 로봇이 트랙 밖으로 떨어지지 않도록 하는 새로운 방법을 제안합니다. 그들은 **리야푸노프 안정성(Lyapunov stability)**이라는 수학적 개념을 사용합니다.

로봇의 두뇌를 언덕을 굴러 내려가는 공(신경망의 레이어들)이라고 생각해 보세요.

문제점: 안전망이 없다면, 공은 점점 더 빠르게 굴러가 에너지를 얻게 되고, 결국 절벽 아래로 날아가 버릴 것입니다(오버플로 래핑).
해결책: 그들은 **"단조 리야푸노프 투영(Monotone Lyapunov Projection)"**을 도입합니다. 이것은 공의 속도를 매 단계마다 확인하는 부드럽고 보이지 않는 손을 상상하게 합니다. 만약 공이 너무 빠르게 움직이거나 에너지가 너무 많아지면, 이 손은 공을 부드럽게 밀어 안전한 속도로 되돌려 놓으며, 공이 처음 시작했을 때보다 더 많은 에너지를 얻지 않도록 보장합니다.

이 "손"은 단순히 숫자를 자르는 것이 아닙니다. 이 손은 로봇의 생각(은닉 상태)의 "에너지"를 능동적으로 모니터링하고, 그것들이 안전하고 유계된 원 안에 머물도록 강제합니다. 만약 로봇이 범위를 벗어나려고 하면, 수학적 원리가 즉시 다시 안으로 밀어 넣습니다.

실험: MNIST에서의 경주

연구팀은 이 방법을 MNIST(수천 개의 손글씨 숫자 데이터셋)라는 유명한 데이터셋을 통해 테스트했습니다. 그들은 현대적이고 컴팩트한 형태의 AI인 트랜스포머(Transformer)(챗봇의 기반 기술이지만 규모를 축소한 형태)를 사용했습니다.

그들은 네 가지 시나리오를 비교했습니다:

표준 학습(Standard Training): 로봇이 정상적으로 학습하지만, 숫자가 너무 커지면 충돌합니다.
사후 양자화(Post-Training Quantization): 학습이 끝난 후에 숫자를 축소했습니다. 고정밀도에서는 잘 작동했지만, 저정밀도에서는 처참하게 실패했습니다.
안전 장치가 없는 양자화 인식 학습(QAT without Safety): 처음부터 로봇에게 작은 숫자를 다루는 법을 가르쳤습니다. 재앙이었습니다. 16비트 정밀도(충분히 높아야 하는 수준임에도 불구하고)에서도 로봇의 두뇌는 계속해서 래핑 현상이 발생했고, 아무것도 배우지 못한 채 무작위 확률인 10% 근처의 점수를 기록했습니다.
새로운 방법 (QAT + 리야푸노프 안전망): "보이지 않는 손" 안전망과 함께 로봇을 가르쳤습니다.

결과

결과는 극적이었습니다:

안전망이 없을 때: 로봇은 완전히 실패했습니다. 8비트 정밀도에서 정확도는 **10.88%**에 불과했으며, 내부 사고 중 13% 이상이 "되돌아오는(wrap-around)" 사고로 인해 오염되었습니다.
안전망이 있을 때: 로봇은 완벽하게 학습했습니다. 12비트 정밀도에서 **86.55%**의 정확도를 달 achievement(전체 정밀도 버전과 매우 유사함). 가장 중요한 점은, "오버플로" 사고가 거의 **제로(0.009%)**에 가깝게 떨어졌다는 것입니다.

핵심 요점

이 논문은 단순히 로봇에게 더 많은 비트(더 높은 정밀도)를 주는 것만으로는 충분하지 않다는 것을 증명합니다. 만약 내부 로직이 불안정하다면 말이죠. 실제 하드웨어 칩의 "되돌아오는" 수학적 특성은 로봇의 학습 과정을 파괴할 수 있습니다.

**리야푸노프 유도 학습(Lyapunov-guided training)**을 사용함으로써, 그들은 "하드웨어 친화적인" 방법을 만들어냈습니다. 이것은 운전자에게 단순히 조향법을 가르치는 것이 아니라, 자신이 실제로 달리고 있는 도로의 속도 제한을 준수하는 법을 가르쳐서 결코 통제력을 잃고 미끄러지지 않도록 하는 것과 같습니다. 이를 통해 우리는 자신의 메모리 한계에 부딪혔을 때 멈춰버리지 않는, 더 작고 빠르며 저렴한 AI 기기를 구축할 수 있습니다.

기술 요약: 고정 소수점 산술 체계 하의 하드웨어 안전 신경망을 위한 리아푸노프 유도 학습 (Lyapunov-Guided Training)

1. 문제 정의

자원 제약이 심한 하드웨어(예: FPGA, 임베디드 프로세서)에 심층 신경망을 배포하는 것은 메모리 점유, 대역폭 및 에너지 소비를 줄이기 위해 저정밀도 산술 연산에 크게 의존합니다. 표준 양자화 연구는 주로 반올림 오차, 클리핑(clipping) 및 캘리브레이션에 집중하지만, 실제 고정 소수점 하드웨어에 내재된 결정적인 실패 모드인 **2의 보수 오버플로 래핑(two's-complement overflow wrapping)**은 간과하는 경우가 많습니다.

최댓값 또는 최솟값으로 잘리는 포화 산술(saturating arithmetic)과 달리, 래핑 산술은 값이 유한한 정수 범위를 벗어나 다시 처음으로 돌아가는 "랩 어라운드(wrap around)" 현상을 일으킵니다. 결과적으로, 큰 양수가 큰 음수가 되거나 그 반대의 상황이 발생할 수 있습니다. ResNet이나 Transformer와 같은 심층 구조에서, 이는 깊이 인덱스 기반의 동적 시스템(depth-indexed dynamical systems)으로 볼 수 있는데, 이러한 래핑은 은닉 활성화(hidden activations)에 불연속적인 부호 및 크기 오차를 도입합니다. 이러한 오차는 상태 궤적(state trajectory)을 손상시키며, 비록 명목상의 비트 폭(bit-width)이 충분하더라도 불안정한 수치 오차 전파와 치명적인 정확도 저하를 초래합니다. 일반적으로 이상적인 클리핑을 가정하거나 래핑 역학을 무시하는 기존의 양자화 인식 학습(QAT) 방식은 이러한 불안정성을 방지하지 못하며, 하드웨어 스타일의 래핑 환경에서는 정확도가 무작위 수준(near-chance accuracy)으로 급락하게 됩니다.

2. 방법론

본 논문은 래핑 산술 하에서 동작하는 신경망의 내부 상태 궤적을 명시적으로 제어하기 위해 설계된 **리아푸노프 안정화 양자화 프레임워크(Lyapunov-stabilised quantisation framework)**를 제안합니다. 핵심 방법론은 네트워크를 이산 시간 동적 시스템(discrete-time dynamical system)으로 취급하고, 층별 에너지 제약을 통해 안정성을 강제하는 것입니다.

시스템 모델: 네트워크는 비선형 변환에 의해 업데이트되는 일련의 은닉 상태 $h_\ell$ 로 모델링됩니다. 저자들은 다음과 같이 정규화된 층별 리아푸노프 에너지 함수를 정의합니다:
$V(h_\ell) = \frac{1}{TD} \|h_\ell\|_F^2$
여기서 $T$ 는 토큰의 수, $D$ 는 임베딩 차원입니다. 이 에너지 지표는 은닉 상태의 평균 크기를 나타냅니다.
단조 리아푸노프 투영(Monotone Lyapunov Projection): 오버플로가 발생하기 쉬운 영역으로 은닉 상태가 진입하는 것을 방지하기 위해, 저자들은 하드한 투영 메커니즘을 도입합니다. 제약이 없는 업데이트된 상태 $z_{\ell+1}$ 에 대해, 투영된 상태 $h_{\ell+1}$ 은 다음을 만족하도록 제약됩니다:
$V(h_{\ell+1}) \leq \min\{V(h_\ell), V_{\max}\}$
여기서 $V_{\max}$ 는 초기 훈련 세트 토큰 에너지의 99 백분위수에서 유도된 안전 에너지 임계값이며, 안전 마진( $\gamma = 1.20$ )에 의해 스케일링됩니다. 이 투영은 상태 벡터의 에너지가 목표치를 초과할 경우 이를 스케일링하여, 에너지가 깊이에 따라 유계(bounded)를 유지하고 감소하도록 보장합니다.
하드웨어 인식 순전파(Hardware-Aware Forward Pass): 래핑을 고려한 연산 순서가 매우 중요합니다. 제안된 순전파 과정은 다음과 같이 실행됩니다:
1. 제약이 없는 전체 정밀도(full-precision) 업데이트를 계산합니다.
2. 래핑 산술(하드웨어 쓰기 동작 시뮬레이션)을 적용하여 고정 소수점 양자화를 수행합니다.
3. 리아푸노프 투영을 적용하여 래핑된 상태를 조정합니다.
4. 최종 양자화 단계 이후 "복구 투영(repair projection)"을 수행하여 고정 소수점 쓰기 작업이 리아푸노프 제약을 위반하지 않도록 합니다.
학습 목적 함수: 양자화 인식 학습(QAT)에서, 표준 교차 엔트로피 손실은 위에서 정의된 층별 투영 역학을 준수하면서 최소화됩니다. 부드러운 정규화(soft regularisation)와 달리, 이 접근 방식은 상태 궤적에 대한 하드 제약을 강제합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 합니다:

문제 공식화: 고정 소수점 신경망 양자화에서의 오버플로 래핑 문제를 단순한 양자화 오차 분석이 아닌, 은닉 상태의 안정성 문제로 프레임화했습니다.
메커니즘 설계: 은닉 상태를 단순히 양자화 노이즈에 국한하지 않고, 단조적인 리아푸노프 투영 메커니즘을 도입하여 은닉 상태의 에너지가 유계되고 감소하도록 강제합니다.
하드웨어 인식: 2의 보수 래핑과 고정 소수점 쓰기 동작을 명시적으로 모델링하여, 하드웨어 스타일의 산술 체계에 특화된 안정화 메커니즘 역할을 수행합니다.
실증적 증거: 활성화 오버플로가 비트 폭 감소 자체보다 저정밀도 네트워크의 지배적인 실패 모드임을 입증하였으며, 안정성 제어가 학습 성능을 회복시킬 수 있음을 보여주었습니다.

4. 실험 결과

제안된 방법은 MNIST 데이터셋을 대상으로, 부호 있는 고정 소수점 산술(비트 폭 4~16비트)을 사용하는 컴팩트 패치 기반 트랜스포머(4개 층, 16개 토큰, 64차원 임베딩)에서 평가되었습니다.

제약 없는 모델의 실패: 래핑 산술을 사용하는 표준 QAT는 비트 정밀도가 증가함에도 불구하고 6~16비트 전 구간에서 무작위 수준의 정확도(약 10–11%)로 급락했습니다. 제약 없는 모델의 활성화 오버플로율은 11%를 초과했습니다(8비트에서 약 13.9%로 정점).
안정화 성공: 제안된 리아푸노프 투영 QAT는 안정적인 학습을 복원했습니다. 12비트에서 투영된 모델은 **86.55% ± 0.65%**의 정확도를 달s성한 반면, 제약 없는 래핑 QAT는 약 9.87%에 그쳤습니다.
오버플로 억제: 투영은 12비트에서 활성화 오버플로를 **0.009%**까지 억제하는 데 성공했습니다(제약 없는 경우의 13.6% 대비).
에너지 제어: 최대 정규화 은닉 상태 에너지는 전체 정밀도 제약 없는 훈련 시의 6.26에서 투영 모델의 0.36으로 감소하여, 안전한 에너지 집합이 강제되었음을 확인했습니다.
PTQ 성능: 사후 학습 양자화(PTQ) 또한 큰 혜택을 입었습니다. 6비트에서 투영을 적용했을 때 정확도가 64.65%에서 80.83%로 향상되었습니다.

5. 의의 및 주장

본 논문은 견고한 저정밀도 학습을 위해서는 단순한 양자화 인식 최적화 이상의 것, 즉 내부 상태 궤적에 대한 명시적 제어가 필요하다고 주장합니다. 저자들의 주장은 다음과 같습니다:

안정성의 중요성: 심층 네트워크에서의 불안정한 은닉 상태 성장은 래핑 산술 하에서 직접적인 오버플로 유발 상태 부식으로 이어지며, 표준 양자화 방식으로는 이를 해결할 수 없습니다.
안전 장치로서의 리아푸노프 제어: 리아푸노프 기반 상태 제어는 효과적인 하드웨어 인식 안전 메커니즘으로 작용합니다. 은닉 상태 에너지를 "안전 집합" 내에 유지함으로써, 네트워크는 래핑으로 인한 불연속적인 부호 변화를 피할 수 있습니다.
트레이드오프: 본 방법은 유의미한 안정성-정확도 트레이드오프를 제공합니다. 전체 정밀도 제약 없는 훈련은 가장 높은 정확도(89.15%)를 보이지만 위험한 에너지 성장을 허용합니다. 리아푸노프 제약 모델은 최대 은닉 상태 에너지를 17.4배 감소시키는 대신 약간의 정확도 손실(전체 정밀도 기준 약 2.2 퍼센트 포인트)을 감수하며, 이를 통해 제약 없는 방법이 완전히 실패하는 저비트(예: 12비트)에서도 신뢰할 수 있는 학습을 가능하게 합니다.

저자들은 저정밀도 추론 및 훈련을 단순한 수치 근사 문제가 아닌 동적 안정성 문제로 바라보는 것이 고정 소수점 하드웨어에 신뢰할 수 있는 신경망을 배포하는 데 필수적이라고 결론짓습니다. 향후 연구 과제로 더 큰 데이터셋, 더 깊은 아키텍처, 그리고 하드웨어 인 더 루프(hardware-in-the-loop) 구현을 제시하였습니다.