Automated Numerical Stability Analysis of Deep Learning Operators

거대한, 정교한 성을 약간 흔들거리는 작은 레고 브릭들로 짓고 있다고 상상해 보세요. 컴퓨터 과학의 세계에서 이 브릭들은 숫자이며, 성은 "딥러닝" 모델—고양이를 인식하거나, 시를 쓰거나, 자동차를 운전하는 데 학습된 초지능적인 두뇌—입니다. 오랫동안 과학자들은 이 성을 크고 튼튼한 두 배 크기의 브릭(이를 "배정밀도(double precision)"라고 부릅니다)을 사용하여 만들었습니다. 이 브릭들은 매우 정확하지만 무겁고 느리게 움직입니다. 더 빠르게 만들고 에너지를 절약하기 위해, 엔지니어들은 더 작고 가벼운 브릭(이를 "저정밀도(reduced precision)"라고 부릅니다)을 사용하기 시작했습니다. 이것은 무거운 돌을 가벼운 폼(foam) 소재로 바꾸는 것과 같습니다. 성은 훨씬 더 빨리 쌓아 올릴 수 있지만, 문제가 하나 있습니다. 폼 브릭은 약간 말랑말랑하다는 점입니다. 만약 이 브릭들을 잘못 쌓거나, 거대한 폼 블록 위에 아주 작은 조약돌을 올려놓으려고 한다면, 전체 구조가 흔들리거나, 무너지거나, 혹은 겉보기에는 괜찮아 보이지만 실제로는 약간 "오염된" 결과를 낼 수도 있습니다.

이것이 바로 "수치적 불안정성(numerical instability)"의 문제입니다. 컴퓨터가 고장 난 것이 아니라, 숫자를 다루는 방식이 적은 자릿수를 사용하려 할 때 수학이 흐릿해지는 것입니다. 때때로 컴퓨터는 아주 작은 차이를 찾기 위해 두 개의 거대한 거의 동일한 숫자를 빼는데, 이 과정에서 중요한 정보를 모두 실수로 버려버리고 노이즈만 남기기도 합니다. 오랫동안, 이 거대하고 복잡한 신경망 속에서 정확히 어디에서 이런 흔들림이 발생하는지 알아내는 것은, 성이 건설되는 동안 어둠 속에서 성의 단 하나의 헐거운 브릭을 찾는 것과 같았습니다. 성이 흔들리고 있다는 것은 알지만, 어떤 브릭이 원인인지 볼 수는 없는 상태 말이죠.

여기에 새로운 도구인 noisefloat가 등장했습니다. 소르본 대학교(Sorbonne Université)의 연구진이 만든 이 도구는 여러분의 레고 성을 위한 마법 같은 "스트레스 테스트용 고글"이라고 생각하면 됩니다. 단순히 성을 한 번 짓는 대신, 이 도구는 브릭에 아주 작은 무작위적인 자극을 주어 그 반응을 살피며, 똑같은 버전의 성 세 개를 동시에 만듭니다. 만약 세 버전이 거의 동일하게 보인다면, 그 브릭들은 안정적인 것입니다. 하지만 만약 한 버전이 무너지거나 다른 버전들과 완전히 다르게 보인다면, 이 도구는 즉시 특정 브릭(또는 "연산자(operator)")을 지목하여 손가락질합니다. 연구진은 이 도구를 사용하여 딥러닝 모델을 테스트했고, 복잡한 모델의 구축 과정 중에도 숨겨진 불안정한 브릭들을 성공적으로 찾아낼 수 있음을 발견했습니다. 그들은 어떤 수학적 기법은 안전하지만, 어떤 기법들—예를 들어 거대한 숫자를 상쇄하여 아주 작은 숫자를 찾으려는 시도 등—은 위험하며, 누군가 알아차리기 전에 모델의 정확도를 망칠 수 있다는 것을 보여주었습니다.

"노이즈" 섞인 숫자의 마법

딥러닝은 이제 스마트폰 사진 필터부터 우리가 대화하는 챗봇에 이르기까지 어디에나 있습니다. 하지만 이러한 시스템을 스마트폰이나 데이터 센터에서 충분히 빠르게 실행하기 위해, 과학자들은 "저정밀도"를 사용합니다. 방의 길이를 측정하는 상황을 상상해 보세요. 만약 밀리미터 단위로 표시된 자(고정밀도)를 사용한다면 매우 정확한 숫자를 얻을 것입니다. 만약 센티미터 단위로만 표시된 자(저정밀도)를 사용한다면, 시간은 절약되겠지만 측정값은 조금 더 흐릿해질 것입니다. 컴퓨터에서 이는 숫자를 저장하는 데 사용하는 "비트(bit)"(작은 0과 1들)를 적게 사용하는 것을 의미합니다. 이는 계산을 더 빠르게 하고 에너지를 덜 사용하게 만들지만, "반올림 오차(rounding errors)"를 도입합니다.

보통 이러한 오차는 너무 작아서 문제가 되지 않습니다. 하지만 때때로 이 오차들이 쌓이거나 증폭되어 "수치적 불안정성"으로 이어질 수 있습니다. 이것은 바람이 부는 방 안에서 카드 집을 쌓는 것과 같습니다. 작은 돌풍(반올림 오차)이 카드 집 전체를 쓰러뜨릴 수 있습니다. 문제는 딥러닝에서 이러한 오류가 소리 없이 발생할 수 있다는 점입니다. 모델은 여전히 작동하는 것처럼 보일 수 있지만, 내부 수학은 실제로 "오염"되어 있을 수 있으며, 이는 나중에 이상한 실수를 초래할 수 있습니다.

해결책: 삼중 확인 시스템

이 논문은 이러한 숨겨진 수학적 오류를 찾아내는 탐정 역할을 하는 소프트웨어 도구인 noisefloat를 소개합니다. 핵심 아이디어는 CESTAC(Control and Estimation of Stochastic Arithmetic)라고 불리는 방법에서 왔습니다. 간단한 용어로 설명하자면 다음과 같습니다.

계산을 단 한 번만 수행하는 대신, noisefloat는 이를 동시에 세 번 수행합니다. 하지만 여기에는 비결이 있습니다. 세 번의 실행 각각에서 숫자에 아주 작은 무작위 "자극(nudge)"을 가합니다. 이것은 마치 세 명의 서로 다른 사람에게 같은 탁자의 길이를 측정하게 하되, 각자에게 미세하게 차이가 나는 서로 다른 자를 주는 것과 같습니다.

• 만약 세 사람이 거의 똑같은 답을 얻는다면, 그 측정은 **안정적(stable)**입니다. 작은 자극이 결과에 영향을 주지 않았다는 뜻이며, 이는 수학이 견고함을 의미합니다 합니다.
• 만약 세 사람이 매우 다른 답을 얻는다면, 그 측정은 **불안정(unstable)**합니다. 수학이 너무 민감해서 아주 작은 자극조차 결과를 완전히 바꿔놓았다는 뜻입니다.
  그 후 도구는 결과에 남은 "유효 자릿수(significant digits)"(신뢰할 수 있는 숫자)가 얼마나 되는지 계산합니다. 만약 답이 "유효 자릿수 0개"라면, 그 결과는 그냥 노이즈에 불과하다는 뜻입니다.

무엇을 발견했는가: "흔들거리는 브릭들"

연구진은 딥러닝 모델의 다양한 부분(더하기, 행렬 곱하기, 데이터 정규화와 같은 "연산자"들로 구성됨)에 대해 이 도구를 테스트했습니다. 그들은 도구가 찾아낼 수 있는지 확인하기 위해 의도적으로 불안정하게 설계된 수학 문제들, 즉 "병리적(pathological)" 사례들을 만들었습니다.

1. "상쇄(Cancellation)"의 함정
가장 큰 위험 중 하나는 "심각한 상쇄(catastrophic cancellation)"입니다. 이것은 거의 동일한 두 거대한 숫자를 빼서 아주 작은 차이를 구할 때 발생합니다.

• 비유: 1,000,000개의 레고 브릭이 쌓인 두 더미가 있다고 상상해 보세요. 양쪽 더미에서 각각 999,999개를 가져갑니다. 그러면 1개의 브릭이 남아야 합니다. 하지만 여러분의 자가 조금 흐릿하다면, 한쪽 더미에서는 999,999.5를 999,999로, 다른 쪽에서는 999,999.5를 1,000,000으로 잘못 계산할 수 있습니다. 그러면 이제 남은 브릭이 0개라고 생각하거나, 심지어 음수가 남았다고 생각할 수도 있습니다!
• 결과: 연구진은 모델이 이런 종류의 뺄셈(일부 선형 레이어나 어텐션 메커니즘에서 발생하는)을 시도할 때, 유효 자릿수가 0으로 떨어지는 것을 발견했습니다. 도구는 이러한 연산들이 "오염"되었다고 성공적으로 표시했습니다.

2. "오버플로(Overflow)" 재앙
숫자가 너무 커지면 폭발할 수 있는 "Softmax" 함수와 같은 일부 연산들이 있습니다.

• 비유: 이것은 양동이의 물을 찻잔에 붓는 것과 같습니다. 만약 물(숫자)이 너무 많으면, 물이 넘쳐흐르고(overflow) 찻잔이 깨집니다.
• 결과: 연구진은 큰 숫자에 대비하지 않은 "순진한(naive)" 버전의 Softmax를 테스트했습니다. 도구는 즉시 0 유효 자릿수를 보고하며 이를 불안정하다고 표시했습니다. 그러나 큰 숫자를 먼저 빼서 값을 작게 유지하는 "이동된(shifted)" 버전의 Softmax는 사용된 정밀도에 따라 약 3~12개의 유효 자릿수를 유지하며 안정성을 유지했습니다.

3. "막상막하(Near-Tie)" 문제
모델이 중요한 단어에 집중하도록 돕는 "어텐션(Attention)" 메커니즘에서는 모델이 점수를 계산합니다. 만약 두 점수가 거의 동일하다면, 수학은 매우 민감해집니다.

• 결과: 연구진이 두 점수가 거의 비등한 시나리오를 만들었을 때, 도구는 신뢰도가 급격히 떨어지는 것을 감지했습니다. 모델의 "결정"(어떤 단어에 집중할 것인가)은 수학이 차이를 구별하기에 너무 흔들거렸기 때문에 무작위가 되어버렸습니다.

이것이 모델을 망가뜨리는가?

핵심 질문은 이것입니다. 내부의 수학이 흔들거린다면, 최종 답변(예: 고양이 인식)은 여전히 제대로 작동할까요?
연구진은 Fashion-MNIST(의류 이미지) 및 CIFAR-10(색상 객체) 데이터셋을 사용하여 전체 훈련 시뮬레이션을 실행했습니다. 그들은 이러한 "흔들거리는" 연산자들을 모델에 삽입하고 어떤 일이 일어나는지 관찰했습니다.

• 국소적 vs 전역적: 그들은 때때로 어떤 연산자가 모든 유효 자릿수를 잃더라도(순수한 노이즈가 되더라도), 모델의 최종 정확도가 즉시 떨어지지는 않는다는 것을 발견했습니다. 이것은 로봇의 다리 하나가 흔들거리더라도, 다른 다리들이 충분히 강해서 보완해주기 때문에 로봇이 여전히 걸을 수 있는 것과 같습니다.
• 경고 신호: 하지만 불안정성이 심각할 때(예: "막상막하"의 어텐션 케이스), 모델의 예측들이 서로 일치하지 않기 시작했습니다. 도구는 모델이 실제로 실패하기 전에 모델이 곧 실패할 것임을 성공적으로 예측했습니다.

트레이드오프: 속도 vs 안전성

이 도구를 사용하는 데는 비용이 따릅니다. 안정성을 확인하기 위해 계산을 세 번(또는 그 이상) 수행하기 때문에 더 느립니다. 논문은 얼마나 상세한 체크를 하느냐에 따라 일반적인 컴퓨팅보다 3배에서 100배까지 느려질 수 있다고 언급합니다.

• 결론: 저자들은 이 도구를 매번 전체 훈련 데이터셋에 사용하는 것은 권장하지 않습니다(시간이 너무 오래 걸리기 때문입니다). 대신, 위험한 연산자를 찾아내기 위해 작은 "교정 서브셋(calibration subset)"에 이 도구를 사용하고, 그 후 모델의 해당 부분들을 수정하는 방식을 제안합니다.

결론

이 논문은 세상의 모든 수학 문제를 해결했다고 주장하는 것이 아니라, 강력한 새로운 손전등을 제공하는 것입니다. noisefloat는 개발자들이 딥러닝 모델의 보이지 않는 균열을 볼 수 있게 해줍니다. 이는 확률적(stochastic) 산술을 사용함으로써 신경망의 어느 부분이 수치적으로 불안정한지 자동으로 감지할 수 있음을 입증합니다. 이는 우리가 더 작고, 더 빠르며, 더 에너지 효율적인 하드웨어를 향해 나아감에 따라, AI를 빠를 뿐만 아니라 신뢰할 수 있고 안전하게 만드는 데 매우 중요합니다. 이 도구는 적절한 점검이 있다면, 우리는 폼 브릭으로 만들어도 돌만큼 튼튼한 성을 쌓을 수 있다는 것을 시사합니다.