Numerical Instability and Chaos: Quantifying the Unpredictability of Large Language Models

이 논문은 부동소수점 표현의 유한한 정밀도로 인한 반올림 오차가 트랜스포머 계층을 통해 증폭되거나 소멸하는 '눈사태 효과'를 유발하여 LLM 이 안정, 혼돈, 신호 지배라는 세 가지 영역에서 예측 불가능한 혼돈적 행동을 보임을 규명했습니다.

핵심

🎯 핵심 주제: "AI 가 왜 가끔 엉뚱한 말을 할까?"

우리는 AI 가 똑같은 질문을 받으면 똑같은 답을 할 것이라고 생각합니다. 하지만 연구진들은 AI 가 여러 대의 컴퓨터나 서버를 오가며 일할 때, 매우 작은 숫자 오차 (반올림 오차) 때문에 결과가 완전히 달라지는 '혼돈 (Chaos)' 상태에 빠진다는 것을 발견했습니다.

이를 이해하기 위해 세 가지 비유를 들어보겠습니다.

1. 나비 효과와 눈사태 (The Avalanche Effect)

AI 는 수천 개의 층 (Layer) 으로 이루어진 거대한 공장이라고 상상해 보세요.

• 시작: 공장 입구에 아주 미세한 먼지 (숫자 오차) 가 하나 떨어집니다. 이 먼지는 너무 작아서 눈에 보이지도 않습니다.
• 전파: 이 먼지가 공장 안을 지나갈 때, 처음 몇 개의 층에서는 아무 일도 일어나지 않습니다.
• 폭발: 하지만 특정 층을 지나자마자, 그 작은 먼지가 눈사태처럼 커집니다. 처음에는 '안녕하세요'라고 해야 할 AI 가, 이 작은 오차 때문에 갑자기 '안녕하세요' 대신 '안녕하세요'를 '안녕하세요' (완전히 다른 의미) 로 해석하거나, 아예 엉뚱한 말을 하게 됩니다.

연구진은 이 현상을 **"초기 층에서의 혼돈적인 눈사태"**라고 불렀습니다. 아주 작은 실수가 AI 의 깊은 뇌를 통과하며 기하급수적으로 증폭되는 것입니다.

2. AI 의 세 가지 '기분 상태' (3 가지 운영 체제)

이 논문은 AI 가 숫자 오차에 반응하는 세 가지 상태를 발견했습니다. 마치 사람의 기분처럼요.

1. 무감각한 상태 (Constant Regime):
   • 비유: 귀가 먹먹해서 작은 소리를 전혀 못 듣는 상태.
   • 설명: 입력된 작은 오차가 너무 작으면 AI 는 아예 무시하고 똑같은 답을 냅니다. 여기서 오차는 사라집니다.
2. 광란의 상태 (Chaotic Regime):
   • 비유: 작은 방아쇠를 당기면 총알이 터져 대폭발이 일어나는 상태.
   • 설명: 오차가 특정 임계값을 넘으면, AI 는 완전히 미쳐버립니다. 아주 미세한 차이 (컴퓨터가 표현할 수 있는 가장 작은 단위) 만으로도 결과가 180 도 바뀝니다. 이 상태에서는 AI 가 무엇을 할지 예측할 수 없습니다.
3. 명확한 상태 (Signal-Dominated Regime):
   • 비유: 폭풍우 속에서도 큰 목소리만 들리는 상태.
   • 설명: 입력된 질문 자체가 너무 강력하고 명확하면, 작은 오차들은 무시되고 AI 는 원래 의도한 대로 답을 냅니다.

3. 왜 이런 일이 일어날까? (컴퓨터의 '반올림' 문제)

컴퓨터는 숫자를 완벽하게 저장하지 못합니다. 예를 들어 1/3 을 저장할 때 0.333333... 무한히 이어지는 대신, 일정 자리에서 잘라내서 저장합니다. 이를 **반올림 (Rounding)**이라고 하죠.

• 비유: 레고 블록으로 성을 쌓는데, 블록 하나하나가 미세하게 찌그러져 있다고 상상해 보세요.
  • 처음 몇 층을 쌓을 때는 문제가 없습니다.
  • 하지만 성이 100 층, 200 층으로 높아질수록 그 미세한 찌그러짐이 쌓여서 탑 전체가 기울어지거나 무너질 수 있습니다.
  • 게다가 서로 다른 컴퓨터 (GPU) 는 이 찌그러짐을 계산하는 방식이 조금씩 다릅니다. 그래서 같은 질문을 해도 다른 컴퓨터에서는 다른 결과가 나옵니다.

4. 연구 결과가 말해주는 것

• 예측 불가능성: 현재 AI 시스템 (특히 여러 AI 가 협력하는 시스템) 에서 발생하는 실패의 상당수는 알고리즘의 잘못이 아니라, 이 숫자 계산의 불안정성 때문입니다.
• 해결책: 연구진은 이 문제를 해결하기 위해 **"노이즈 평균화 (Noise Averaging)"**라는 방법을 제안했습니다.
  • 비유: 한 번만 측정하면 바람 때문에 오차가 날 수 있지만, 100 번 측정해서 평균을 내면 바람의 영향을 제거하고 정확한 값을 얻을 수 있습니다.
  • AI 에게 같은 질문을 여러 번 던지고 그 결과를 평균내면, 이 '숫자 오차'로 인한 혼란을 없애고 안정적인 답을 얻을 수 있다고 합니다.

💡 요약

이 논문은 **"AI 는 수학적으로 매우 불안정해서, 아주 작은 숫자 오차만으로도 결과가 완전히 뒤집힐 수 있다"**고 경고합니다. 마치 눈사태처럼 작은 오차가 AI 의 깊은 뇌를 통과하며 커지기 때문입니다.

하지만 걱정하지 마세요. 연구진은 이 현상을 이해하고, 여러 번 반복해서 평균을 내는 것 같은 간단한 방법으로 AI 를 더 안정적으로 만들 수 있는 길을 제시했습니다. 앞으로 AI 를 더 안전하게 사용하려면 이 '숫자의 불안정성'을 고려해야 한다는 것이 이 연구의 핵심 메시지입니다.

기술 요약

1. 문제 제기 (Problem Statement)

최근 대규모 언어 모델 (LLM) 은 단일 추론 시스템을 넘어 복잡한 다중 에이전트 (Multi-agent) 워크플로우에 통합되고 있습니다. 그러나 이러한 시스템은 알고리즘적 한계뿐만 아니라 부동소수점 (Floating-point) 연산으로 인한 수치적 불안정성으로 인해 높은 실패율을 보입니다.

• 현상: 동일한 프롬프트와 고정된 랜덤 시드 (Random Seed) 를 사용해도 에이전트 간 상호작용 시 예측 불가능한 출력 (비일관성, 모순된 결과) 이 발생합니다.
• 근본 원인: 이질적인 하드웨어 (다양한 GPU 아키텍처) 환경에서의 부동소수점 연산은 **결합법칙 (Associativity) 을 따르지 않으며 비결정적 (Non-deterministic)**입니다. 이로 인해 미세한 반올림 오차 (Rounding errors) 가 발생하고, 이는 모델의 깊은 레이어를 거치며 증폭되어 출력의 급격한 변화를 유발합니다.
• 연구 공백: 기존 연구는 수치적 불안정성을 단순히 엔지니어링적 문제로 간주하거나 양자화 (Quantization) 에 집중했으나, LLM 의 계산 구조 내에서 미세한 오차가 어떻게 **카오스 (Chaos)**로 진화하는지에 대한 체계적인 이해가 부족했습니다.

2. 방법론 (Methodology)

이 논문은 LLM 의 수치적 안정성을 정량화하기 위해 방향성 민감도 (Directional Sensitivity) 분석을 도입했습니다.

• 방향성 절대 조건수 (Absolute Directional Condition Number, $\kappa_{abs}$):
  • 기존 최대 민감도 (스펙트럼 노름) 대신, 특정 방향 $v$에 대한 국소적 안정성을 측정하기 위해 방향성 도함수의 노름을 정의했습니다.
  • 수식: $\kappa_{abs}(f, x, v) \approx \frac{\|f(x + \epsilon v) - f(x)\|_2}{\epsilon}$
  • 여기서 $\epsilon$은 부동소수점 정밀도 (Machine Epsilon, $\sim 10^{-14}$) 수준인 미세한 섭동입니다.
• 실험 설정:
  • 모델: Meta-Llama-3.1-8B, OpenAI-GPT-OSS-20B.
  • 데이터셋: TruthfulQA (일반 지식), AdvBench (적대적 프롬프트).
  • 정밀도: Float32, BFloat16, Float64 비교 분석.
  • 측정 대상: 최종 언어 모델 헤드 (Logits) 이전의 은닉 상태 (Last Pseudo Token, LST) 를 사용하여 확률적 샘플링의 영향을 배제하고 순수한 수치적 변화를 관찰했습니다.

3. 주요 기여 및 발견 (Key Contributions & Results)

가. 카오스적 "눈사태 효과" (Chaotic Avalanche Effect)

• 초기 레이어의 급격한 증폭: Transformer 의 초기 레이어에서 부동소수점 오차 ($\sim 10^{-14}$) 는 이분법적 결과를 보입니다. 즉, 오차가 완전히 소멸되거나 (완전 감쇠), 기하급수적으로 증폭되어 ($\sim 10^{-6}$) 출력에 큰 영향을 미칩니다.
• 방향성 무관성: 고전적인 조건수 이론 (특이값에 의존) 과 달리, 미세한 섭동에 대한 민감도는 특이값 (Singular Value) 크기보다 섭동의 스케일 ($\epsilon$) 에 의해 결정됩니다. 이는 모든 방향 (높은 특이값 방향과 낮은 특이값 방향 모두) 에서 유사한 불안정성 역치를 보임을 의미합니다.

나. 세 가지 운영 영역 (Three Stability Regimes)

LLM 은 입력과 정밀도에 따라 세 가지 명확한 영역으로 동작합니다:

1. 안정 영역 (Constant Regime): 섭동이 입력 의존적 임계값 이하일 때, 출력은 비트 단위 (Bitwise) 로 일정하게 유지됩니다. (중간값 불안정성 = 0)
2. 카오스 영역 (Chaotic Regime): 반올림 오차가 지배하여 출력이 급격히 발산합니다. 미세한 입력 변화가 완전히 다른 토큰 선택 (Decision Flip) 을 유발합니다.
3. 신호 지배 영역 (Signal-Dominated Regime): 실제 입력의 변화가 수치적 노이즈를 압도하여 안정적인 동작을 보입니다.

다. 결정 경계의 프랙탈적 분할 (Fractal Decision Boundaries)

• 근접 동점 (Near-tie) 상황: 상위 두 토큰의 로짓 (Logit) 이 거의 같을 때, 미세한 섭동 ($\sim 10^{-10}$) 만으로도 예측이 빈번하게 뒤바뀝니다.
• 분할된 영역: 결정 경계는 매끄러운 곡선이 아니라, 수백 개의 연결되지 않은 영역으로 나뉜 프랙탈 (Fractal) 구조를 가집니다. 이는 4096 차원 임베딩 공간 전체에 걸쳐 불안정성이 보편적으로 존재함을 의미합니다.

라. 정밀도의 영향 및 완화 전략

• 정밀도 변화: 정밀도를 BFloat16 에서 Float64 로 높여도 카오스 현상이 사라지는 것은 아니며, 단지 불안정성이 발생하는 $\epsilon$의 스케일만 이동합니다.
• 완화 전략 (Noise Averaging): 무작위 노이즈를 주입한 여러 번의 순전파 (Forward pass) 결과를 평균화하면, 비결정적인 반올림 노이즈가 상쇄되고 모델의 진정한 알고리즘적 민감도가 복원됩니다. (예: $n=100$ 샘플링 시 조건수 추정치가 이론적 특이값에 수렴)

4. 의의 및 결론 (Significance & Conclusion)

• 이론적 통찰: LLM 의 예측 불가능성은 단순한 버그가 아니라, 부동소수점 정밀도의 한계와 심층 신경망의 증폭 메커니즘이 결합된 **수치적 카오스 (Numerical Chaos)**의 필연적 결과임을 입증했습니다.
• 실무적 함의:
  • 다중 에이전트 시스템: 이질적인 하드웨어 환경에서 에이전트 간 통신 시 발생하는 실패 (23-31% 실패율) 는 수치적 불안정성에서 기인함을 설명합니다.
  • 안전성 (Safety): 안전 관련 애플리케이션에서 LLM 을 사용할 때, "신호 지배 영역"과 "카오스 영역"의 경계를 이해하는 것이 필수적입니다.
  • 제안: 단순한 고정 시드나 높은 정밀도 사용만으로는 문제를 해결할 수 없으며, **노이즈 평균화 (Noise Averaging)**와 같은 새로운 안정화 기법이 필요합니다.

이 논문은 LLM 의 신뢰성 문제를 엔지니어링적 관점이 아닌 수학적/동역학적 관점에서 재정의하며, 향후 안전하고 견고한 AI 시스템 구축을 위한 기초를 마련했습니다.