기술 요약: HEAL을 통한 LLM 추론의 수치적 불안정성 해소

문제 정의

대규모 언어 모델(LLM)이 금융, 의료, 법률과 같은 미션 크리티컬한 영역에 배치됨에 따라, 출력 재현성은 엄격한 시스템 요구 사항이 되었습니다. 실무자들은 알고리즘적 확률성을 제거하기 위해 일반적으로 그리디 디코딩(greedy decoding)을 채택하지만, 16비트 정밀도(예: BF16)를 사용하는 실제 배포 환경에서도 이기종 하드웨어(예: 서로 다른 세대의 NVIDIA GPU 또는 AMD 가속기) 간에 파괴적인 출력 발산 현상이 여전히 발생합니다.

기존의 완화 전략은 수용 불가능한 딜레마에 직면해 있습니다:

1. 엄격한 비트 단위 결정론(Strict Bit-Wise Determinism): 결정론적인 부동 소수점 축약 순서를 강제하거나 특수 커널을 사용하는 것은 실행 경로를 좁게 제한하고, 현대적인 하드웨어 기능을 비활성화하며, 처리량(throughput)을 희생시킵니다.
2. 글로벌 고정밀 파이프라인(Global High-Precision Pipelines): 모든 계산을 FP32로 수행하면 다운캐스팅 노이즈는 제거할 수 있으나, 막대한 시스템 페널티가 발생합니다. 전체를 FP32로 서빙하는 것은 토큰당 시간(TPOT)을 최대 13.1배 증가시키고 키-값(KV) 캐시의 메모리 점유율을 두 배로 늘려, 대규모 서빙 측면에서 경제적으로 불가능하게 만듭니다.

핵심 과제는 16비트 하드웨어 가속기의 효율성을 희생하지 않으면서도, 배포 가능한 수준의 견고한 재현성을 달고 있는 것입니다.

방법론: HEAL (Hybrid Error ALleviation)

저자들은 하드웨어 제약 조건을 준수하면서 FP32 수준의 재현성을 근사하는 표적 개입 방식인 HEAL을 제안합니다. 이 방법론은 거시적 실패에서 미시적 기원에 이르기까지, 비재현성의 근본 원인에 대한 체계적인 조사를 바탕으로 합니다.

1. 근본 원인 분석

SASS 레벨 프로파일링과 오차 분해를 통해, 본 논문은 비재현성이 내부 커널 산술(주로 Tensor Core를 통해 FP32로 동작)에 의해 발생하는 것이 아니라, **커널 경계에서의 다운캐스팅 중에 도입되는 절단 오차(truncation errors)**에 의해 발생함을 밝혀냈습니다.

• 미시적 기원: 불안정성은 고정밀 레지스터를 저정밀도 저장 형식으로 반드시 변환해야 하는 과정(예: FP32 누산기에서 BF16 메모리로 결과를 쓰는 과정)에서 발생하는 절단 오차로부터 기인합니다.
• 누적: 이러한 미시적인 소수점 정밀도 손실은 네트워크 레이어를 거치며 기하급수적으로 누적됩니다. 누적된 오차가 특정 임계값을 넘어서면 최종 로그 확률(log-probabilities)을 변화시켜 top-1 토큰 선택을 바꾸는 "결과 뒤집힘(result flipping)" 현상을 유발합니다.
• 핵심 통찰: 견고한 재현성은 FP32 그라운드 트루스와의 엄격한 수학적 일치를 요구하는 것이 아니라, 결과 뒤집힘을 유발하는 임계값 아래로 수치적 노이즈를 묶어두는 것만을 요구합니다.

2. HEAL 솔루션

HEAL은 두 가지 표적 메커니즘을 통해 글로벌 FP32 파이프라인의 두 가지 주요 병목 지점(Attention의 메모리, GEMM의 연산)을 해결합니다.

A. INT16 양자화를 통한 Attention 절단 완화

• 문제: KV 캐시를 FP32로 업캐스팅하면 메모리 사용량이 두 배로 늘어나 메모리 병목 현상을 초래합니다.
• 솔루션: HEAL은 표준 부동 소수점 형식이 Q, K, V 텐서의 비트 폭을 충분히 활용하지 못한다는 점에 주목합니다. 이를 위해 KV 캐시에 INT16 양자화를 적용합니다.
• 메커니즘: 실행 중에 INT16 텐서는 두 개의 FP16 텐서($X_{hi}$와 $X_{lo}$)로 대수적으로 언팩(unpack)됩니다. 하위 텐서는 $2^{10}$의 계수로 시프트되어, 쌍 $(X_{hi} + X_{lo}/2^{10})$이 20비트의 연속적인 소수점 정밀도를 모사할 수 있게 합니다.
• 이점: 이는 KV 캐시의 엄격한 16비트 메모리 점유율을 유지하면서도 절단 오차를 크게 줄여, 메모리 확장을 피하면서도 발산을 효과적으로 방지합니다.

B. 대수적 오차 보상을 통한 GEMM 절단 완화

• 문제: GEMM 입력을 FP32로 업캐스팅하면 하드웨어가 고처리량 16비트 텐서 코어를 우회하게 되어 심각한 성능 저하를 일으킵러.
• 솔루션: HEAL은 16비트 텐서 코어에서 완전히 실행되는 대수적 오차 보상 전략을 사용하여 고정밀 행렬 곱셈을 합성합니다.
• 메커니즘: 입력 활성화 값은 기본 16비트 값과 잔여 오차 항으로 분해됩니다. 시스템은 표준 16비트 입력을 사용하여 두 개의 병렬 행렬 곱셈을 수행한 뒤 그 결과를 합산합니다. 이를 통해 네이티브 16비트 하드웨어의 처리량을 유지하면서도 절단 오차를 포착합니다.
• 오버플로 처리: FP16의 좁은 동적 범위를 해결하기 위해, HEAL은 치명적인 오버플로를 방지하고자 드문 아웃라이어 채널(전체 고정 채널의 1% 미만)에 대해 표적 리스케일링(rescaling)을 적용합니다.

주요 기여

1. 불안정성 진단: 본 논문은 내재적 비재현성이 내부 산술의 비결합성(non-associativity)이 아니라 경계 절단 오차에 의해 근본적으로 구동됨을 입증했습니다. 또한, 견고한 재현성을 위해서는 이 노이즈를 특정 결과 뒤집힘 임계값 아래로 제한해야 함을 확립했습니다.
2. HEAL 프레임워크: Attention은 INT16 양자화로 보호하고, GEMM은 대수적 오차 보상을 통해 합성함으로써 하드웨어 페널티 없이 두 갈래의 솔루션을 도입했습니다.
3. MCR-Bench: 결과의 일관성이 매우 중요한 고위험 분야(의료, 법률, 금융)의 재현성을 타겟팅하는 새로운 평가 도구인 **미션 크리티컬 재현성 벤치마크(Mission-Critical Reproducibility Benchmark)**를 도입했습니다.
4. 효율성-재현성 트레이드오프: HEAL이 다양한 하드웨어 유형에 걸쳐 다운스트림 태스크에 대해 FP32 수준의 재현성을 달성하는 동시에, 전체 FP32 파이프라인 대비 성능 오버헤드를 최대 7.1배까지 줄임을 입증했습니다.

결과

5개의 모델(Qwen3-8B/14B/32B, Llama-3.1-8B, DeepSeek-R1-Distill-Qwen-14B)과 3가지 하드웨어 유형(NVIDIA A100, H100, AMD MI300X)에 대해 평가한 결과는 다음과 같습니다.

• 재현성: HEAL-Full(완전한 하이브리드 파이프라인)은 FP32 베이스라인과 거의 동일한 답변 뒤집힘 비율(answer flip rate) 및 최종 은닉층 MSE를 달성했습니다 (예: Llama-8B와 DeepSeek-14B의 경우 네이티브 BF16의 11.7%, 12.8% 대비 0.0%의 뒤집힘 비율 기록).
• 성능 오버헤드:
  • FP32 베이스라인: TPOT을 4.2배에서 13.1배까지 증가시킵니다.
  • HEAL-Full: 네이티브 BF16 베이스라인 대비 단 40%~109%의 TPOT 오버헤드만을 발생시킵니다.
  • 메모리: HEAL은 KV 캐시에 대해 16비트 메모리 점유율을 유지하여, 전체 FP32 업캐스팅에 필요한 2배의 메모리 확장을 피합니다.
• 하드웨어 불가지론(Hardware Agnosticism): 고정된 정밀도 구성 하에서 누적된 수치적 오차는 서로 다른 하드웨어 유형 간에도 일관되게 나타났으며, 이는 HEAL이 하드웨어 특이적 발산을 효과적으로 중화함을 확인시켜 줍니다.

의의

본 논문은 견고한 재현성을 위해 전체 고정밀 파이프라인이라는 "전부 아니면 전무(all-or-nothing)" 식의 비용이 필요하다는 가정이 틀렸음을 주장합니다. 비재현성이 광범적 노이즈 문제가 아니라 특정 아웃라이어 특징(경계 절단)에 대한 국소적 민감도임을 식별함으로써, HEAL은 이기종 하드웨어 전반에서 결정론적 동작을 복원합니다. 결정적으로, 이 방법은 전체 연산의 1% 미만을 업그레이드(대수적 보상을 통해)하고 저장 형식을 최적화함으로써, 정확한 수치 출력이 요구되는 미션 크리티컬 환경에 완전한 FP32 추론의 경제적 부담 없이 LLM을 배포할 수 있는 실질적인 경로를 제시합니다.