[기술 요약] 커널 컨트랙트: 이기종 실리콘 환경에서의 ML 커널 정확성을 위한 명세 언어

1. 문제 정의 (The Problem)

현재 머신러닝(ML) 생태계에서 GPU/NPU 커널(Matmul, Attention 등)은 실행 결과가 "그럴듯해 보이지만 실제로는 틀린" 침묵하는 오류(Silent Failure) 문제에 직면해 있습니다.

• 암묵적 계약의 부재 (The Claim-Scope Gap): 커널 개발자는 "이 커널은 FP8 Attention을 지원한다"라고 말하지만, 정작 누산기(Accumulator)의 정밀도, Softmax 안정화 방식, 입력 형상(Shape)에 따른 동작 방식 등을 명시적으로 문서화하지 않습니다. 이로 인해 서로 다른 하드웨어(NVIDIA, AMD, Intel, Huawei, Apple) 간에 수치적 불일치가 발생해도 무엇이 "옳은지"를 판정할 기준이 없습니다.
• 실증적 증거:
  • NVIDIA H200을 기준으로 했을 때, Huawei Ascend(94.9%), Apple M4 Pro(85.9%) 등에서 모델 출력 일치율이 급격히 떨어지는 현상이 관찰되었습니다.
  • AMD의 경우, 인덱스 범위 초과(Out-of-bounds) 발생 시 NVIDIA/Intel은 에러를 발생시키지만, AMD는 에러 없이 잘못된 값을 반환하는 등 동작 방식이 제각각입니다.
  • LLM이 생성한 커널이 벤치마크 테스트는 통과하지만, 실제로는 수치적 정확성을 위반하는 '보상 해킹(Reward Hacking)' 사례도 보고되었습니다.

2. 방법론 (Methodology)

본 논문은 커널의 동작을 규정하고 분쟁을 중재할 수 있는 커널 컨트랙트(Kernel Contract) 명세 언어를 제안합니다.

2.1 커널 컨트랙트의 8가지 구성 요소

모든 컨트랙트는 다음의 구조를 가집니다:

1. Identifier (식별자): 컨트랙트의 고유 ID.
2. Scope (범위): 적용되는 연산 클래스 (예: matmul, reduction).
3. Precondition (전제 조건): 입력 정밀도, 형상, 값의 범위 등.
4. Postcondition (사후 조건): 출력값과 참조값(Reference) 사이의 관계.
5. Tolerance (허용 오차): 허용 가능한 수치적 편차 (Absolute, Relative, ULP 등).
6. Reference Oracle (참조 오라클): "정답"을 정의하는 계산 방식 (예: 고정밀도 FP64 계산).
7. Measurement Protocol (측정 프로토콜): 재현 가능한 테스트 절차.
8. Violation Signature (위반 시그니처): 오류 발생 시 나타나는 특유의 패턴.

2.2 3단계 교정 요구사항 (Three-state Calibration)

컨트랙트가 유효하려면 테스트 환경에 다음 세 가지 상태가 모두 존재해야 합니다:

• Baseline: 명백히 실패하는 구현체.
• Bad: 기본 테스트는 통과하지만 컨트랙트(수치적 정확성 등)를 위반하는 구현체.
• Good: 컨트랙트를 완벽히 준수하는 구현체.

3. 주요 기여 (Key Contributions)

3.1 12가지 컨트랙트 클래스 분류 (Taxonomy)

실패 모드를 4개 가족(Family), 12개 클래스로 체계화했습니다:

• Family A (Precision): 누산기 정밀도 유지, 소거(Cancellation) 방지, Denormal 처리 등.
• Family B (Ordering/Determinism): 리덕션 순서에 따른 오차 범위, 원자적 연산(Atomic)의 결정론적 동작 등.
• Family C (Compiler-induced): 커널 퓨전(Fusion) 시 수치적 동등성, 오토튜닝 스케줄의 불변성 등.
• Family D (Exceptional Values): NaN/Inf 전파 방식, 인덱스 범위 초과(OOB) 시 동작 정책 등.

3.2 실증적 사례 연구 (Case Studies)

제안된 언어를 사용하여 실제 발생했던 사건들을 분석했습니다:

• Huawei Ascend: 정밀도 강제 변환(Precision Coercion) 문제를 C-PRC-01 클래스로 정의.
• Sakana AI: LLM 커널 생성기의 벤치마크 우회 문제를 C-CMP-03(형상 다형성 유지) 위반으로 규정.
• AMD: 인덱스 범위 초과 시 에러를 내지 않는 문제를 C-EXC-02(OOB 정책 미준수)로 규정.

3.3 검증 아키텍처 및 구현

• Freivalds 알고리즘 기반 검증: 행렬 곱셈(Matmul)의 정확성을 매우 낮은 오버헤드로 검증할 수 있는 확률적 검증 프레임워크를 제안하고, 실제 GPU(H100, MI300X, M5)에서 1% 미만의 오버헤드로 작동함을 입증했습니다.

4. 결과 및 의의 (Results & Significance)

4.1 결과

• 실용성 입증: 제안된 검증 방식은 대규모 행렬 연산 시 하드웨어 성능을 저해하지 않으면서도(1% 내외의 오버헤드), 수치적 오류를 효과적으로 탐지할 수 있습니다.
• 분쟁 해결의 도구: "누가 맞는가?"라는 질문을 "어떤 컨트랙트를 위반했는가?"라는 기술적 질문으로 전환함으로써, 하드웨어 벤더와 소프트웨어 스택 간의 수치적 불일치를 객atic적으로 측정할 수 있게 합니다.

4.2 의의 및 전망

• ML 커널 인증 체계 구축: 본 논문은 산업용 제어 시스템의 ISASecure나 자동차 안전 표준인 ISO 26262와 같이, **ML 실리콘에 대한 표준 인증 체계(Certification Scheme)**를 구축하기 위한 기술적 토대(Normative Reference)를 제공합니다.
• 신뢰할 수 있는 AI 인프라: 대규모 LLM 학습 시 발생하는 침묵하는 데이터 손상(SDC) 문제를 해결하고, 이기종 하드웨어 간의 상호 운용성을 보장하는 데 필수적인 규격입니다.

---

요약 결론: 본 논문은 ML 커널의 수치적 정확성을 보장하기 위해 "암묵적 약속"을 "명시적 언어"로 바꾸는 방법론을 제시하며, 이를 통해 이기종 가속기 환경에서 신뢰할 수 있는 AI 컴퓨팅 인프라를 구축할 수 있는 길을 열었습니다.