1. 문제 정의 (Problem Statement)

현대 기계학습 (ML) 은 대규모 모델 학습 및 추론을 위해 NVIDIA GPU 의 Tensor Cores에 크게 의존하고 있습니다. 그러나 이러한 하드웨어 기반 연산은 본질적으로 **비결정적 (Non-deterministic)**인 특성을 가지고 있어, 검증 가능한 ML(Verifiable ML) 의 핵심 장벽이 되고 있습니다.

• 비결정성의 원인: 부동소수점 연산은 결합법칙이 성립하지 않으며, 하드웨어 구현 세부 사항 (반올림 방향, 비정규수 처리, 누적 순서 등) 이 명시적으로 공개되지 않습니다. 이로 인해 동일한 입력과 시드라도 GPU 아키텍처 (Ampere, Hopper, Lovelace 등) 나 정밀도 (FP16, BF16, FP8) 에 따라 미세한 수치적 차이가 발생합니다.
• 검증의 어려움: 클라우드 서비스 제공자가 ML 작업을 올바르게 수행했는지 감사 (Auditing) 하려면, 클라이언트가 CPU 에서 동일한 계산을 재실행하여 결과를 비교해야 합니다. 하지만 하드웨어의 비결정성으로 인해, 서비스 제공자가 정직하게 연산을 수행했더라도 CPU 재실행 결과와 비트 단위 (Bit-exact) 로 일치하지 않을 수 있습니다.
• 기존 접근법의 한계:
  • 비결정적 하드웨어 기능을 끄는 것은 재현성을 보장하지만 성능이 크게 저하됩니다.
  • 중간 계산 값을 반올림하여 오차를 제거하는 방식은 저장 비용이 많이 듭니다.
  • 휴리스틱 접근법은 형식적 보장이 부족하여 적대적 환경에서 악용될 수 있습니다.

2. 방법론 (Methodology)

저자들은 Hawkeye라는 시스템을 제안하여, GPU 의 Tensor Core 연산을 CPU 에서 비트 단위 정확도로 재현하는 프레임워크를 개발했습니다. 핵심은 GPU 커널을 수정하지 않고, GPU 의 내부 수치적 행동을 체계적으로 역공학 (Reverse Engineering) 하여 소프트웨어 시뮬레이터를 구축하는 것입니다.

핵심 기술적 접근

1. 타겟 테스트 스위트 (Targeted Tests):
   Hawkeye 는 Tensor Core 의 내부 파이프라인을 분석하기 위해 맞춤형 CUDA 커널과 PTX 어셈블리 지시어를 사용하여 일련의 정밀한 테스트를 수행합니다.

   • 합산 의존성 및 순서 테스트: 16x16 타일 내 16 개의 곱셈 결과를 어떤 순서로 누적하는지 파악합니다.
   • 내부 정밀도 감지: 합산 과정에서 사용되는 내부 부동소수점 정밀도 (Significand 크기) 를 확인합니다.
   • 반올림 모드 감지: 정렬 (Alignment) 단계와 최종 결과 변환 단계에서 적용되는 반올림 모드 (Truncation, Round-to-nearest 등) 를 식별합니다.
   • 정규화 단계 감지: 중간 곱셈 결과가 합산 전에 정규화되는지, 아니면 원시 값이 그대로 전달되는지 확인합니다.
   • 비정규수 (Subnormal) 동작 감지: 비정규수 입력이 곱셈 및 합산 과정에서 어떻게 처리되는지 분석합니다.

2. 시뮬레이션 모델 구축:
   위 테스트들을 통해 얻은 아키텍처별 (Ampere, Hopper, Lovelace) 및 정밀도별 (FP16, BF16, FP8) 특성을 바탕으로, CPU 에서 GPU 와 완전히 동일한 연산 순서와 수치적 행동을 모방하는 소프트웨어 시뮬레이터를 구현합니다.

3. 주요 기여 및 발견 (Key Contributions & Findings)

Hawkeye 는 다양한 GPU 아키텍처에서 다음과 같은 구체적인 수치적 특성을 규명하고 이를 CPU 로 재현하는 데 성공했습니다.

• Ampere 아키텍처 (FP16):

  • 누적 구조: 16 개의 곱셈 결과가 한 번에 합산되는 것이 아니라, 초기 어큐뮬레이터와 첫 8 개 곱셈을 합산한 후, 나머지 8 개와 다시 합산하는 2 단계 계층적 구조를 가집니다.
  • 내부 정밀도: 합산 시 FP32 와 동일한 24 비트 시그니칸드 (Significand) 를 사용합니다.
  • 반올림 모드: 정렬 (Shift) 단계와 최종 결과 변환 시 **0 을 향한 반올림 (Round-towards-zero, Truncation)**을 사용합니다.
  • 정규화: 중간 곱셈 결과는 합산 전에 정규화되지 않으며, 원시 값이 어큐뮬레이터로 직접 전달됩니다.

• Hopper 아키텍처 (FP16):

  • 누적 구조: 16 개의 모든 곱셈 결과가 초기 어큐뮬레이터와 함께 단일 단계에서 합산됩니다.
  • 내부 정밀도: 25 비트의 내부 시그니칸드를 사용합니다 (Ampere 보다 1 비트 더 정밀함).

• BF16 및 FP8 처리:

  • BF16 의 넓은 지수 범위 때문에 중간 계산이 FP32 범위를 초과할 수 있으나, 최종 결과는 FP32 범위로 다시 캐스팅됩니다.
  • 비정규수 입력에 대한 처리 방식도 규명되어, 입력의 정밀도가 낮아진 상태가 합산 파이프라인으로 직접 전달됨을 확인했습니다.

4. 실험 결과 (Results)

• 정확도: Hawkeye 는 Ampere, Hopper, Lovelace 아키텍처와 FP16, BF16, FP8 정밀도에서 **100% 비트 단위 정확도 (Bit-exact reproduction)**를 달성했습니다.
• 테스트 규모: 무작위로 생성된 16x16 행렬 곱셈 10 만 건 이상에 대해 시뮬레이터와 실제 GPU 커널 실행 결과를 비교한 결과, 모든 경우에서 오차가 없음을 확인했습니다.
• 성능: CPU 기반 시뮬레이션은 GPU 에 비해 느리지만, 감사 (Auditing) 작업은 오프라인에서 한 번만 수행하면 되므로 성능 저하는 허용 가능한 수준으로 판단됩니다.

5. 의의 및 결론 (Significance & Conclusion)

• 신뢰할 수 있는 ML 감사 (Trustworthy Auditing): Hawkeye 는 제 3 자가 GPU 에서 수행된 ML 학습 및 추론 작업을 CPU 에서 정확하게 재현하여 검증할 수 있는 길을 열었습니다. 이는 서비스 제공자가 모델을 축소하거나 (Model stealing), 학습 단계를 생략하는 등의 사기를 탐지하는 데 필수적입니다.
• 하드웨어 중립성: 특정 GPU 아키텍처의 내부 동작을 소프트웨어로 완벽하게 모사함으로써, 하드웨어 의존성을 제거하고 재현 가능한 ML 시스템을 구축할 수 있는 기반을 마련했습니다.
• 미래 과제: 현재는 행렬 곱셈 (MatMul) 에 집중되어 있으나, 향후 합성곱 (Convolution) 이나 어텐션 메커니즘과 같은 더 복잡한 연산으로 확장하고, 암호학적 증명 시스템 (Cryptographic Proof Systems) 과 통합하여 분산 환경에서의 확장성을 높이는 것이 향후 연구 방향입니다.

요약하자면, Hawkeye 는 GPU 의 비결정적 수치 행동을 체계적으로 분석하고 소프트웨어로 완벽하게 재현함으로써, 기계학습의 투명성과 신뢰성을 확보하는 획기적인 솔루션을 제시했습니다.