Timing and Memory Telemetry on GPUs for AI Governance

1. 문제 정의 (Problem Statement)

대규모 인공지능 (AI) 모델의 발전은 GPU 가속 컴퓨팅의 급격한 확장을 가져왔으나, 배포된 강력한 가속기들이 어떻게 사용되는지 관찰하거나 통제하는 데 심각한 어려움이 존재합니다.

• 신뢰할 수 있는 원격 측정의 부재: 현재 상용 GPU 는 사용 모니터링을 위한 위변조 방지 (tamper-evident) 또는 신뢰할 수 있는 메커니즘이 부족합니다. 펌웨어는 벤더에 의해 폐쇄되어 있으며, 호스트가 권한을 가진 경우 카운터를 리셋하거나 조작할 수 있습니다.
• 신뢰 실행 환경 (TEE) 의 한계: Intel SGX 나 AMD SEV 와 같은 TEE 는 미시구조 공격 (Side-channel attacks) 과 결함 기반 공격 (Fault-based exploits) 에 취약하여, 고도로 자원을 갖춘 공격자 앞에서는 신뢰할 수 있는 감시를 보장하지 못합니다.
• 거버넌스 필요성: 악의적인 목적 (악성 코드 생성, 사이버 공격 등) 으로 GPU 가 재사용되거나, 법적/제도적 감독을 벗어날 경우를 방지하기 위해 하드웨어 신뢰 기반 (Trust Anchor) 없이도 GPU 사용량을 추론할 수 있는 방법이 필요합니다.

2. 방법론 (Methodology)

저자들은 하드웨어 신뢰 기반에 의존하지 않고, 계산 기반 (Compute-based) 측정과 메모리 행동을 통해 GPU 사용량을 추론하는 프레임워크를 제안합니다. 이는 호스트와 GPU 모두 신뢰할 수 없는 (Untrusted) 환경에서도 작동합니다.

주요 측정 원리 (4 가지) 는 다음과 같습니다:

1. 확률적 작업 증명 (Probabilistic PoW):

   • 메모리 하드 (Memory-hard) 함수 (예: Argon2) 를 사용하여 GPU 의 병렬 연산 능력과 HBM(고대역폭 메모리) 사용량을 측정합니다.
   • 난이도를 조절하여 특정 시간 내에 해결해야 하는 퍼즐을 제시하고, 해결 시간을 통해 실제 병렬 작업량을 추론합니다.

2. 검증 가능한 지연 함수 (Verifiable Delay Functions, VDF):

   • 순차적인 계산 압력을 측정하기 위해 설계되었습니다.
   • 병렬화가 불가능한 순차적 연산 (예: 모듈러 제곱) 을 수행하여, 작업자가 중단 없이 연속적으로 실행되었는지와 순차적 처리 능력을 확인합니다.

3. GEMM 기반 텐서 코어 측정:

   • 대규모 행렬 곱셈 (General Matrix Multiplication, GEMM) 을 활용하여 GPU 의 텐서 코어 (Tensor Cores) 사용량을 측정합니다.
   • 현대 AI 모델 (LLM 등) 의 대부분 연산이 텐서 코어에서 이루어지므로, 이는 실제 AI 워크로드의 부하를 직접적으로 반영합니다.

4. VRAM 거주성 테스트 (VRAM Residency Test):

   • 데이터가 GPU 내부 메모리 (HBM) 에 상주하는지, 아니면 외부 (PCIe 를 통한 시스템 RAM) 에서 접근하는지에 따른 지연 시간 (Latency) 차이를 이용합니다.
   • Argon2id 를 사용하여 대용량 데이터에 무작위 접근을 요구하며, HBM 내 데이터 접근과 PCIe 를 통한 외부 접근 간의 시간 차이를 통해 데이터의 물리적 위치를 감지합니다.

3. 주요 기여 (Key Contributions)

1. 아키텍처 기반 측정 원리 도입: 기존 연구에서 활용되지 않았던 GPU 의 구체적인 아키텍처 특성 (HBM 부하, 텐서 코어 포화, 순차적 지연 등) 을 PoW, VDF, GEMM 등 기존 개념과 결합하여 구체적인 관측 가능 변수 (Observables) 로 변환했습니다.
2. 적대적 환경에서의 측정 가능성 입증: 하드웨어 신뢰 기반 (Trusted Hardware) 이 없어도, 타이밍 시프트와 메모리 거주성 지연을 통해 실제 GPU 사용 패턴을 통계적으로 추론할 수 있음을 시연했습니다.
3. 성능 및 오버헤드 정량화: 다양한 워크로드 (LLM 추론 등) 와의 공존 (Co-residency) 하에서 측정 신호가 어떻게 반응하는지, 그리고 전력, 메모리, 스케줄링 간섭에 따른 오버헤드를 정량적으로 분석했습니다.
4. 거버넌스 프레임워크 제안: 암호학적 보장을 제공하는 것이 아니라, 향후 감사, 이상 탐지, 정책 강제 등을 위한 보완적 신호 (Complementary Signal) 로서 측정 기반 원격 측정의 타당성을 확립했습니다.

4. 실험 결과 (Results)

• 신뢰성 및 민감도:
  • PoW: LLM 워크로드 (TinyLlama, Qwen 등) 가 실행될 때, 공유된 GPU 자원 (연산 및 메모리) 에 대한 경쟁으로 인해 PoW 해결 시간이 유의미하게 증가하는 것을 확인했습니다.
  • VDF: CUDA 코어 (스칼라 연산) 에 대한 부하에 민감하게 반응하여, 다른 워크로드와의 간섭을 정밀하게 포착했습니다.
  • GEMM: 텐서 코어 기반 워크로드 (대규모 LLM) 와의 경쟁 시, 해결 시간이 크게 지연되어 텐서 코어 사용량을 효과적으로 감지했습니다.
  • VRAM 거주성: HBM 에 데이터가 상주할 때와 PCIe 를 통해 외부 메모리에 접근할 때의 지연 시간 차이가 350ms 이상 발생하여, 데이터가 GPU 내부에 있는지 여부를 명확하게 구분할 수 있었습니다.
• 오버헤드 분석:
  • 전력/메모리: PoW, VDF, GEMM 방식은 지속적인 연산을 요구하여 상당한 전력 소모와 메모리 오버헤드를 발생시킵니다.
  • VRAM 방식: 무작위 타이밍으로만 실행되므로 전력 오버헤드는 미미하지만, 감지 민감도를 높이기 위해 대용량 데이터 (CHAL) 를 HBM 에 상주시켜야 하므로 메모리 사용량이 큽니다.
  • 성능 영향: 지속적인 측정 방식은 LLM 추론 속도를 저하시키지만, VRAM 거주성 테스트는 정상 워크로드에 거의 영향을 주지 않습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 AI 거버넌스 분야에서 중요한 전환점을 제시합니다.

• 하드웨어 신뢰의 대안: 신뢰할 수 있는 펌웨어나 TEE 가 없는 상황에서도, GPU 의 물리적 아키텍처 특성 (타이밍, 대역폭, 메모리 국소성) 을 악용하지 않고 오히려 이를 측정 도구로 활용하여 사용량을 투명하게 만들 수 있음을 증명했습니다.
• 거버넌스 적용 가능성: 이 기술은 AI 모델의 불법적인 재사용 방지, 클라우드 환경에서의 자원 할당 감사, 지역적 제한 준수 확인, 그리고 다중 임대 (Multi-tenant) 환경에서의 공정한 자원 배분 감시 등에 활용될 수 있습니다.
• 향후 방향: 암호학적 증명 (Cryptographic Proof) 을 대체하는 것이 아니라, 통계적 행동 패턴을 기반으로 한 보완적 감시 메커니즘으로서의 역할을 강조하며, 향후 프로토콜 설계 및 배포 시나리오에서의 실용성을 위한 기초를 마련했습니다.

요약하자면, 이 연구는 "신뢰할 수 없는 하드웨어 환경에서도 GPU 가 실제로 어떻게 사용되고 있는지, 타이밍과 메모리 행동을 통해 추론할 수 있다" 는 사실을 기술적으로 입증하고, 이를 AI 안전 및 거버넌스에 적용할 수 있는 구체적인 프레임워크를 제시한 것입니다.