기술 요약: 하이퍼디멘셔널 컴퓨팅을 위한 컴파일러 기반 근사 튜닝

문제 정의

무어의 법칙이 물리적 및 경제적 한계에 도달함에 따라, 도메인 특화 접근 방식이 머신러닝 워크로드를 가속화하기 위해 점점 더 중요해지고 있습니다. 하이퍼디멘셔널 컴퓨팅(Hyperdimensional Computing, HDC)은 뇌에서 영감을 받은 대안으로서 고유한 노이즈 내성과 하드웨어 효율성을 제공하며 딥러닝의 유망한 대안으로 부상했습니다. 그러나 HDC 알고리즘은 노이즈와 근사에 강점이 있음에도 불구하고, 이러한 특성을 활용하기 위한 설계 공간(design space)은 조합론적으로 매우 방대합니다.

단일 HDC 애플리케이션은 수십 개의 기본 연산(primitive operations)을 포함할 수 있으며, 각 연산은 다양한 근사 전략(예: 정밀도 감소, 반복 횟수 건너뛰기, 알고리즘 변형)을 제공합니다. CPU, GPU, 그리고 ReRAM 및 PCM과 같은 인메모리 가속기를 포함하는 이종 하드웨어를 타겟팅할 때, 검색 공간은 ADC 해상도, 쓰기-검증 깊이(write-verify depth), 멀티 레벨 셀(MLC) 구성과 같은 하드웨어 특화 조절 변수(knobs)를 포함하여 더욱 확장됩니다. 이러한 구성을 수동으로 탐색하는 것은 불가능에 가까운데, 이는 구성이 데이터셋이나 백엔드 간에 잘 전이되지 않으며, 경험적 평가 없이는 연산 간의 상호작용을 예측하기 어렵기 때문입니다. 기존 프레임워크들은 HDC 프리미티브에 대한 도메인 특화 컴파일러 지원(예: EnerJ, ApproxHPVM)이 부족하거나, 제한적인 비컴파일러 통합형 하이퍼파라미터 튜닝(예: MicroHD)에 의존하여, 이종 타겟에 걸친 소프트웨어 및 하드웨어 근사를 통합적으로 최적화하지 못하고 있습니다.

방법론: ApproxHDC

이러한 과제를 해결하기 위해 저자들은 HDC 워크로드에서 도메인 특화 근사를 식별하고 적용하기 위한 자동화된 프레임워크인 ApproxHDC를 제시합니다. ApproxHDC는 재타겟팅 가능한 컴파일(retargetable compilation)과 자동 튜닝을 가능하게 하기 위해 기존 HPVM-HDC 컴파일러 인프라를 확장합니다.

시스템 아키텍처

본 프레임워크는 폐쇄 루프(closed-loop) 컴파일 및 튜닝 프로세스를 통해 작동합니다:

1. HDC 프리미티브 식별: 컴파일러 패스가 HDC++ 소스 코드에 대한 정적 분석을 수행하여 모든 HDC 프리미티브 호출을 식별합니다. 이는 문맥적 메타데이터(함수, 기본 블록, 실행 순서)를 추출하고 프로그램 연산의 구조화된 JSON 표현을 생성합니다.
2. 근사 설계 공간 구축: Python 기반의 OpenTuner로 구현된 ApproxHDC 튜닝 시스템은 소프트웨어 및 하드웨어 근사를 포괄하는 검색 공간을 구축합니다.
   • 소프트웨어 근사: 리덕션 퍼포레이션(Reduction Perforation, 축약 연산에서 루프 반복 건너뛰기), 자동 이진화(하이퍼벡터를 패킹된 단일 비트 표현으로 변환), 인코딩 차원(Encoding Dimensionality) 튜닝, 요소 유형 표현(예: FP32에서 INT8로 변환), 알고리즘 선택(예: 코사인 유사도 vs 해밍 거리)을 포함합니다.
   • 하드웨어 근사: 인메모리 가속기(ReRAM/PCM)를 위해 ADC 해상도, 쓰기-검증 사이클, 아날로그 양자화 스케일, 멀티 레벨 셀(MLC) 비트와 같은 조절 변수를 모델링합니다.
3. 검색 공간 가지치기(Pruning): 탐색을 용이하게 하기 위해 ApproxHDC는 두 가지 전략을 사용합니다.
   • 도메인 인지형 가지치기: 시스템은 HDC에 대한 지식을 활용하여 근사에 너무 민감한 영역(예: 특정 인코딩 단계가 근사에 취약함을 인식)을 제거합니다.
   • 개발자 가이드형 가지치기: 개발자는 경량 소스 주석(__hetero_hdc_no_approx)을 사용하여 특정 프리미티브나 서브그래프를 검색 공간에서 제외함으로써, 튜너가 중요하고 내성이 없는 단계에 시간을 낭비하는 것을 방지할 수 있습니다.
4. 반복 튜닝: 시스템은 QoS 지표(예: 정확도, NMI 점수), 실행 시간, 에너지를 측정하며 경험적으로 구성을 탐색합니다. 선택된 근사 주석을 소스 코드에 다시 삽입하고, HPVM-HDC를 통해 재컴파일한 후, 시간 예산 또는 수렴 한계에 도달할 때까지 반복합니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. ApproxHDC 프레임워크: 이종 하드웨어(CPU, GPU, 시뮬레이션된 ReRAM/PCM 가속기) 전반에서 엔드 투 엔드 성능, 에너지 및 QoS를 공동 최적화하기 위해 근사 선택을 자동화하는 자동 튜닝 시스템입니다.
2. 통합 소프트웨어-하드웨어 지원: 인메모리 가속기 조절 변수를 컴파일러 기반 튜닝 루프에 통합하여, 소프트웨어 변환과 하드웨어 수준의 파라미터를 검색 공간의 일급 차원으로 취급하는 최초의 프레임워크입니다.
3. HDC 특화 가지치기 기술: 근사 검색 공간을 최대 $10^{89}$에서 $10^3$으로 줄임으로써(예시) 검색 공간을 효과적으로 축소합니다. 이는 자동화된 도메인 인지형 가지치기와 개발자 주석을 결합하여 몇 분 내에 고품질 구성을 발견할 수 있게 합니다.
4. 포괄적인 평가: 4개의 벤치마크(HD-Classification, HD-Clustering, RelHD, HD-HashTable)와 다수의 데이터셋에 대한 광범한 평가를 통해, 사용자 지정 QoS 제약 조건을 준수하면서 상당한 속도 향상을 입증했습니다.

실험 결과

평가는 AMD EPYC CPU, NVIDIA RTX 2080 Ti GPU, 그리고 SpecPCM 시뮬레이터를 대상으로 수행되었습니다.

• 성능 향상: ApproxHDC는 QoS 제약 조건(일반적으로 5% 이내의 정확도 손실 또는 특정 NMI 임계값)을 유지하면서 CPU에서 최대 17.25배, GPU에서 15.02배, SpecPCM에서 4.69배의 속도 향상을 달ert했습니다.
• 최신 기술과의 비교: Python 기반의 비컴파일러 방식인 MicroHD 프레임워크와 비교했을 때, ApproxHDC는 3.49배의 속도 우위를 보였습니다. 특정 분류 벤치마크에서 ApproxHDC는 MicroHD의 최선인 7.07배 속도 향상과 비교하여 24.65배의 속도 향상(4.8% 정확도 손실 발생)을 제공하는 구성을 찾아냈습니다. 이러한 격차는 MicroHD가 접근할 수 없었던 연산별 리덕션 퍼포레이션 및 알고리즘 선택을 탐색할 수 있는 ApproxHDC의 능력 덕분입니다.
• 검색 효율성: 가지치기 기술이 결정적이었습니다. 가지치기 없이는 3시간의 튜닝 예산 내에 최적의 구성을 찾는 것이 불가능했습니다. 예를 들어, HD-Classification에서 힌트 없이 전체 리덕션 퍼포레이션을 허용하면 튜너가 고성능 구성을 찾지 못했지만, "End-only + hint" 구성은 최적의 설정을 성공적으로 식별했습니다.
• 하드웨어 근사: SpecPCM에서 튜너는 하드웨어 조절 변수(예: ADC 해상도 감소, 양자화 스케일 조정)를 소프트웨어 파라미터(예: 훈련 반복 횟수 감소)와 성공적으로 균형 있게 조절하여, 최소한의 정확도 영향으로 상당한 에너지 및 레이턴시 감소를 달성했습니다.

의의 및 주장

본 논문은 HDC의 이론적 노이즈 내성과 복잡한 근사 공간을 수동으로 튜닝하는 실무적 어려움 사이의 간극을 ApproxHC가 메운다고 주장합니다. 컴파일러 기반의 자동화된 프로세스로 근사를 처리함으로써 본 프레임워크는 다음을 가능하게 합니다:

• 재타겟팅 가능성(Retargetability): 단일 HDC++ 애플리케이션을 여러 타겟 특화 버전을 유지 관리할 필요 없이 다양한 하드웨어 백엔드에 최적화할 수 있습니다.
• 확장성(Scalability): 지능적인 가지치기를 통해 기하급수적으로 큰 설계 공간을 탐색함으로써, 자동 튜닝을 실제 애플리케이션에서 실행 가능하게 만듭니다.
• 전체론적 최적화(Holistic Optimization): 알고리즘 계층과 물리 계층 모두에서 HDC의 특정한 노이즈 내성을 활용하여 소프트웨어 및 하드웨어 근사를 공동으로 최적화하는 독보적인 능력을 제공합니다.

저자들은 단일 가지치기 전략이 모든 애플리케이션에서 일관되게 최고 성능을 달성하지는 않는다는 점을 강조하며, 개발자에게 검색을 생산적으로 가이드할 수 있는 메커즘을 제공하는 것이 중요함을 역설합니다. 본 연구는 적절한 컴파일러 인프라와 튜닝 전략이 뒷받침된다면, HDC가 이종 플랫폼에서 수용 가능한 추론 품질을 유지하면서도 상당한 성능 및 에너지 이득을 얻을 수 있음을 보여줍니다.