Floating-point autotuning with customized precisions

기술 요약: 맞춤형 정밀도를 활용한 부동 소수점 오토튜닝

문제 정의
저정밀도 산술(Reduced-precision arithmetic)은 수치 연산 애플리케이션, 특히 하드웨어 가속기(예: GPU, FPGA)가 비표준 및 저정밀도 형식을 점점 더 많이 지원함에 따라 성능, 메모리 사용량 및 에너지 효율을 개선할 수 있는 상당한 잠재력을 제공한다. 그러나 특정 애플리케이션에 대한 최적의 정밀도 구성을 결정하는 것은 매우 어렵다. 표준 배정밀도(FP64)는 종종 과잉 프로비저닝되어 있으며, 정밀도를 무분별하게 줄이면 수치적 안정성과 정확성이 훼손될 수 있다. 기존의 정밀도 튜닝 도구들은 표준 IEEE 754 형식(FP16, FP32, FP64)에 국한되거나, 새로운 하드웨어에서 요구되는 맞춤형 비트 폭 구성(예: 특정 지수 및 가수 크기)을 탐색하는 유연성이 부족한 경우가 많다. 또한, 대규모 코드베이스에 대해 방대한 혼합 정밀도 구성 공간을 탐색하는 데 드는 계산 비용은 실제 배포의 장벽으로 남아 있다.

방법론
저자들은 델타 디버깅(delta debugging)과 이산 확률 산술(Discrete Stochastic Arithmetic, DSA)에 기반한 자동 정밀도 튜닝 도구인 PROMISE(PRecision OptiMISE)의 향상된 버전을 제안한다. 이 방법론은 세 가지 핵심 구성 요소를 통합한다:

1. FloatX를 통한 맞춤형 정밀도 에뮬레이션: 이 도구는 사용자 정의 부동 소수점 형식을 지원하기 위해 FloatX라는 C++ 헤더 전용 라이브러리를 통합하여 확장되었다. 지수/가수 크기를 고정하거나 메모리 기반 할당(MPFR와 같은)에 의존하는 표준 라이브러리와 달리, FloatX는 사용자가 지수($e$)와 가수($t$)에 대한 정확한 비트 할당을 지정할 수 있게 한다. PROMISE는 이를 활용하여 비표준 형식(예: E5M2, E4M3) 및 맞춤형 구성을 단일 혼합 정밀도 프레임워크 내에서 에뮬레이션할 수 있다. 현실적인 에뮬레이션을 보장하기 위해, 저자들은 C++ 함수 오버로딩을 사용하여 수학 함수(예: sin, exp)의 맞춤형 정밀도 버전을 구현하였으며, 이를 통해 계산 전후에 입력과 출력이 대상 정밀도로 반올림되도록 보장하였다.
2. CADNA를 통한 수치 검증: PROMISE는 계산에서 올바른 유효 숫자의 수를 추정하기 위해 DSA를 구현한 CADNA 라이브러리를 활용한다. CADNA는 무작위 반올림 모드로 코드를 실행함으로써 수치적 정확도에 대한 통계적 추정치를 제공하고 수치적 불안정성을 감지한다. 이를 통해 PROMISE는 FP64를 참조값으로 사용하는 방식의 불확실성을 피하면서(즉, 낮은 정밀도 비교를 위한 기준으로서의 FP64의 신뢰성 문제를 피하면서), 사용자 정의 정확도 제약 조건(예: 특정 유효 숫자 개수)을 만족하는지 여부를 검증할 수 있다.
3. 델타 디버깅 탐색 전략: 이 도구는 가장 낮은 정밀도 구성을 체계적으로 찾기 위해 델타 디버깅 알고리즘을 채택한다. 탐색은 고정밀도 베이스라인에서 시작하여 변수의 정밀도를 반복적으로 낮춘다. 만약 구성이 정확도 요구 사항을 충족하면 탐색은 해당 방향으로 계속 진행되며, 그렇지 않으면 백트래킹(backtrack)한다. 저자들은 정밀도 유형이 단위 반올림 오차(unit roundoff)에 따라 정렬되고, 연속된 유형 쌍 사이에서 델타 디버깅이 반복적으로 적용되는 다단계 전략을 구현하였다.
4. 컨테이너화된 벤치마킹 프레임워크: 탐색에 드는 높은 계산 비용을 해결하기 위해, 저자들은 컨테이너화된 벤치마킹 프레임워크를 개발하였다. 이 프레임워크는 PROMISE를 병렬 파이프라인으로 래핑하며, 로컬 병렬성(GNU Parallel 활용)과 분산 실행(MPI 기반 Python 스케줄러 활용)을 모두 지원한다. 이를 통해 서로 다른 파라미터 구성에 따른 여러 알고리즘 커널을 동시에 실행할 수 있어 전체 실행 시간을 크게 단축할 수 있다.

주요 기여

1. 맞춤형 형식을 지원하는 확장된 PROMISE: 본 논문은 가수와 지수에 대한 비트 수를 정의함으로써 부동 소수점 산술을 지정할 수 있게 하는 새로운 버전의 PROMISE를 소개한다. 이를 통해 사용자는 특정 하드웨어 제약(예: FPGA)이나 신흥 저정밀도 형식에 맞춘 비표준 정밀도 구성을 탐색할 수 있다.
2. 확장 가능한 벤치마킹 인프라: 저자들은 대규모 배포를 위해 설계된 혼합 정밀도 벤치마킹 도구를 개발하였다. 여기에는 수치 알고리즘을 위한 시뮬레이션 벤치마크 세트와 프로세스 수준의 병렬성을 통해 정밀도 튜닝 실험의 실행 시간을 약 3.4배 단축(테스트 결과 약 13시간에서 3시간으로 단축)하는 병렬 실행 프레임워크가 포함된다.
3. 포괄적인 경험적 검증: 제안된 방식은 선형 솔버(밀집 및 희소 LU 분해)와 Rodinia 벤치마크 세트의 애플리케이션(Back Propagation, HotSpot, Particle Filter, SRAD)을 포함하는 일련의 수치 프로그램에서 검증되었다.

결과
실험은 두 가지 정밀도 조합(I: E5M2-FP16-FP32-FP64, II: E5M2-BF16-FP32-FP64)을 다양한 정확도 요구 사항(1~10 유효 숫자)에 대해 평가하였다.

• 정밀도 감소: 결과는 상당한 비율의 변수들이 안전하게 낮은 정밀도로 감소될 수 있음을 보여준다. 평균적으로 **43%**의 변수는 32비트 정밀도 이하로 표현될 수 있으며, **28%**는 16비트 정밀도 이하로 감소될 수 있다.
• FP64의 과잉 프로비저닝: 본 연구는 많은 과학 계산 작업에서 표준 배정밀도가 종종 과잉 프로비저닝되어 있음을 확인한다.
• 맞춤형 형식의 유용성: 맞춤형 형식인 E5M2는 상당 부분의 변수(변수의 평균 23%)에 대해 실행 가능하다는 것이 밝혀졌으며, E4M3 또한 유사한 비율을 보였다.
• 알고리즘별 민감도: 분석 결과 정밀도 요구 사항은 알고리즘 구성 요소마다 다르다는 점이 드러났다. 예를 들어, Back Propagation에서는 시그모이드 활성화 경로가 지수 계산을 안정화하기 위해 더 높은 정밀도를 요구한 반면, LU 분해에서는 피보팅(pivoting) 연산이 8비트 형식을 허용할 수 있었다.

의의 및 주장
본 논문은 맞춤형 형식을 지원하도록 확장된 자동 정밀도 튜닝이 애플리케이션 특화 정확도 요구 사항에 맞춘 효율적인 혼합 정밀도 구성을 도출할 수 있다고 주장한다. 저자들은 이 연구를 과학계의 가이드로 위치시키며, 수동 개입 없이도 상당한 성능 및 자원 이득을 얻을 수 있음을 입증한다. FloatX와 병렬 벤치마킹 프레임워크의 통합은 형식의 유연성과 탐색의 확장성이라는 두 가지 과제를 해결한다. 저자들은 현재의 작업이 직접적인 선형 솔버 및 특정 커널에 집중되어 있지만, 향후 작업에서는 반복 솔버(iterative solvers)와 혼합 정밀도 수치 커널(예: Krylov 방법을 위한)을 튜닝 과정에 통합할 것이라고 겸허히 언급하였다. 이 도구와 벤치마크는 이 분야의 추가 연구를 촉진하기 위해 커뮤니티에 공개된다.