🤖 machine learning

Neural Network Training with Approximate Logarithmic Computations

본 논문은 고정 소수점 산술을 이용한 근사 로그 수 체계 연산을 사용하여 엔드 투 엔드 딥 뉴럴 네트워크 학습 및 추론 방 scheme을 제안하며, 16비트 로그 도메인 처리가 하드웨어 곱셈기의 필요성을 제거하면서도 부동 소수점 베이스라인의 약 1% 이내의 분류 정확도를 달성함을 입증한다.

원저자: Arnab Sanyal, Peter A. Beerel, Keith M. Chugg

게시일 2019-10-22

📖 3 분 읽기☕ 가벼운 읽기

원저자: Arnab Sanyal, Peter A. Beerel, Keith M. Chugg

✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 세계에서 컴퓨터는 사진 속의 고양이를 식별하는 것부터 음성 언어를 이해하는 것에 이르기까지, 패턴을 인식하는 데 매우 탁월해졌습니다. 이러한 능력은 수많은 단순한 처리 단위들을 서로 연결함으로써 인간의 뇌가 정보를 처리하는 방식을 모방하도록 설계된 신경망이라는 유형의 소프트웨어에서 비롯됩니다. 이러한 네트워크를 똑똑하게 만들기 위해서는 방대한 양의 데이터를 사용하여 학습시켜야 하며, 이 과정은 컴퓨터가 수십억 번의 복잡한 계산을 수행할 것을 요구합니다. 전통적으로 이러한 계산은 곱셈에 크게 의존하는데, 곱셈은 수학적으로는 단순하지만 빠르게 수행하기 위해서는 상당한 에너지와 특화된 하드웨어가 필요합니다. 우리가 스마트폰이나 센서와 같이 배터리로 구동되는 더 작은 기기에서 이러한 지능형 시스템을 실행하려고 할 때, 곱셈에 대한 과도한 수요는 병목 현상이 되어 전력을 소모하고 학습 과정을 늦춥니다.

서던 캘리포니아 대학교의 한 연구팀은 이러한 계산을 처리하는 다른 방법을 제안했으며, 이는 이 네트워크들의 학습을 훨씬 더 효율적으로 만들 수 있습니다. 그들은 전통적인 방식에서 요구되는 표준 곱셈을 수행하는 대신, 모든 숫자를 로그 형식으로 변환할 것을 제안합니다. 이 시스템에서는 두 숫자를 곱하는 어려운 작업이 두 숫자를 서로 더하는 훨씬 더 단순한 작업으로 대체됩니다. 이러한 변환은 유망해 보이지만, 새로운 과제를 도입합니다. 즉, 이 로그 형식에서 숫자를 더하는 것은 표준 덧셈만큼 간단하지 않으며, 제대로 작동하기 위해서는 대개 복잡한 룩업 테이블(look-up tables)이나 근사치를 필요로 합니다. 연구진은 최종 결과의 정확도를 해치지 않으면서, 하드웨어가 구축하기 쉬운 거친 근사치를 사용하여 이러한 덧셈을 더욱 단순화할 수 있는지 확인하고자 했습니다.

연구진은 신경망의 전체 학습 및 테스트 과정이 이 로그 세계 안에서 이루어지는 완전한 시스템을 개발했습니다. 그들은 표준 곱셈 단계를 덧셈으로 대체하였고, 로그 덧셈의 까oli운 부분들을 두 가지 특정 지름길을 사용하여 처리했습니다. 한 가지 지름길은 마치 커닝 페이퍼와 유사한, 미리 계산된 값들이 담긴 작은 테이블을 사용하는 것이며, 다른 하나는 컴퓨터가 2의 거듭제곱을 곱하는 빠른 방법인 단순 비트 시프팅(bit-shifting) 기술을 사용합니다. 그들의 아이디어를 테스트하기 위해, 그들은 신경망의 디지털 시뮬레이션을 구축하고 필기된 숫자와 의류 이미지를 포함한 몇 가지 잘 알려진 이미지 데이터셋으로 이를 학습시켰습니다. 그들은 자신들의 새로운 로그 방식과 현재 대부분의 강력한 컴퓨터에서 사용되는 표준 고정밀 부동 소수점 방식을 비교했습니다.

결과는 놀라울 정도로 고무적이었습니다. 연구진이 숫자에 대해 16비트 표현을 사용했을 때, 로그 방식은 표준 부동 소수점 방식의 약 1% 이내의 오차 범위 내에서 분류 정확도를 달rem했습니다. 이는 단순화된 수학과 근사치를 사용했음에도 불구하고, 네트워크가 전통적인 시스템만큼이나 잘 이미지를 인식하도록 학습했음을 의미합니다. 그들은 단 20개의 항목만을 포함하는 매우 작은 룩업 테이블을 사용하더라도 시스템이 잘 작동한다는 것을 발견했으며, 많은 경우 단순한 비트 시프팅 지름길만으로도 높은 정확도를 유지하기에 충분했습니다. 이 연구는 많은 일반적인 작업에 있어, 로그 영역에서의 16비트 고정 소수점 표현이 훨씬 더 복잡한 부동 소수점 연산의 성능에 도달하기에 충분하다는 것을 시사합니다.

이 작업은 덧셈 연산이 이러한 특정 근사치들로 처리된다면, 값비싼 곱셈 하드웨어에 의존하지 않고도 심층 신경망을 학습시키는 것이 가능하다는 것을 보여줍니다. 연구진은 정확도의 저하가 미미하다는 것을 보여주었으며, 이는 향성 하드웨어 설계가 학습 및 추론 작업을 위해 곱셈기를 완전히 제거할 수도 있음을 시사합니다. 이는 기기들을 더 작고, 더 빠르며, 더 에너지 효율적으로 만들어, 데이터를 대형 서버로 다시 보낼 필요 없이 엣지(edge)에서 직접 학습하고 적응할 수 있게 할 것입니다. 비록 이 연구가 특정 유형의 네트워크와 데이터셋에 집중되었지만, 이 결과는 고급 인공지능을 일상적인 기기에서 더 접근 가능하고 실용적으로 만들기 위한 실행 가능한 경로를 나타냅니다.

기술 요약: 근사 로그 연산을 이용한 신경망 학습

문제 정의
심층 신경망(DNN) 학습과 관련된 높은 계산 복잡도는 엣지 디바이스에서의 온라인 및 실시간 학습 가능성을 제한한다. 그래픽 처리 장치(GPU)는 방대한 하드웨어 곱셈-누산(MAC) 가속기를 제공하지만, 이는 범용적이며 DNN 처리를 위해 하드웨어를 효율적으로 활용하지 못할 수 있다. 맞춤형 하드웨어 가속기는 공동 설계(co-design)를 통해 속도와 에너지 효율을 개선할 수 있는 경로를 제공하지만, MAC 유닛 내 곱셈 회로의 지배적인 비중은 여전히 중요한 병목 현상으로 남아 있다. 기존의 복잡도 감소 방법들은 주로 희소성(sparsity), 가지치기(pruning) 또는 양자화(quantization)에 집중되어 있으나, MAC 유닛 자체의 복잡도를 근본적으로 줄이는 접근 방식이 필요하다.

방법론
본 논문은 로그 수 체계(LNS)를 사용하여 모든 연산을 로그 영역에서 수행함으로써 곱셈을 제거하는 DNN용 엔드 투 엔드(end-to-end) 학습 및 추론 기법을 제안한다. LNS에서 실수 $v$ 는 그 절댓값의 로그( $V = \log_2 |v|$ )와 부호( $s_v$ )로 표현된다. 이러한 변환은 선형 영역의 곱셈을 로그 영역의 덧셈으로 전환한다.

LNS의 주요 과제는 로그의 합을 처리하기 위해 복잡한 $\Delta$ 항( $\Delta_+$ 및 $\Delta_-$ )을 계산해야 하는 로그 영역 덧셈 연산이다. 이를 해결하기 위해 저자들은 하드웨어 친화적 기법에서 영감을 얻은 저복잡도 근사법을 제안한다:

룩업 테이블(LUTs): 로그 값 사이의 차이를 $d$ 라고 할 때, $\Delta_\pm(d)$ 를 위한 사전 계산된 테이블.
비트 시프트 근사(Bit-Shift Approximations): 부호 있는 산술 연산을 처리하기 위해 기존의 비트 시프트 방식을 일반화한 것. 이러한 근사법은 특정 해상도를 가진 LUT의 특수한 사례임이 입증되었다.

학습 절차는 고정 소수점 데이터 표현을 사용하여 전적으로 로그 영역에서 구현된다. 저자들은 표준 DNN 구성 요소들을 이 영역에 맞게 조정하였다:

활성화 함수: Leaky-ReLU를 log-leaky ReLU(llReLU)로 변환하였다.
가중치 초기화: 대칭 분포를 로그 영역으로 변환하며, 이때 부호는 베르누이 변수가 된다.
Soft-max: Soft-max 레이어와 크로스 엔트로피 비용을 로그 영역 연산에 맞게 재구성하였다.
고정 소수점 분석: 본 논문은 비트 폭 요구 사항을 분석하며, 최악의 경우 분석에서는 로그 영역 표현이 선형 영역의 동등한 표현보다 더 많은 비트를 필요로 하는 것으로 나타나지만, 경험적 결과는 이들이 유사할 수 있음을 시사한다고 언급한다.

주요 기여

엔드 투 엔드 로그 영역 학습: 저자들은 곱셈기가 필요 없는 근사 LNS 연산을 사용하는 DNN용 완전한 학습 및 추론 파이프라인을 입증하였다.
일반화된 비트 시프트 근사: 기존의 비트 시프트 근사법을 부호 있는 산술 연산에 적용 가능하도록 확장하였으며, 특정 LUT 구성과의 등가성을 확립하였다.
고정 소수점 구현: 활성화 함수, 가중치 초기화 및 soft-max 레이어에 대한 특정 적응 방식을 포함하여, 고정 소수점 LNS를 이용한 DNN 학습을 위한 포괄적인 프레임워크를 제공한다.

실험 결과
저자들은 다층 퍼셉트론(MLP) 구조를 사용하여 네 가지 데이터셋(MNIST, Fashion-MNIST, EMNIST-Digits, EMNIST-Letters)에서 제안된 방법을 평가하였다. 이들은 12비트 및 16비트 고정 소수점 구현을 선형 영역과 로그 영역(LUT 및 비트 시프트 근사 모두 사용)에서 부동 소수점 베이스라인과 비교하였다.

정확도: 16비트 로그 기반 학습은 테스트된 데이터셋 전체에서 동등한 부동 소수점 베이스라인의 약 1% 이내의 분류 정확도를 달acia하였다.
근사 민감도: 로그 영역 soft-max 레이어는 다른 연산보다 근사 오차에 더 민감한 것으로 나타났으며, 표준 연산(20개 요소)에 비해 더 높은 해상도의 LUT(640개 요소)를 필요로 하였다.
비트 시프트 성능: 더 작은 LUT와 동등한 것으로 볼 수 있는 단순 비트 시프트 근사법은 많은 경우에서 양호한 분류 성능을 제공하였으나, 일반적으로 LUT가 약간 더 나은 결과를 냈다.
정밀도: 로그 영역의 16비트 고정 소수점 표현은 부동 소수점 연산의 정확도에 근접하기에 충분하였으며, 12비트 구현은 약간 더 높은 성능 저하를 보였다.

의의 및 주장
본 논문은 제안된 접근 방식이 곱셈기 없이 DNN 학습 및 추론을 위한 하드웨어 구현을 가능하게 하여, 구현 복잡도와 에너지 소비를 잠재적으로 크게 줄일 수 있다고 주장한다. 저자들은 다음과 같이 결론짓는다:

max 연산, 가산기 및 $\Delta$ 항을 위한 LUT 기반 근사를 사용하여 로그 영역 덧셈을 근사하면, 선형 처리와 비교하여 분류 정확도에서 완만한 저하만을 발생시킨다.
16비트 고정 소수점 표현은 부동 소수점 연산과 대등한 성능을 달성하기에 충분하다.
대부분의 연산에는 크기 20의 LUT가 충분하며, 단순 비트 시프트 근사는 많은 시나리오에서 실행 가능한 대안이다.

저자들은 실제 배포와 관련하여 신중한 입장을 유지하며, 이 접근 방식이 바람직하려면 근사 로그 영역 가산기의 회로 구현 복잡도가 곱셈기보다 현저히 낮아야 한다고 언급한다. 이들은 향 far 연구 방향으로 이 방법을 더 큰 합성곱 신경망(CNN)에 적용하는 것과, 정확도와 하드웨어 복잡도 모두를 고려하여 $\Delta$ 항 근사를 공동 최적화하는 것을 제시한다.

유사한 논문