Hardware Efficient Approximate Convolution with Tunable Error Tolerance for CNNs

이 논문은 기존 경량화 기법의 한계를 극복하기 위해 가장 중요한 비트 (MSB) 를 기반으로 한 '소프트 희소성' 패러다임을 제안하여, ReLU 및 Tanh 활성화 함수를 사용하는 CNN 에서 정확도 손실 없이 연산량을 대폭 줄이고 전력 효율을 극대화하는 하드웨어 친화적인 근사 컨볼루션 방법을 제시합니다.

핵심

1. 문제 상황: "무거운 가방을 들고 가는 여행"

현대 인공지능 (CNN) 은 이미지 인식이나 얼굴 인식 같은 일을 아주 잘하지만, 그 계산량이 어마어마합니다. 마치 수백 권의 책을 모두 들고 여행을 가는 것과 같습니다.

• 기존의 해결책 (단단한 희소성, Hard Sparsity): "책 중에는 **완전히 빈 페이지 (0)**만 있는 것들이 있잖아? 그건 빼고 가자!"라는 방법입니다.
• 한계: 하지만 깊은 층으로 갈수록 '완전히 빈 페이지'는 거의 사라집니다. 특히 'Tanh'라는 부드러운 활성화 함수를 쓰면 빈 페이지가 아예 없습니다. 그래서 기존 방법으로는 더 이상 책을 줄일 수 없게 됩니다.

2. 새로운 아이디어: "약간은 덜 읽어도 되는 페이지 건너뛰기 (Soft Sparsity)"

이 논문은 **"완전히 빈 페이지뿐만 아니라, 내용이 아주 얇고 중요하지 않은 페이지도 건너뛰자"**는 발상을 제시합니다.

• 비유: 책을 읽을 때, 모든 단어를 꼼꼼히 읽지 않아도 됩니다.
  • 책의 한 장에 **"거대한 제목"**이 있고, 그 옆에 **"미세한 점 하나"**가 있다고 칩시다.
  • 우리는 그 '미세한 점'을 읽는 데 시간을 낭비할 필요가 없습니다. 제목만 봐도 전체적인 내용을 알 수 있으니까요.
  • 인공지능도 마찬가지입니다. 어떤 숫자 계산 결과가 전체 결과에 거의 영향을 주지 않는다면, 그 계산을 아예 안 해도 됩니다.

3. 핵심 기술: "계산기 없이 크기만 재는 눈 (MSB)"

그렇다면 "어떤 계산이 중요하고, 어떤 게 중요하지 않은지" 어떻게 알까요? 진짜 계산을 해보면 시간이 걸리니까, 이 논문은 계산기 없이 눈으로만 대충 크기를 재는 방법을 썼습니다.

• 비유: 두 개의 물건을 비교할 때, 저울에 올려 무게를 재지 않고 크기 (부피) 만 보고 판단하는 것과 같습니다.
  • 컴퓨터는 숫자를 2 진법 (0 과 1) 으로 저장합니다. 이때 **가장 왼쪽에 있는 1 의 위치 (MSB)**만 보면, 그 숫자가 대략 얼마나 큰지 알 수 있습니다.
  • 예: "10000"과 "1"을 비교할 때, 10000 은 1 보다 훨씬 큽니다. 이걸 계산하지 않고도 10000 의 '가장 왼쪽 1' 위치만 봐도 알 수 있죠.
  • 이 논문의 칩은 이 **'가장 왼쪽 1 의 위치'**만 빠르게 비교해서, "아, 이 계산은 결과에 별 영향 안 주네? 그냥 넘어가자!"라고 결정합니다.

4. 하드웨어 구현: "스마트한 계산기"

이론만 좋은 게 아니라, 실제로 **RISC-V(리스크 5)**라는 오픈 소스 프로세서에 이 기능을 추가했습니다.

• 기존 프로세서가 모든 계산을 똑똑하게 해내려다 지치는 반면, 이 새로운 프로세서는 "중요하지 않은 계산은 아예 하지 않고, 전기도 아껴쓰는" 방식으로 작동합니다.
• 마치 스마트한 요리사가 모든 재료를 다 다지는 게 아니라, 양파 한 조각처럼 아주 작은 건 다지지 않고 넘어가는 것과 같습니다.

5. 실제 효과: "전기는 35% 줄이고, 맛은 그대로!"

이 방법을 LeNet-5(아주 유명한 간단한 인공지능 모델) 에 적용해 본 결과는 놀랍습니다.

• ReLU(일반적인 활성화 함수) 사용 시:
  • 계산량 (곱셈) 을 88% 이상 줄였습니다. (100 번 중 12 번만 계산!)
  • 정확도는 100% 그대로 유지되었습니다.
• Tanh(부드러운 활성화 함수) 사용 시:
  • 기존 방법으로는 아예 줄일 수 없었는데, 이 방법으로 75% 이상 줄였습니다.
  • 정확도 역시 100% 그대로였습니다.

전력 소모:
계산 횟수가 줄었으니 전기도 덜 먹습니다. 다만, 메모리 접근 비용도 있기 때문에 계산량 감소만큼 전기가 줄지는 않지만, 그래도 약 30~35% 의 전력을 절약할 수 있었습니다.

요약

이 논문은 **"인공지능이 계산할 때, 중요한 것만 골라서 계산하고, 중요하지 않은 건 아예 무시해버리는 똑똑한 방법"**을 개발했습니다.

• 기존: "빈 페이지 (0) 만 빼고 가자." (한계가 있음)
• 이 논문: "빈 페이지뿐만 아니라, 내용도 아주 얇은 페이지도 빼고 가자. 크기가 너무 작으면 계산 안 해도 돼!" (훨씬 더 효과적)

이 덕분에 스마트폰이나 사물인터넷 (IoT) 기기 같은 전기가 귀한 작은 기기에서도 무거운 인공지능을 빠르고 가볍게 실행할 수 있는 길이 열렸습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

현대적인 합성곱 신경망 (CNN) 은 이미지 분류, 얼굴 인식 등 다양한 분야에서 탁월한 성능을 보이지만, 리소스가 제한된 엣지 디바이스 (Edge Devices) 에 배포하기에는 전력 소모가 크고 계산량이 방대하다는 문제가 있습니다.

• 기존 방법의 한계 (Hard Sparsity): 기존 연구들은 주로 '수학적 0 (Mathematical Zero)'을 가진 가중치나 입력을 건너뛰는 '하드 스퍼시티 (Hard Sparsity)' 기법을 사용했습니다. 그러나 깊은 레이어로 갈수록 0 의 비율이 급격히 감소하며, 특히 Tanh 와 같은 부드러운 활성화 함수 (Smooth Activation Function) 를 사용할 경우 0 이 거의 발생하지 않아 기존 생략 기법이 무효화됩니다. ReLU 의 경우에도 20~50% 정도의 0 비율만 보장되므로 효율성에 한계가 있습니다.
• 하드웨어 오버헤드: CSR/CSC 와 같은 압축 포맷을 사용하는 전용 하드웨어는 인덱싱 및 제어 오버헤드가 커서 전력 소모가 증가할 수 있습니다.
• 핵심 문제: 0 이 아니더라도 출력에 기여도가 미미한 (Negligible) 곱셈 연산을 어떻게 효율적으로 생략하여 연산량과 전력을 줄일 것인가?

2. 제안된 방법론 (Methodology)

이 논문은 "소프트 스퍼시티 (Soft Sparsity)" 라는 새로운 패러다임을 제안합니다. 이는 수학적 0 여부와 상관없이, 최종 출력에 기여도가 낮은 곱셈 연산을 선택적으로 생략하는 하드웨어 효율적인 근사 전략입니다.

• 핵심 알고리즘 (MSB 기반 근사):

  • 두 수의 곱셈 결과 ($P = a \times b$) 의 크기는 각 인수의 가장 중요한 비트 (MSB, Most Significant Bit) 위치의 합으로 근사할 수 있습니다. ($MSB(P) \approx MSB(a) + MSB(b)$)
  • 실제 곱셈을 수행하기 전에, 입력값과 가중치의 MSB 위치를 추출하여 합산합니다.
  • 이 합산된 값이 미리 정의된 임계값 (Tunable Threshold, $T$) 보다 작으면, 해당 곱셈 연산이 전체 합산에 미치는 영향이 미미하다고 판단하여 곱셈을 생략합니다.
  • 이 과정은 곱셈기 (Multiplier) 를 사용하지 않고 MSB 추출 및 비교 연산만으로 이루어지므로 하드웨어 비용이 매우 낮습니다.

• 하드웨어 구현 (RISC-V 커스텀 인스트럭션):

  • 32 비트 RISC-V 프로세서 (RI5CY 코어) 에 커스텀 인스트럭션 (conv_approx()) 을 통합했습니다.
  • 5 단계 유한 상태 기계 (FSM) 를 사용하여 구현되었으며, 단계는 다음과 같습니다:
    1. IDLE/GET_DATA: 데이터 로딩.
    2. STAGE_1 (MSB 분석): 입력과 필터의 MSB 위치를 추출.
    3. STAGE_2 (Pruning & Multiplication): 최대 MSB 합산값과 비교하여 임계값 이하인 곱셈을 생략하고 유효한 곱셈만 수행.
    4. STAGE_3 (Accumulation): 선택된 부분 곱들을 누적.
    5. DONE: 결과 출력 및 리셋.
  • 이 커스텀 블록은 프로세서의 실행 단계 (Execute Stage) 에 통합되어 기존 파이프라인과 동기화됩니다.

3. 주요 기여 (Key Contributions)

1. 소프트 스퍼시티 패러다임: 수학적 0 이 아닌 '미미한 기여도'를 기준으로 연산을 생략하여, ReLU 뿐만 아니라 Tanh 와 같은 부드러운 활성화 함수에서도 높은 효율성을 달성.
2. 저비용 하드웨어 근사: 곱셈 없이 MSB 위치 비교만으로 연산 생략 여부를 결정하여 하드웨어 오버헤드 (제어, 인덱싱) 를 최소화.
3. 가변적 오류 허용 (Tunable Error Tolerance): 사용자가 허용 가능한 오류 수준에 따라 임계값을 조절하여 정확도와 효율성 사이의 균형을 유연하게 설정 가능.
4. RISC-V 통합: 오픈 소스 RISC-V 아키텍처에 커스텀 인스트럭션을 성공적으로 통합하여 실제 프로세서 환경에서의 타당성을 입증.

4. 실험 결과 (Results)

MNIST 데이터셋을 사용하여 LeNet-5 아키텍처로 실험한 결과는 다음과 같습니다.

• MAC 연산 감소율:
  • ReLU 활성화 함수: 전체 곱셈 연산 (MACs) 의 88.42% 를 감소시켰으며, 정확도 손실 없이 (Accuracy 유지) 추론 수행 가능.
  • Tanh 활성화 함수: 0 이 존재하지 않는 환경에서도 전체 곱셈의 74.87% 를 감소시키며 정확도를 유지.
  • 이는 기존 하드 0 생략 기법 대비 5 배 이상의 연산 감소 효과를 보입니다.
• 전력 소모 감소:
  • 곱셈기 클럭 게이팅 (Clock Gating) 을 통해 전력을 절감합니다. 메모리 접근이 전력 소모의 주원인임을 고려할 때, MAC 감소에 비례하지는 않지만 여전히 유의미한 감소를 보입니다.
  • ReLU: 추론당 전력 35.2% 감소.
  • Tanh: 추론당 전력 29.96% 감소.
• 오차 분석:
  • 임계값 설정에 따라 평균 절대 오차는 1% 미만을 유지하며, 시각적으로 출력 특징 (Feature Maps) 의 차이는 거의 감지되지 않았습니다.

5. 의의 및 결론 (Significance)

이 연구는 CNN 의 연산 효율성을 높이기 위해 기존의 '0 만을 찾는' 접근법을 넘어, '중요도가 낮은 값'까지 포괄적으로 생략하는 새로운 패러다임을 제시했습니다.

• 활성화 함수의 제약 해소: ReLU 에 의존하지 않고 Tanh 등 다양한 활성화 함수에서도 높은 효율을 얻을 수 있어 모델 설계의 유연성을 높였습니다.
• 엣지 AI 가속화: 곱셈 연산의 대폭 감소와 이를 통한 전력 절감은 배터리 기반의 엣지 디바이스에서의 CNN 배포를 현실화하는 중요한 기술적 기여입니다.
• 확장성: RISC-V 와 같은 개방형 아키텍처에 쉽게 통합 가능하여, 향후 다양한 저전력 AI 가속기 개발의 기초 기술로 활용될 수 있습니다.

결론적으로, 이 논문은 정확도를 희생하지 않으면서도 하드웨어 자원을 극도로 효율적으로 활용할 수 있는 새로운 근사 연산 기법을 제안하고, 이를 통해 CNN 추론의 전력 및 연산 비용을 획기적으로 낮출 수 있음을 입증했습니다.