⚡ electrical engineering

FrequencyFormer: A Co-Designed Sensor-to-Processor Pipeline for Frequency-Domain Vision Transformer Inference

FrequencyFormer는 멀티 스케일 DCT 토크나이저와 근접 센서 하드웨어를 활용하여 시각 데이터를 주파수 영역으로 압축함으로써, 엣지 시스템에서 효율적인 비전 트랜스포머 추론을 가능하게 하는 동시에 오프칩 데이터 볼륨과 에너지 소비를 획기적으로 줄이는 공동 설계된 센서-프로세서 파이프라인이다.

원저자: Chengwei Zhou, Ovishake Sen, Xuming Chen, Rishith Paramasivam, Shaahin Angizi, Swarup Bhunia, Baibhab Chatterjee, Gourav Datta

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chengwei Zhou, Ovishake Sen, Xuming Chen, Rishith Paramasivam, Shaahin Angizi, Swarup Bhunia, Baibhab Chatterjee, Gourav Datta

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

고성능 보안 카메라(센서)와 사진을 보고 상황을 파악해야 하는 똑똑한 두뇌(프로세서)가 있다고 상상해 보세요. 보통 이 둘은 서로 다른 칩에 나누어져 있습니다.

문제는 무엇일까요? 고화한 사진 전체를 카메라에서 두뇌로 보내는 것은, 누군가에게 고양이 사진 한 장을 보여주기 위해 거대하고 무거운 백과사전 한 권을 우편으로 보내는 것과 같습니다. 이는 많은 에너지와 대역폭을 소모하며 속도를 늦춥니다. 설령 두뇌가 아주 빠르게 생각할 수 있게 되더라도, 여전히 그 무거운 "백과사전"이 도착하기만을 기다리며 대부분의 시간과 에너지를 낭비하게 됩니다.

FrequencyFormer는 이 병목 현상을 해결하기 위해 설계된 새로운 시스템입니다. 사진 전체를 우편으로 보내는 대신, 카메라 단계에서 사진을 작고 효율적인 "엽서"로 요약하여 보냅니다.

작동 원리는 다음과 같이 세 가지 간단한 단계로 나뉩니다.

1. "엽서" 제작자 (토크나이저, The Tokenizer)

이미지의 모든 픽셀을 다 보내는 대신, 카메라는 DCT(이산 코사인 변환)라는 수학적 기법을 사용합니다.

비유: 노래를 생각해 보세요. 노래에는 낮은 베이스 라인(저주파)과 높은 음의 삐 소리(고주파)가 있습니다. 만약 친구에게 노래를 설명하고 싶다면, 당신은 주로 메인 멜로디와 베이스에 신경을 쓸 것이지, 아주 작은 고음의 삐 소리까지 일일이 신경 쓰지는 않을 것입니다.
하는 역할: FrequencyFormer는 이미지를 살펴보고 "중요한" 부분(주요 형태와 색상)과 "미세한 디테일"(고주파 노이즈)을 분리합니다. 그리고 미세한 디테일은 버리고 필수적인 "멜로디"만을 남깁니다.
결과: 데이터 크기를 128배 줄입니다. 거대한 파일을 보내는 대신, 이미지가 무엇인지 두뇌에 정확히 알려주는 아주 작은 압축 숫자 리스트를 보냅니다.

2. "특수 계산기" (LUT 하드웨어, The Specialized Calculator)

보통 컴퓨터는 숫자를 곱셈하여 수학 문제를 풀지만, 이는 마치 견과류를 깨기 위해 무겁고 전력을 많이 소모하는 망치를 사용하는 것과 같습니다.

비유: 똑같은 수학 문제를 반복해서 풀어야 한다고 상상해 보세요. 매번 직접 계산하는 대신, 미리 정답을 적어둔 커다로 된 공책(룩업 테이블 또는 LUT)을 만드는 것입니다. 답이 필요할 때, 당신은 그냥 그 페이지를 펼쳐서 읽기만 하면 됩니다.
하는 역할: "엽서 제작자"가 변하지 않는 고정된 수학 규칙을 사용하기 때문에, 연구진들은 곱셈을 전혀 하지 않는 특수 칩을 만들었습니다. 이 칩은 그저 에너지 효율이 높은 메모리 공책에서 미리 계산된 답을 찾아 읽을 뿐입니다.
결과: 이 방식은 카메라 칩이 무거운 기계 장치 없이도 작업을 수행할 수 있게 하여, 매우 빠르고 전력을 아주 적게 사용하게 만듭니다.

3. "속삭이는 전선" (저전력 인터페이스, The Whispering Wire)

작은 엽서라 할지라도, 이를 전선을 통해 보낼 때는 메시지가 오류 없이 전달되도록 하기 위해 보통 많은 전기적 "외침"이 필요합니다.

비유: 친구에게 비밀을 속삭인다고 상상해 보세요. 그냥 속삭이기만 하면 친구가 듣지 못할 수도 있습니다. 하지만 귀에 컵을 갖다 대면 소리를 더 잘 모을 수 있어서, 훨씬 작게 속삭여도 친구가 명확하게 들을 수 있습니다.
하는 역할: 연구진은 프로세서 쪽의 수신기(귀)를 변경했습니다. 신호를 시간에 따라 모으는 "신호 통합기(integrator)"를 추가한 것입니다. 이를 통해 카메라는 훨씬 약하고 조용한 전기 신호로 데이터를 보낼 수 있습니다.
결가: 전선이 데이터를 전송하는 데 사용하는 에너지가 크게 줄어듭니다.

종합적인 그림

이 세 가지 부분을 결합하면 다음과 같습니다:

이미지를 작은 엽서로 압축합니다 (128배 더 작게).
이 엽서를 매우 효율적인 공책 시스템으로 계산합니다.
데이터를 전선을 통해 외치는 대신 속삭이며 보냅니다.

이 시스템은 엄청난 양의 에너지를 절약합니다. 논문에 따르면 기존 시스템과 비교했을 때, 이 새로운 파이프라인은 데이터 전송에 필요한 에너지를 약 230배 줄이고, 카메라 측의 총 에너지 사용량을 2.2배 줄입니다.

이것이 왜 중요한가요?
이 기술은 강력한 AI(예: 비전 트랜스포머)가 배터리를 소모하거나 거대한 컴퓨터를 근처에 둘 필요 없이, 보안 카메라나 드론 같은 소형 배터리 구동 기기에서도 작동할 수 있게 해줍니다. 가장 좋은 점은 이 시스템이 "플러그 앤 플레이" 부품처럼 작동한다는 것입니다. 전체 "두뇌"를 다시 만들 필요 없이 기존 AI 시스템에 바로 교체하여 넣을 수 있으며, 원래의 무거운 시스템과 거의 동일한 정확도로 사물, 사람, 장면을 인식할 수 있습니다.

기술 요약: FrequencyFormer

1. 문제 정의

센서-에지 시스템에서 비전 트랜스포머(ViT)의 배포는 온디바이스 연산이 아니라, 센서에서 프로세서로 고차원 원시 이미지 데이터를 전송하는 데 따르는 에너지 및 대역폭 비용에 의해 근본적으로 병목 현상이 발생합니다. 전형적인 에지 비전 아키텍처에서는 추론이 시작되기 전에 전체 해상도의 프레임이 오프칩 인터페이스(예: MIPI)를 통과해야 합니다. 백본 모델이 에지 배포를 위해 최적화됨에 따라(예: 양자화 및 프루닝을 통해), 연산 에너지는 감소하지만 통신 에너지가 전체 시스템 에너지 예산에서 지배적인 비중을 차지하게 됩니다.

기존의 인센서(in-sensor) 및 니어센서(near-sensor) 컴퓨팅 패러다임은 센서에서 조기 특징 추출을 수행함으로써 이를 완화하려고 시도합니다. 그러나 현재의 접근 방식은 일반적으로 최대 10배 정도의 완만한 압축률만을 달성하며, 이는 추가되는 실리콘 복잡도와 비용을 정당화하기에 부족한 경우가 많습니다. 저자들은 시스템 에너지 균형을 근본적으로 바꾸기 위해서는 데이터 볼륨의 더 극적인 감소가 필요하다고 주장합니다.

2. 방법론

본 논문은 주파수 영역을 활용하여 고압축 토큰화를 달성하는 공동 설계된 센서-프로세서 파이프라인인 FrequencyFormer를 제안합니다. 이 파이프라인은 세 가지 긴밀하게 통합된 구성 요소로 이루어져 있습니다.

2.1 다중 스케일 주파수 영역 토크나이저 (Multi-Scale Frequency-Domain Tokenizer)

첫 번째 구성 요소는 원시 224×224 입력 이미지(YCbCr로 변환됨)를 압축된 주파수 토큰 시퀀스로 변환합니다. 이는 세 개의 병렬 브랜치를 통해 수행됩니다:

브랜치 1 (로컬, 8×8 블록): 미세한 질감과 에지를 포착하기 위해 블록 단위 이산 코사인 변환(DCT)을 적용합니다.
브랜치 2 (미디엄 스케일, 32×32 블록): 구조적 패턴과 객체 경계(object boundaries)를 포착하기 위해 블록 단위 DCT를 적용합니다.
브랜치 3 (글로벌, 전체 이미지): 장면 레이아웃과 조명을 포착하기 위해 글로벌 DCT를 적용합니다.

핵심 기술:

선택 인식 DCT 프루닝 (Selection-Aware DCT Pruning): 모든 계수를 유지하는 대신, 시스템은 JPEG 지그재그 스캔 순서(저주파에서 고주파 방향)에 따라 계수의 일부(예: 8×8 블로크의 경우 14개)를 선택합니다. 이를 통해 DCT 기저 행렬 $C$ 를 프루닝하여 계산 복잡도를 $O(N^3)$ 에서 $O((R+S) \cdot N^2)$ 로 줄입니다.
조화 인식 양자화 (Harmonic-Aware Quantization, HAQ): 고주파 하모닉스가 적은 의미론적 에너지를 포함한다는 점을 인식하여, 시스템은 고주파 행에는 낮은 비트 폭(예: INT4)을, 저주파 행에는 높은 비트 폭(예: INT8)을 할당합니다. 이는 추가적인 저장 오버헤드 없이 비트 절단(bit-truncation)을 통해 구현됩니다.
다중 브랜치 퓨전 (Multi-Branch Fusion): 계층적 크로스 어텐션 메커니즘은 세 브랜치의 토큰을 융합하여, 로컬 디테일이 백본 임베딩 차원으로 투영되기 전에 글로벌 컨텍스트를 참조할 수 있도록 합니다.
호환성: 이 토크나이저는 표준 패치 임베딩 레이어의 드롭인 대체제(drop-in replacement)로 작동하여, 사전 학습된 ViT 백본(ViT-Tiny, ViT-Base, Swin-Tiny, EfficientFormer-L1)과의 호환성을 유지합니다.

2.2 LUT 기반 하드웨어 구현

근접 센서 로직 칩에 토크나이저를 구현하기 위해, 저자들은 DCT의 고정된 계수 특성을 활용합니다.

룩업 테이블 (LUT) 가속: DCT 계수는 상수이므로, 곱셈 연산은 ROM 기반 LUT에 저장된 사전 계산된 메모리 룩업으로 대체됩니다. 이는 곱셈기와 SRAM 오버헤드를 제거합니다.
분할 정복 (Divide-and-Conquer, D&C) 전략: 비트 폭 증가에 따른 LUT의 기하급수적인 저장 용량 증가를 관리하기 위해, 시스템은 고정밀 곱셈을 저정밀도 서브 LUT로 분해한 뒤 시프트 앤 애드(shift-and-add) 방식으로 결합하는 D&C 접근 방식을 사용합니다.
혼합 정밀도 (Mixed Precision): 하드웨어는 HAQ 스킴을 활용하여 고주파 성분에는 작은 LUT(INT4)를, 저주파 성분에는 큰 LUT(INT8)를 사용하여 면적과 전력을 크게 줄입니다.

2.3 저전력 통신 인터페이스

이 파이프라인은 비대칭 복잡성을 위해 설계된 수정된 모바일 산업 프로세서 인터페이스(MIPI) 아키텍처를 사용합니다.

통합 수신기 (Integrating Receiver, IR): 수신기(Rx)는 비교기 앞에 동적 적분기(dynamic integrator)를 갖추도록 강화되었습니다. 이러한 시간적 적분은 신호 대 잡음비(SNR)를 개선하여, 송신기(Tx)가 낮은 비트 에러율(BER)을 유지하면서도 훨씬 낮은 전압 스윙에서 동작할 수 있게 합니다.
에너지 절감: 이 설계는 복잡성을 수신기(FPGA 또는 커스텀 백엔드로 구현 가능)로 전이시켜, 센서 측 송신기의 비트당 에너지 소비를 획기적으로 줄입니다.

3. 주요 기여

주파수 영역 토크나이저: 경쟁력 있는 정확도를 유지하면서 224×224 이미지를 압축된 주파수 토큰으로 압축하여 오프칩 데이터 볼륨을 최대 128배 감소시키는 새로운 토크나이저를 제안합니다.
LUT 기반 근접 센서 가속기: DCT 계수를 ROM에 하드와이어링하여 곱셈기를 제거함으로써, 높은 에너지 효율(28.8 TOPS/W)을 달고 별도의 학습 없는 민감도 분석 없이 혼합 정밀도 동작을 가능하게 하는 하드웨어 구현을 달성했습니다.
공동 설계된 통신: 통합 수신기 기술을 통해 통신 에너지당 비트를 1.8배 줄이는 비대칭 MIPI 인터페이스를 제공하여 대역폭 감소를 보완합니다.
시스템 레벨 검증: 전체 파이프라인이 기존 아키텍처에 비해 분류, 탐지 및 세그멘테이션 작업 전반에서 센서 측 총 에너지를 2.22배 줄이고 통신 에너지를 약 230배 줄임을 입증하는 종합적인 평가를 수행했습니다.

4. 실험 결과

저자들은 CIFAR-10, Tiny-ImageNet, Visual Wake Words (VWW), COCO(탐지/세그멘테이션)에 대해 FrequencyFormer를 평가했습니다.

정확도: 시스템은 베이스라인에 근접한 정확도를 유지합니다. 예를 들어, ViT-Tiny 백본과 24채널 INT8-HAQ 구성을 사용한 CIFAR-10의 경우, 표준 FP16 베이스라인(93.77%) 대비 **92.89%**의 정확도를 달성하여 하락 폭을 1% 미만으로 유지했습니다.
에너지 효율: LUT 기반 구현은 28.8 TOPS/W를 달성하였으며, 이는 이전의 인/니어 센서 연구(예: 11.49 TOPS/W인 DPCE)보다 2.5배 높습니다.
통신 감소: 주파수 영역 압축(128배 데이터 감소)과 저전력 인터페이스의 결 combination은 프레임당 통신 에너지를 230배 감소시킵니다.
하드웨어 오버헤드: LUT 구현은 균일 정밀도를 위한 배열 곱셈기(array multipliers) 대비 약 1.24배, 전통적인 LUT 배열 대비 면적 오버헤드를 약 29.5배 줄였습니다. HAQ를 사용하면 면적 및 에너지 절감 효과가 더욱 향상됩니다(최대 45.9% 면적 감소).

5. 의의 및 주장

본 논문은 FrequencyFormer가 확장 가능한 인센서 ViT 배포를 위한 실행 가능한 기초로서 주파수 영역 토크나이저를 확립한다고 주장합니다. 이 논문의 주요 의의는 연산 최적화에 치중되어 간과되었던 "통신 병목 현상"을 해결했다는 점에 있습니다.

저자들은 DCT를 통한 주파수 영역의 자연스러운 압축성을 활용하고 센서 로직, 통신 인터페이스, 프로세서 파이프라인을 공동 설계함으로써, 통신 에너지가 지배적인 요소가 아닌 무시할 수 있는 수준(<1%)이 되는 시스템을 달성했다고 강조합니다. 또한, 이 접근 방식이 사전 학습된 백본의 구조적 변경 없이도 최소한의 정확도 저하와 상당한 에너지 절감을 통해 엣지 디바이스에서 풀 해상도(224×224)의 최첨단 ViT 백본을 배포할 수 있게 한다고 단언합니다. 본 연구는 센서 캡처와 트랜스포머 추론 사이의 간극을 메우는 "드롭인 대체제(drop-in replacement)"로서 제시됩니다.