💻 computer science

KATANA: A Fast, Low-Power Mapping of Kalman Filters onto Edge NPUs for Real-Time Tracking

본 논문은 대수적 그래프 재작성(algebraic graph rewrites)을 사용하여 선형 및 확장 칼만 필터를 AI-PC SoC의 상용 신경망 처리 장치(NPU)에 매핑함으로써, CPU 구현 대비 최대 97.9%의 에너지 절감을 달성하여 실시간 저전력 다중 객체 추적을 구현하는 최적화 프레임워크인 KATANA를 제시한다.

원저자: Bodhisatwa Kundu, Anish Rooj, Sumit Saha, Abhradeep Sarkar, Arghadip Das, Arnab Raha, Mrinal K. Naskar

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bodhisatwa Kundu, Anish Rooj, Sumit Saha, Abhradeep Sarkar, Arghadip Das, Arnab Raha, Mrinal K. Naskar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 고속 드론이나 자율주행 자동차의 조종사라고 상상해 보세요. 당신의 탈것은 물체(다른 자동차, 새, 또는 미사일 등)가 어디로 가고 있는지 끊임없이 추측해야 합니다. 특히 센서의 정보가 다소 불분명할 때도 말이죠. 이를 위해 탈것은 **칼만 필터(Kalman Filter)**라는 수학적 "계산기"를 사용합니다. 이 계산기는 뇌가 "방금 전 아주 짧은 순간에 저 물체가 '여기'에 있었으니, 움직이는 속도를 고려하면 지금쯤 '저기'에 있겠구나"라고 말하는 방식입니다.

수십 년 동안 이 계산기는 탈것의 메인 뇌인 CPU에서 실행되어 왔습니다. 하지만 메인 뇌는 조향, 운전자와의 대화, 음악 재생 등 다른 모든 일을 하느라 매우 바쁩니다. 이 뇌에게 추적 수학까지 처리하라고 요구하는 것은 시스템을 느리게 만들고 배터리를 소모하게 합니다.

최근에는 컴퓨터 칩(Intel의 새로운 "Core Ultra" 칩과 같은)에 **NPU(Neural Processing Unit)**라는 특별하고 작은 보조 엔진이 추가되었습니다. NPU는 엄청난 양의 수학 계산을 매우 빠르고 조용하게(저전력으로) 수행하도록 설계된 특수 조립 라인이라고 생각하면 됩니다. 하지만 이 조립 라인은 특정 유형의 작업(예: 사진에서 얼굴 인식하기)에 맞춰져 있습니다. 칼만 필터는 이와 다른 종류의 수학 퍼즐이기 때문에, 퍼즐이 조립 라인에 딱 맞지 않아 NPU는 놀게 되고 메인 뇌가 여전히 무거운 짐을 짊어져야 하는 상황이 발생합니다.

KATANA의 등장.

KATANA의 연구자들은 다음과 같은 간단한 질문을 던졌습니다. "칼만 필터 퍼즐의 모양을 바꾸어, 놀고 있는 이 조립 라인에 완벽하게 들어맞도록 만들 수 있을까?"

그들은 새로운 하드웨어를 만든 것이 아닙니다. 대신, 수학을 다시 패키징하기 위한 영리한 "번역 규칙"(그들은 이를 **대수적 그래프 재작성(algebraic graph rewrites)**이라 부릅니다)을 발명했습니다. 그들이 이 작업을 수행한 방법은 다음과 같습니다.

1. "빼기를 더하기로 바꾸기" 기술

문제점: 칼만 필터는 종종 숫자를 빼야 합니다. 하지만 NPU의 조립 라인은 더하기와 곱하기를 위해 만들어졌지, 빼기를 위해 만들어진 것이 아닙니다. NPU에게 빼기를 강요하는 것은 마치 패스트푸드 직원에게 잠시 멈춰서 수제 햄버거 번을 직접 만들라고 요구하는 것과 같으며, 이는 전체 공정의 속도를 늦춥니다.
KATANA의 해결책: 그들은 빼야 할 숫자의 "음수" 버전을 미리 계산해 두었습니다. "5에서 2를 빼라"고 말하는 대신, 레시피를 "5에 음수 2를 더하라"로 바꾼 것입니다. 이제 NPU는 자신의 주특기인 더하기를 계속 수행하며 작업을 이어갈 수 있습니다.

2. "모양 변경 금지" 규칙

문제점: 때때로 수학적 계산은 데이터의 형태를 바꾸어야 합니다(예: 평면 리스트를 3D 블록으로 변형). NPU는 실시간으로 이런 작업을 하는 것을 싫어하며, 이 과정에서 속도가 느린 보조 칩(DSP)에 도움을 요청하기 위해 멈춰야 합니다.
KATANA의 해결책: 그들은 수학이 시작되기도 전에 데이터를 평평하게 펴고 모양을 고정했습니다. 이는 요리를 시작하기 전에 모든 채소를 완벽한 정육면체 모양으로 미리 썰어두는 것과 같습니다. 그래가 셰프가 칼질을 위해 요리를 멈출 일이 없도록 말이죠.

3. "그룹 포옹" (배칭, Batching)

문제점: 만약 200개의 서로 다른 물체를 추적하고 있다면, 기존 방식은 NPU에게 물체 하나를 해결하게 하고, 멈추고, 그다음 물체를 해결하게 하는 방식이었습니다. 이는 버스 기사가 승객 한 명을 내려주기 위해 매 집마다 정차하는 것과 같습니다. 매우 비효율적입니다.
KATANA의 해결책: 그들은 200개의 물체를 하나의 거대하고 조직적인 블록("블록 대각" 행렬)으로 묶었습니다. 이제 NPU는 200개의 물체를 한 번의 강력한 동작으로 동시에 해결합니다. 이는 버스 기사가 200명의 승객이 같은 줄에 앉아 있기 때문에 한 번에 모두를 내려주는 것과 같습니다.

결과: 초효율적인 엔진

실제 하드웨어(Intel의 최신 칩)에서 테스트했을 때, 결과는 인상적이었습니다:

속도: NPU는 속도의 귀재가 되었습니다. 단순 추적의 경우 초당 400회 이상의 업데이트를, 복잡한 추적의 경우 초당 223회 이상의 업데이트를 수행하며 수백 개의 물체를 동시에 추적할 수 있었습니다.
배터리 수명: 이것이 가장 큰 성과입니다. NPU는 기존 CPU보다 약 98% 적은 에너지를 사용하여 작업을 수행했습니다. 이는 무거운 겨울 코트를 입고 마라톤을 하는 것(CPU)과 가벼운 레이싱 슈트를 입고 달리는 것(NPU)의 차이와 같습니다.
메인 두뇌의 자유: NPU가 추적 업무를 넘겨받으면서, 메인 CPU와 그래픽 카드는 얼굴 인식이나 3D 지도 렌더링과 같은 다른 작업에 집중할 수 있는 자유를 얻었습니다.

결론

이 논문은 드론과 로봇을 더 똑똑하고 배터리 효율적으로 만들기 위해 반드시 값비싼 맞춤형 칩을 새로 만들 필요는 없다는 것을 보여줍니다. 이미 우리 컴퓨터 안에 들어있는 "조립 라인"에 맞춰 수학을 재구성하는 것만으로도, 실시간 추적을 더 빠르고, 저렴하며, 훨씬 더 에너지 효율적으로 만들 수 있습니다.

요약하자면: KATANA는 잠자고 있는 보조 엔진을 깨우고, 새로운 언어를 가르치며, 메인 브레인이 쉴 수 있도록 무거운 짐을 대신 들게 만드는 소프트웨어 기술입니다.

기술 요약: KATANA – 에지 NPU 상에서의 칼만 필터에 대한 고속, 저전력 매핑

문제 정의
실시간 상태 추정은 방위 산업(레이더, 미사일 유도, 대드론 시스템)부터 민간 에지 배포(자율 주행, 로보틱스)에 이르기까지 현대 추적 시스템의 핵심입니다. 이러한 시스템은 엄격한 제약 조건 하에서 작동합니다: 제어 루프를 닫기 위해 밀리초 단위 내에 측정이 융합되어야 하며, 전체 연산량은 타이트한 배터리 및 열 설계 전력 범위 내에 들어와야 합니다. 현재 선형 및 확장 칼만 필터(LKF, EKF)는 이 작업들을 위한 지배적인 추정기이지만, 거의 독점적으로 CPU 또는 맞춤형 FPGA/ASIC 가속기에서 실행됩니다. CPU 실행은 다중 객체 추적(MOT)을 직렬화하여 처리량을 제한하는 반면, 맞춤형 가속기는 설계 주기와 실리콘 면적을 증가시킵니다. Intel Core Ultra 시리즈 1 및 2와 같은 현대적인 AI-PC 시스템 온 칩(SoC)은 CPU 및 GPU와 함께 저전력 신경망 처리 장치(NPU)를 통합하고 있지만, 이러한 NPU는 신경망 작업이 아닌 워크로드 동안에는 유휴 상태로 남아 있습니다. 핵심 과제는 NPU가 밀집된 곱셈-누산(MAC) 데이터 흐름에 최적화되어 있다는 점입니다. 뺄셈, 형태 변경(reshaping), 전치(transposing)를 포함하는 표준 칼만 필터 연산은 종종 실행을 스칼라 디지털 신호 처리기(DSP)로 강제하거나 비용이 많이 드는 컨텍스트 스위치를 요구하며, 이는 NPU의 효율성 이점을 상쇄합니다.

방법론
본 논문은 커스텀 실리콘 없이 상용 AI-PC NPU에 LKF 및 EKF 알고리즘을 매핑하기 위해 설계된 새로운 NPU 인식 최적화 프레임워크인 KATANA를 제시합니다. 이 접근 방식은 PyTorch로 필터를 작성하고, 이를 ONNX로 내보낸 후, Intel OpenVINO 2024.5를 통해 컴파일하는 과정을 포함합니다. 모든 연산이 NPU의 데이터 처리 장치(DPU) 행렬 엔진에서 실행되도록 보장하기 위해, KATANA는 컴파일 전 세 가지 특정 대수적 그래프 재작성(algebraic graph rewrites)을 적용합니다:

뺄셈-더하기 재구성(Subtract-to-Add Reformulation): 혁신 업데이트( $y_k = z_k - H\hat{x}_{k|k-1}$ ) 및 기타 뺄셈이 많은 단계는 음의 투영 행렬( $H_{neg} = -H$ )을 사전 계산함으로써 재구성됩니다. 이는 뺄셈을 덧셈( $y_k = z_k + H_{neg}\hat{x}_{k|k-1}$ )으로 변환하여, 전체 임계 경로(critical path)가 DPU 네이티브 GEMM 및 Add 연산을 활용할 수 있게 함으로써 DSP 기반의 뺄셈을 제거합니다.
정적 형태 텐서 퓨전(Static-Shape Tensor Fusion): DSP 또는 DMA 폴백(fallback)을 유발하는 동적 형태 연산(Reshape, Unsqueeze, Squeeze) 및 전치(Transpose)를 제거합니다. 배치 축을 정적 1-D 및 2-D 형태로 낮추고, 모든 전치 행렬( $F^T, H^T, H_{neg}^T$ )을 사전 계산하여 상수로 그래프에 폴딩(folding)합니다.
블록 대각 배치 병렬화(Block-Diagonal Batched Parallelization): 다중 객체 추적을 해결하기 위해, $N$ 개의 독립적인 필터를 단일 추론 호출에 패킹합니다. 시스템, 측정, 노이즈 및 이득 행렬을 블록 대각 형태로 확장합니다. 이는 피연산자 너비를 증가시켜 DPU의 MAC 파이프라인을 포화시킴으로써, 필터 간의 수치적 독립성을 유지하면서 디스패치 오버헤드를 분담합니다.

주요 기여

최초의 크로스 플랫폼 특성 분석: 본 논문은 두 세대의 연속적인 출시 AI-PC 실리콘(Intel Core Ultra 시리즈 1 및 시리즈 2)에서 LKF 및 EKF 추론에 대한 최초의 종합적인 평가를 제공합니다.
최초의 엔드 투 엔드 NPU 매핑: 클래식 신호 처리 추정기(LKF/EKF)를 상용 NPU에 성공적으로 매핑하여 완전한 DPU 활용을 달로한 최초의 사례를 보여줍니다.
알고리즘 재작성: DPU 실행을 100% 가능하게 하는 세 가지 그래프 재작성(뺄셈 제거, 정적 형태 퓨전, 블록 대각 배치)을 도입하여 커스텀 가속기 없이도 구현이 가능함을 입증했습니다.
실시간 검증: 본 프레임워크는 라이브 비디오 스트림에서 검증되었으며, NPU 기반 필터가 CPU와 GPU 자원을 탐지 및 다운스트림 분석에 자유롭게 남겨두면서도 엄격한 레이턴시 예산 내에서 작동할 수 있음을 보여줍니다.

결과
Intel Core Ultra 시리즈 1 및 시리즈 2 플랫폼에서 수행된 실험 결과는 다음과 같습니다:

처리량(Throughput): 시리즈 2에서 최적화된 배치 EKF(200개 필터 처리)는 223.35 FPS를 달성했으며, LKF는 408.73 FPS에 도달했습니다. 이는 배치 환경에서 CPU 및 GPU 베이스라인 대비 상당한 처리량 증가를 나타냅니다.
전력 및 에너지: 최적화된 NPU 파이프라인은 13.43 W (EKF) 및 **14.05 W (LKF)**의 지속적인 활성 전력 범위 내에서 작동합니다. 동일한 워크로드에 대한 CPU 구현과 비교했을 때, 이는 97.9%의 동적 에너지 감소를 제공합니다.
레이턴시(Latency): 30 FPS 추적 시나리오의 라이브 환경에서, 최적화된 단일 인스턴스 필터는 33 ms 프레임 예산의 1% 미만(약 0.18–0.19 ms당 1회 업데이트)을 소비하며, 이는 SoC를 독점하지 않고도 상시 작동 추적에 적합함을 확인시켜 줍니다.
연산 분석: 프로파일링 결과, 최적화 재작성이 작업을 DSP 및 DMA 경로에서 DPU로 성공적으로 이동시켰음을 확인했습니다. 최종 배치 구성은 실행 시간의 약 95%(LKF) 및 약 80%(EKF)가 DPU MatMul 연산에 의해 지배되었습니다.

의의
본 논문은 KATANA가 전용 가속기나 커스텀 실리콘 없이도 기존 AI-PC NPU에 클래식 신호 처리 파이프라인을 재타겟팅할 수 있음을 입증한다고 주장합니다. "유휴 상태인" NPU를 활용함으로써, 시스템은 커스텀 하드웨어의 면적 및 설계 주기 비용을 피하는 동시에 CPU와 GPU를 주요 일반 연산 및 그래픽 워크로드에 자유롭게 두는 "이중 배당(double dividend)"을 달성합니다. 이는 계산의 모든 와트가 임무 지속 시간이나 운용 범위에 직접적인 영향을 미치는 에지 플랫폼에서 실시간 저전력 추적을 가능하게 합니다. 이 연구는 적절한 알고리즘 수준의 구조 조정을 통해 NPU가 비신경형 재귀적 추정기를 위한 범용 행렬 엔진으로서 효과적으로 기능할 수 있음을 확립합니다.

1. "빼기를 더하기로 바꾸기" 기술

2. "모양 변경 금지" 규칙

3. "그룹 포옹" (배칭, Batching)

결과: 초효율적인 엔진

결론

유사한 논문