⚡ electrical engineering

FPGA-Based Real-Time Sensor Fusion for Inertial Navigation Using IMU and GPS Data

본 논문은 Xilinx Kintex-7 플랫폼 상에서 고수준 합성(High-Level Synthesis)을 통해 축소된 16상태 모델을 최적화함으로써, 최소한의 자원 활용으로 고정밀 추정을 제공하는 관성 항법용 IMU/GPS 확장 칼만 필터의 저지연 실시간 FPGA 구현을 제시한다.

원저자: Abbas Fadavi

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abbas Fadavi

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

안개가 자욱한 숲속에서 지도 없이 길을 찾고 있다고 상상해 보십시오. 당신에게는 두 가지 도구가 있습니다. 첫 번째는 매우 빠르고 정확하지만 약간의 "오차(drift)"가 있는 만보계와 손목에 채워진 회전하는 팽이(IMU)입니다. 이것들은 당신이 얼마나 빨리 움직이고 어느 방향으로 회전하는지를 정확히 알려주지만, 너무 오래 사용하면 조금씩 거짓말을 하기 시작하여, 실제로는 나선형으로 걷고 있는데도 직선으로 걷고 있다고 착각하게 만듭니다. 두 번째 도구는 위성 전화(GPS)입니다. 이것은 지도상의 당신 위치를 정확히 알려주지만, 연결이 느리고 가끔씩만 위치 정보를 제공합니다. 위성에만 의존하면 갑작스러운 회전을 놓칠 수 있고, 만보계에만 의존하면 결국 경로에서 벗어나게 됩니다.

이 문제를 해결하기 위해 엔지니어들은 "센서 퓨전(sensor fusion)" 알고리즘, 구체적으로는 "확장 칼만 필터(Extended Kalman Filter, EKF)"라고 불리는 영리한 수학적 기법을 사용합니다. 이 필터는 마치 빠른 만보계와 느린 위성 사이에서 끊임없이 귀를 기울이는 아주 똑똑한 심판과 같습니다. 필터는 당신의 위치를 추측하고, 그 추측이 맞았는지 위성을 통해 확인하며, 만보계의 오차를 교정합니다. 문제는 이 수학 연산을 만보계의 높은 속도에 맞춰 수행할 만큼 빠르게 만드는 것이 일반적인 컴퓨터 칩에게는 매우 무거운 작업이라는 점입니다. 여기서 FPGA(Field-Programmable Gate Array)가 등장합니다. 일반적인 컴퓨터 칩이 요리를 한 단계씩 차례대로 하는 단 한 명의 요리사라면, FPGA는 수백 명의 요리사가 동시에 완벽하게 조화를 이루며 일하는 거대한 주방과 같습니다. 이 논문은 이 '초고속 주방'을 구축하여 실시간 내비게이션을 실행하는 방법을 탐구합니다.

논문의 미션: 초고속 내비게이션 브레인 구축하기

Abbas Fadavi의 이 논문은 그 "초고한 주방"을 구축하는 새로운 방법을 제시합니다. 저자는 보통 컴퓨터에서 실행되는 복잡한 내비게이션 알고리즘을 Xilinx Kintex-7 FPGA 칩에서 직접 구동되는 설계로 성공적으로 변환했습니다. 목표는 "심판"(EKF)이 GPS 업데이트를 기다리는 동안 IMU의 고속 데이터를 처리할 수 있도록, 무거운 수학 연산에 발목 잡히지 않고 충분히 빠르게 만드는 것이었습니다.

도전 과제: 수학 수업에서 하드웨어로
여정은 큰 장애물과 함께 시작되었습니다. 원래 알고리즘은 화려한 "툴박스" 기능이 가득한 소프트웨어 도구인 MATLAB으로 작성되었는데, 이는 하드웨어 칩이 이해할 수 없는 방식이었습니다. 이는 마치 첨단 분자 요리 실험실을 위한 레시피를 가지고 캠프파이어에서 요리를 하려는 것과 같았습니다. 저자는 화려한 소프트웨어 의존성을 제거하고 코드를 하드웨어 로직으로 합성(번역)될 수 있도록 다시 작성해야 했습니다.

주요 변화 중 하나는 "상태 벡터(state vector)"와 관련되었습니다. 이는 컴퓨터가 당신의 위치(위치, 속도, 방향 등)에 대해 추측하려고 하는 모든 항목의 목록입니다. 원래의 MATLAB 모델은 자기장 데이터를 포함하여 22가지의 서로 다른 항목을 추측하려고 했습니다. 저자는 이 특정 GPS/IMU 설정에서는 자기 데이터가 엄격하게 필요하지 않다는 것을 깨달았습니다. 이 목록을 핵심적인 16개 항목으로 줄임으로써, 칩이 수행해야 할 수학 연산량을 약 65% 줄였습니다. 이는 숲에서 길을 잃었는지 알기 위해 모든 나뭇잎의 온도를 추적할 필요 없이, 단지 당신의 경로와 속도만 추적하면 되는 것과 같습니다.

마법의 기술: 어떻게 빠르게 만들었나?
수학 연산을 비상하게 만들기 위해 저자는 몇 가지 영리한 기술을 사용했습니다:

해석적 공식(Analytical Formulas): 복잡한 수학 문제를 풀기 위해 컴퓨터가 정답을 찾아 헤매는 방식(반복법) 대신, 미리 계산된 정확한 공식을 사용했습니다. 이는 사전의 모든 단어를 하나씩 대입하며 수수께거의 답을 찾는 대신, 그냥 답을 알고 있는 것과 같습니다.
촐레스키 분해(Cholesky Factorization): 거대한 확률 스프레드시트를 정리하는 것과 같은 무거운 행렬 연산을 위해, 촐레스키 분해라는 효율적인 방법을 사용했습니다. 이는 퍼즐 조각을 모든 곳에 끼워 맞춰보는 대신, 지름길을 사용하여 문제를 해결하는 것과 같습니다.
파이프라이닝(Pipelining): "PIPELINE" 및 "ARRAY_PARTITION"이라는 특수 명령어를 사용했습니다. 이는 모든 작업자가 아주 작은 단계 하나를 수행하고 즉시 다음 사람에게 작업을 전달하는 공장의 조립 라인을 상상해 보십시오. 이를 통해 칩은 이전 단계가 끝날 때까지 기다리지 않고 데이터를 연속적으로 처리할 수 있습니다.

결과: 속도와 정확도
연구팀은 Xilinx Kintex-7 FPGA에서 이 설계를 테스트했습니다. 결과는 인상적이었습니다. 칩은 50 MHz의 클록 속도로 작동했습니다. 위치에 대한 추측을 업데이트할 때마다 1.12밀리초에서 1.21밀리초 사이가 소요되었습니다. 이는 고속 IMU 센서의 속도를 따라잡기에 충분할 만큼 믿을 수 없을 정도로 빠른 속도입니다.

자원 측면에서 이 설계는 놀라울 정도로 효율적이었습니다. 칩의 전체 전력 중 단 12%에 불과한 191개의 "DSP 슬라이스"(칩의 수학 엔진)만을 사용했습니다. 이는 다른 작업을 수행할 수 있는 충분한 여유 공간을 남겨둡니다.

가장 중요한 것은, 저자가 칩의 출력값을 원래의 컴퓨터 모델과 비교했다는 점입니다. 그 차이는 0.001% 미만으로 매우 작았습니다. 이는 수학을 단순화하고 하드웨어에 맞게 코드를 변경했음에도 불구하고, 칩이 여전히 진실을 말하고 있음을 증명합니다. 이 논문은 고수준 합성(HLS) 도구와 스마트한 단순화 기법을 사용함으로써, 빠르고 정확하면서도 중간 사양의 칩에서 실시간 저지연 내비게이션 시스템을 구축하는 것이 가능하다는 결론을 내립니다.

기술 요약: IMU 및 GPS 데이터를 이용한 관성 항법용 FPGA 기반 실시간 센서 퓨전

문제 정의
실시간 관성 항법은 엄격한 지연 시간 제약 조건 하에서 연속적인 상태 추정을 필요로 한다. 관성 측정 장치(IMU)는 고빈도 운동 데이터를 제공하지만 시간이 지남에 따라 드리프트(drift)가 발생하는 반면, GPS 수신기는 저빈도의 절대 위치 정보를 제공한다. 확장 칼만 필터(EKF)는 이러한 상보적 센서들을 융합하기 위한 표준 솔루션이지만, 100Hz를 초과하는 IMU 속도에서 EKF 알고리즘을 배포하는 것은 상태 차원에 따른 공분산 전파 및 행렬 연산의 급격한 스케일링으로 인해 계산 집약적인 작업이 된다. 또한, 고수준 알고리즘 명세(예: MATLAB)에서 하드웨어 구현으로 전환할 때 툴박스 의존성, 데이터 구조 제약, 그리고 자원 제한적인 환경에서의 자코비안(Jacobian) 근사 복잡도와 관련된 문제에 직면하는 경우가 많다.

방법론
본 논문은 MATLAB 기반의 IMU/GPS EKF 항법 모델을 합성 가능한 HLS C++ 설계로 변환하는 체계적인 방법론을 제시한다. 구현 대상은 Vitis HLS 2023.1을 사용하는 Xilinx Kintex-7 (xc7k410t) FPGA이다.

주요 방법론적 적응 사항은 다음과 같다:

상태 벡터 축소: 지자기 및 자력계 바이어스 상태를 포함했던 기존의 22차원 MATLAB 모델을 16차원 구조로 축소하였다. 이는 타겟 시나리오에서 GPS가 나머지 상태들에 대해 충분한 관측성을 제공하므로 자력계 업데이트 단계를 제거한 것이다. 이 축소를 통해 공분산 행렬 차원이 22×22에서 16×16으로 감소하였다.
알고리즘 최적화:
- 자코비안 평가: 반복적인 유한 차분(finite-difference) 자코비안 평가를 폐쇄형 해석적 공식(closed-form analytical formulation)으로 대체하여 계산 복잡도를 줄였다.
- 행렬 연산: 칼만 이득(Kalman gain) 계산에는 직접적인 행렬 역행렬 대신 숄레스키 분해(Cholesky factorization)를 사용하여 수치적 안정성을 향상시키고 하드웨어 비용을 낮추었다. 공분산 업데이트는 전체 Joseph 형 대신 단순화된 형태를 채택하여 필요한 행렬 곱셈 횟수를 절반으로 줄였다.
- 좌표 변환: MATLAB의 lla2ned 툴박스 함수를 구형 지구 근사를 기반으로 한 커스텀 lla2ned_simple 함수로 대체하였으며, 런타임 중 삼각 함수 평가를 제거하기 위해 참조 종속 상수들을 사전 계산하였다.
제어 흐름 재구조화: HLS 요구 사항인 정적 바운드 루프를 충족하기 위해, 기존의 데이터 종속적 while 루프를 고정된 경계값을 가진 두 개의 중첩된 for 루프로 재구조화하였다(각 160개의 IMU 샘플을 포함하는 50개의 GPS 블록). 로직은 독립적인 파이프라이닝을 가능하게 하기 위해 독립적인 imu_predict 및 gps_update 함수로 분해되었다.
수치적 안정성: 파이프라인 스톨(stall)을 방지하기 위해 쿼터니언 정규화를 위한 조건부 분기를 제거하고, 이를 max 클램핑과 같은 브랜치리스(branchless) 공식으로 대체하였다. 모든 배열은 컴파일 타임 상수 차원으로 선언되었다.
하드웨어 가속: 병렬성 및 메모리 액세스 효율성을 극대화하기 위해 PIPELINE, UNROLL, ARRAY_PARTITION과 같은 HLS 디렉티브를 사용한다.

주요 기여
본 논문은 세 가지 주요 기여를 식별하였다:

MATLAB 기반 EKF 항법 코드를 HLS-C++로 변환하는 체계적인 방법론을 제시하며, 특히 툴박스 의존성 및 데이터 구조 제약 문제를 해결하였다.
160개의 IMU 샘플을 하나의 GPS 업데이트 주기에 처리할 수 있는 고처리량 실행을 달성하기 위해 특정 HLS 디렉티브를 적용하였다.
미드레인지급 Kintex-7 FPGA에서 실시간 처리량을 달리는 완전한 합성 가능 구현을 입증하였다.

실험 결과
구현된 모델은 시뮬레이션된 IMU 및 GPS 데이터를 사용하여 MATLAB 참조 모델과 검증되었다.

기능 검증: 수치적 검증 결과, 위치, 자세 및 공분산에 대한 상대 출력 오차가 $10^{-3}\%$ 미만임을 확인하여 기능적 동등성을 입증하였다(구체적으로 위치 및 자세에 대한 최대 상대 오차는 $<10^{-4}$ , 공분산 행렬은 $<10^{-3}$ 이었다).
타이밍 성능: 50 MHz 목표 클럭에서 합성되었을 때, 설계는 약 59.4 MHz의 동작 주파수를 달성하였다. 업데이트 주기당 총 추정 지연 시간은 1.12 ms에서 1.21 ms 사이였다. 행렬 연산을 포함하는 GPS 업데이트 단계가 지연 시간의 대부분을 차지하였으며(0.514–0.600 ms), IMU 예측 단계는 3.74 $\mu$ s만을 소요하였다.
자원 사용량: 설계는 191개의 DSP 슬라이스(12%), 44,317개의 LUT(17%), 42,955개의 Flip-Flop(8%)을 사용하였다. 대부분의 자원은 GPS 업데이트 모듈에 의해 소비되었다.

의의
본 논문은 임베디드 항법을 위한 알고리즘 명세와 하드웨어 구현 사이의 연구 격차를 해결하는 데 의의가 있다고 주장한다. 상태 벡터 불일치를 해결하고, 구조적 활용을 통해 자코비안 계산 복잡도를 줄이며, 미드레인지 FPGA에서 실시간 처리량을 달성하는 HLS 기반 EKF를 보여줌으로써, 본 연구는 수동 HDL 코딩에 대한 유연하고 효율적인 대안을 제공한다. 결과는 이러한 최적화가 소프트웨어 참조 모델과 대등한 수치적 정확도를 유지하면서도 적은 자원 풋프린트로 복잡한 센서 융합 알고리즘을 하드웨어에 배포할 수 있음을 확인시켜 준다.

유사한 논문