FPGA-Enabled Machine Learning Applications in Earth Observation: A Systematic Review

이 논문은 PRISMA 2020 가이드라인에 따라 지구 관측 분야에서 UAV 및 NewSpace 시대의 데이터 처리 요구를 충족하기 위해 FPGA 를 활용한 머신러닝 애플리케이션 68 건을 체계적으로 분석하고, 효율적인 모델 아키텍처와 FPGA 구현 전략에 대한 두 가지 분류 체계를 제시합니다.

핵심

이 논문은 **"우주와 하늘에서 찍은 사진을 인공지능 (AI) 이 바로 그 자리에서 분석할 수 있게 해주는 기술"**에 대한 종합 보고서입니다.

쉽게 말해, **"우주선이나 드론이 지상으로 사진을 보내기 전에, 그 안에서 직접 '이 사진에 구름이 있네', '배가 있네', '불이 났네'라고 판단해서 필요한 정보만 보내주는 기술"**을 연구한 것입니다.

이 복잡한 내용을 일상적인 비유로 풀어보겠습니다.

---

1. 왜 이런 연구가 필요할까요? (문제 상황)

비유: "우주선이라는 좁은 우편함"
예전에는 우주선이나 드론이 찍은 사진을 모두 지구로 보내고, 지구에서 전문가들이 "어, 이 사진에 구름이 많네? 버려야겠다"라고 판단했습니다.
하지만 요즘은 사진이 너무 많고 (빅데이터), 우주선과 지구 사이의 통신 속도 (우편함 크기) 는 그대로입니다. 모든 사진을 보내려면 시간이 너무 걸리고, 중요한 정보 (예: 산불 발생) 가 늦게 도착할 수 있습니다.

해결책: "우주선 안에 있는 똑똑한 비서"
그래서 우주선이나 드론 자체에 **인공지능 (AI)**을 심어서, 사진을 찍자마자 "이건 구름이 많아서 쓸모없으니 버리고, 저건 산불이니까 긴급하게 보내자"라고 스스로 판단하게 만들려고 합니다.

2. 왜 CPU 나 그래픽카드 (GPU) 가 아니라 'FPGA'를 쓸까요?

우주선이나 드론은 전기도 적게 쓰고, 무게도 가볍고, 우주 방사선에도 견뎌야 하는 '극한 환경'에 있습니다.

• CPU (일반 컴퓨터): 모든 일을 다 할 수 있지만, 우주선처럼 전기를 아껴야 하는 곳에서는 너무 무겁고 전기를 많이 먹습니다. (비유: 모든 요리를 할 수 있지만, 배가 좁은 요트에는 너무 큰 주방장)
• GPU (그래픽카드): AI 연산은 빠르지만, 전기를 엄청나게 많이 먹습니다. (비유: 슈퍼 스포츠카지만, 연비가 너무 나빠서 장거리 여행엔 부적합)
• FPGA (이 논문의 주인공): 레고 블록이나 변신 로봇과 같습니다.
  • 처음에는 빈 블록이지만, 우리가 원하는 AI 알고리즘에 맞춰 직접 모양을 변형할 수 있습니다.
  • 필요한 부분만 딱 맞춰서 만들 수 있으므로 전기도 적게 먹고, 무게도 가볍고, 우주 방사선에도 강하게 튼튼하게 만들 수 있습니다.
  • 핵심: "우주선이라는 좁은 공간에서, AI 가 가장 효율적으로 일할 수 있도록 맞춤형 공장을 지어주는 기술"입니다.

3. 이 논문이 무엇을 조사했나요? (연구 내용)

저희 연구팀은 최근 10 년간 발표된 68 개의 실험 사례를 꼼꼼히 분석했습니다. 마치 레시피 책 68 권을 모두 읽어보고, 어떤 재료를 어떻게 쓰면 가장 맛있는 요리를 할 수 있는지 정리한 것과 같습니다.

주요 발견은 다음과 같습니다:

1. 어떤 일을 시켰나요? (작업 종류)

   • 감시: 배나 비행기, 군용 차량 찾기 (가장 많음).
   • 환경 감시: 숲이 파괴되었는지, 기름 유출이 있는지, 구름이 얼마나 끼었는지 확인.
   • 지도 만들기: 땅의 종류를 분류하거나, 도시를 세분화.

2. 어떤 AI 모델을 썼나요? (모델 종류)

   • 대부분 **CNN(합성곱 신경망)**이라는 모델을 썼습니다. 이는 이미지의 특징을 잘 찾아내는 '눈' 역할을 합니다.
   • 우주선에 실으려면 무거운 모델은 안 되므로, 가볍고 빠른 모델 (MobileNet, YOLO 등) 을 주로 사용했습니다.

3. 어떻게 최적화했나요? (기술적 비법)

   • 양자화 (Quantization): AI 의 두뇌를 '고급 32 비트'에서 '간단한 8 비트'로 줄여도 성능은 거의 잃지 않으면서 크기를 획기적으로 줄이는 기술. (비유: 고해상도 사진 대신 압축된 썸네일만 보내도 대충은 알아봄)
   • 가지치기 (Pruning): AI 가 필요 없는 기억 (가중치) 을 잘라내어 가볍게 만드는 기술.
   • 병렬 처리: 여러 명의 일꾼이 동시에 일을 해서 속도를 높이는 기술.

4. 현재 상황과 한계 (결론)

• 성공 사례: 이미 'PhiSat-1' 같은 위성에서 구름을 감지하는 AI 가 실제로 작동하고 있습니다. 드론도 장애물을 피하거나 기착지를 찾는 데 이 기술을 쓰고 있습니다.
• 한계점:
  • 아직 **Transformer(최신 AI 모델)**나 RNN(시간 흐름을 분석하는 모델) 같은 최신 기술은 FPGA 에 적용하기가 어렵습니다. (비유: 레고로 복잡한 최신 로봇을 만드는 법은 아직 완벽하지 않음)
  • 신뢰성: AI 가 "이건 산불이다"라고 판단했을 때, 그 확신이 얼마나 높은지 (불확실성 측정) 를 알려주는 기술이 부족합니다.
  • 표준화 부족: 각 연구팀이 제각기 다른 방식으로 코드를 짜서, 서로 비교하기가 어렵습니다.

5. 앞으로의 전망

이 논문의 결론은 **"FPGA 는 우주와 드론의 AI 를 위한 가장 완벽한 맞춤형 도구"**라는 것입니다.

앞으로는 더 똑똑한 AI 모델을 이 작은 FPGA 에 실어서, 우주선이 지구로 사진을 보내기 전에 실시간으로 재난을 발견하고, 군사적 위협을 감지하며, 환경 변화를 모니터링할 수 있을 것입니다.

한 줄 요약:

"우주선과 드론이 스스로 눈을 떠서, 필요한 정보만 골라 지구로 보내는 '스마트한 우주비행'을 위해, 레고처럼 변형 가능한 FPGA 라는 기술을 어떻게 쓰는지 연구한 보고서입니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 새로운 우주 시대 (NewSpace) 와 데이터 폭증: 소형 위성 (SmallSats, CubeSats) 및 무인 항공기 (UAV) 의 급증으로 지구 관측 (Earth Observation, EO) 데이터의 양이 기하급수적으로 증가하고 있습니다.
• 대역폭 및 처리 한계: 위성에서 수집된 방대한 양의 데이터를 지상으로 전송 (다운링크) 하는 데 필요한 대역폭은 제한적이며, 전송 속도가 데이터 생성 속도를 따라가지 못합니다. 또한, 모든 데이터를 지상에서 처리하는 것은 지연 시간과 비용 측면에서 비효율적입니다.
• 온보드 (Onboard) 처리의 필요성: 위성이나 UAV 에서 데이터를 실시간으로 처리하여 중요한 정보만 추출하거나 압축하여 전송하는 '에지 컴퓨팅'이 필수적입니다.
• 하드웨어 제약: 소형 위성은 전력, 중량, 부피 (SWaP-C) 제약이 엄격하며, 우주 방사선 환경에 노출됩니다. 기존 CPU 나 GPU 는 전력 소모가 크거나 방사선 내성이 부족하여 온보드 환경에 적합하지 않은 경우가 많습니다.
• FPGA 의 역할: FPGA(필드 프로그래머블 게이트 어레이) 는 재구성 가능성, 높은 전력 효율, 그리고 방사선 내성 (Radiation Hardening) 을 제공하여 ML 모델을 온보드에 배포하는 이상적인 플랫폼으로 부상했습니다. 하지만 RS(원격 탐사) 분야에서 FPGA 를 활용한 ML 배포에 대한 체계적인 분석은 부족했습니다.

2. 연구 방법론 (Methodology)

이 논문은 PRISMA 2020 가이드라인을 준수하여 체계적인 문헌 검토 (Systematic Review) 를 수행했습니다.

• 데이터 수집: Web of Science 데이터베이스를 중심으로 2014 년부터 2024 년까지의 관련 논문을 검색했습니다.
• 검색 쿼리: 머신러닝 (ML/DL), 원격 탐사 (RS/EO), FPGA(및 관련 용어) 가 모두 포함된 논문을 대상으로 했습니다.
• 선별 기준 (Exclusion Criteria):
  • 실험이 없는 리뷰 논문 제외.
  • ML 모델, RS 데이터, FPGA 구현 중 하나라도 명확하지 않은 논문 제외.
• 최종 데이터셋: 초기 119 건의 검색 결과 중 48 건의 논문 (총 68 개의 실험) 이 최종 분석에 포함되었습니다.
• 분석 구조: 8 가지 연구 질문 (RQs) 을 설정하여 분석을 진행했습니다.
  • RQ1-3: 연구 현황 (적용 분야, 모델 유형, 하드웨어 선택 동기).
  • RQ4-6: 기술적 전략 (모델 최적화, 구현 프레임워크, 성능 최적화 기법).
  • RQ7-8: 한계점 및 미래 전망 (리소스 제약 하의 적합성, 온보드 처리의 미래).

3. 주요 기여 및 발견 (Key Contributions & Results)

논문은 두 가지 주요 분류 체계 (Taxonomy) 를 제시하고 8 가지 연구 질문에 대한 답을 도출했습니다.

A. 두 가지 분류 체계 (Taxonomies)

1. RS/ML 분류 체계 (Table 2): 원격 탐사 애플리케이션을 ML 작업 (분류, 세그멘테이션, 객체 탐지 등) 과 데이터 모달리티 (RGB, HSI, SAR) 에 따라 분류했습니다.
2. FPGA 구현 전략 분류 체계 (Table 4): 구현 프레임워크 (수동 HDL/HLS vs 자동화 도구), 설계 패턴 (고정형 Specific vs 유연형 Flexible), 정밀도, 리소스 사용률, 성능 지표 등을 체계화했습니다.

B. 주요 연구 결과 (RQs 기반)

• RQ1 (적용 분야):

  • 주요 분야: 표적 감시 (Target Surveillance, 44%) 와 지형/환경 모니터링 (40%) 이 주를 이룹니다.
  • ML 작업: 분류 (Classification) 가 가장 흔하며, 객체 탐지 (Object Detection) 와 세그멘테이션 (Segmentation) 도 활발합니다. 회귀 (Regression) 는 매우 드뭅니다.
  • 데이터: RGB(광학) 데이터가 65% 로 가장 많으며, SAR(합성 개구 레이더) 은 주로 수역 감시에, HSI(초분광) 는 니치한 분야에서 사용됩니다.

• RQ2 (모델 아키텍처):

  • 주류 모델: 74% 가 컨볼루션 기반 (CNN) 입니다.
  • 아키텍처: VGG, ResNet, U-Net 같은 표준 모델도 사용되지만, **커스텀 CNN (27%)**이 가장 흔합니다. 이는 FPGA 리소스 제약에 맞춰 경량화된 구조 (평균 6~10 레이어) 를 설계하기 때문입니다.
  • 탐지 모델: R-CNN 같은 2 단계 모델은 거의 사용되지 않으며, YOLO 나 SSD 같은 싱글샷 (Single-shot) 모델이 실시간 처리를 위해 선호됩니다.

• RQ3 (하드웨어 플랫폼):

  • 주요 칩: AMD(구 Xilinx) FPGA 가 96% 를 차지하며, 그중 Zynq (SoC) 시리즈가 57% 로 가장 많이 사용됩니다.
  • 선택 동기: CPU/GPU 대비 높은 전력 효율성, 재구성 가능성, 방사선 내성이 FPGA 선택의 주요 이유입니다. 특히 ASIC 대비 개발 시간 단축과 업데이트 용이성이 장점으로 꼽힙니다.

• RQ4 (모델 최적화):

  • 경량화: MobileNet, GhostNet 같은 경량 백본 (Backbone) 사용 (24%).
  • 양자화 (Quantization): 89% 의 DL 실험에서 양자화를 사용하며, 대부분 int8 형식을 채택합니다. 정밀도 손실을 줄이기 위해 QAT(Quantization-Aware Training) 나 혼합 정밀도 기법이 사용됩니다.
  • 가지치기 (Pruning): 26% 에서 가중치 또는 채널 가지치기를 통해 모델 크기를 축소합니다.

• RQ5 & RQ6 (구현 및 성능 최적화):

  • 구현 방식: 수동 설계 (HDL/HLS) 가 약 45% 로 가장 많으나, Vitis AI와 FINN 같은 자동화 프레임워크 사용도 증가하고 있습니다.
  • 패턴: 특정 모델에 최적화된 **Specific 설계 (약 75%)**가 주류이며, 온칩 메모리 (BRAM) 를 활용한 데이터 재사용 (Systolic Array 등) 이 성능 향상의 핵심입니다.
  • 성능: FPGA 는 CPU/GPU 대비 낮은 클록 주파수를 가지지만, 높은 병렬성 (Pipelining, Parallelism) 을 통해 높은 처리량 (Throughput) 과 낮은 전력 소모 (GOP/s/W) 를 달성합니다.

• RQ7 & RQ8 (한계 및 미래):

  • 리소스 제약: 작은 FPGA 는 간단한 모델만 실행 가능하지만, 리소스 활용도를 높이면 더 복잡한 작업도 가능합니다.
  • 실제 사례: PhiSat-1 (클라우드 감지), OPS-SAT (실험적 ML 배포) 등 실제 우주 임무에서 성공적으로 적용된 사례가 있습니다. UAV 는 실시간 장애물 회피 및 감시 등에 활용됩니다.

4. 연구 격차 및 기회 (Gaps & Opportunities)

논문은 현재 연구의 몇 가지 중요한 공백을 지적했습니다:

1. RS 사용 사례의 불완전성: 재난 대응, 데이터 압축, 환경 모니터링 등 온보드 처리가 필요한 다양한 시나리오가 아직 충분히 탐구되지 않았습니다.
2. 주요 DL 아키텍처의 부재: **Vision Transformer (ViT)**나 RNN(시계열 데이터 처리용) 과 같은 최신 모델의 FPGA 구현이 거의 없습니다.
3. 최적화 기법의 미흡: 지식 증류 (Knowledge Distillation), 하드웨어 인식 신경망 탐색 (HW-NAS), 불확실성 정량화 (Uncertainty Quantification) 및 설명 가능한 AI (xAI) 기법의 적용이 매우 부족합니다.
4. 비교 및 재현성 부족: 많은 연구가 표준 벤치마크나 이전 작업과의 공정한 비교가 부족하며, 메모리 사용량 및 전력 소비에 대한 상세한 보고가 미흡합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 종합적 가이드라인: 이 논문은 지구 관측 분야에서 FPGA 기반 ML 배포를 위한 최초의 체계적인 검토로서, 연구자와 엔지니어에게 모델 선택, 하드웨어 선정, 최적화 전략에 대한 명확한 가이드를 제공합니다.
• 미래 지향성: NewSpace 시대에 맞춰 데이터 처리의 패러다임을 '지상 중심'에서 '온보드/에지 중심'으로 전환하는 데 필요한 기술적 통찰을 제공합니다.
• 재현성 확보: 연구진은 모든 데이터, 코드, 분류 체계를 GitHub 에서 공개하여 (https://github.com/CedricLeon/Survey_RS-ML-FPGA) 향후 연구의 투명성과 재현성을 높였습니다.

결론적으로, 이 논문은 FPGA 가 제한된 리소스와 가혹한 환경에서도 고효율의 AI 추론을 가능하게 하는 핵심 기술임을 입증하며, 향후 더 정교한 모델 (Transformer 등) 과 최적화 기법 (HW-NAS, xAI) 의 도입을 통해 지구 관측 시스템의 자율성과 효율성을 극대화할 수 있음을 시사합니다.