Leveraging Large Vision Model for Multi-UAV Co-perception in Low-Altitude Wireless Networks

1. 문제 정의 (Problem)

저고도 경제 (Low-Altitude Economy) 환경에서 다중 무인 항공기 (Multi-UAV) 의 협력적 지각 (Co-perception) 은 교통 감시, 자율 점검 등 다양한 응용 분야에서 중요한 역할을 합니다. 여러 UAV 가 수집한 보완적인 다중 시점 (Multi-view) 데이터를 활용하면 단일 UAV 보다 인식 성능을 크게 향상시킬 수 있습니다. 그러나 다음과 같은 주요 도전 과제가 존재합니다.

• 방대한 시각 데이터: 여러 UAV 가 생성하는 고해상도 영상 데이터는 무선 통신 대역폭과 지연 시간 (Latency) 에 심각한 부담을 줍니다.
• 리소스 제약: UAV 는 에너지와 연산 능력이 제한된 엣지 디바이스이므로, 원본 이미지를 전송하거나 복잡한 특징 추출을 수행하기 어렵습니다.
• 전통적 방법의 한계: 기존 CNN 기반의 특징 압축이나 희소화 (Sparsification) 기법은 UAV 의 제한된 연산 능력으로 인해 재구성 및 특징 추출 성능이 저하되어 인식 정확도가 떨어지는 문제가 있습니다.
• 대규모 모델의 도입 난제: Vision Transformer(ViT) 나 DINO 와 같은 대형 비전 모델 (LVM) 은 뛰어난 표현 능력을 가지지만, 방대한 파라미터와 연산 비용으로 인해 UAV 에 직접 탑재하기 어렵습니다.

2. 제안된 방법론 (Methodology)

이 논문은 기지국 지원 UAV(Base-Station-Helped UAV, BHU) 라는 새로운 협력적 지각 프레임워크를 제안합니다. 이 프레임워크는 UAV 에서의 경량 처리와 지상 서버의 대규모 모델 활용을 결합하여 통신 오버헤드를 줄이면서 인식 성능을 극대화합니다.

가. Top-K 기반 희소화 전송 (Top-K Sparsified Transmission)

• UAV 는 촬영한 RGB 이미지에서 가장 정보량이 많은 픽셀을 선택하여 전송합니다.
• Top-K 메커니즘: 경량 신경망을 사용하여 이미지의 중요도 맵 (Importance Map) 을 생성하고, 슬라이딩 윈도우를 통해 이웃 픽셀의 평균 중요도를 계산합니다.
• 데이터 축소: 상위 $K$ 비율 ($\kappa$) 의 픽셀만 선택하여 전송함으로써 데이터 양과 전송 지연을 대폭 줄입니다.
• 재구성: 지상 서버에서 전송된 희소화된 이미지는 학습 가능한 가우시안 보간 (Gaussian Interpolation) 모듈을 통해 완전한 이미지로 재구성됩니다.

나. 대형 비전 모델 (LVM) 기반 BEV 특징 융합

• 지상 서버 처리: 재구성된 이미지는 지상 서버의 MaskDINO(Swin-large 백본 기반) 인코더로 입력됩니다.
• BEV 특징 추출: MaskDINO 는 픽셀 단위 임베딩과 다중 스케일 특징을 추출하여 Bird's-Eye-View(BEV) 공간으로 투영합니다.
• 협력적 융합: 여러 UAV 의 BEV 특징을 공간적으로 정렬하여 융합 (Feature Fusion) 합니다. 이를 통해 차량 인스턴스 분할 (Instance Segmentation) 과 운동 흐름 (Motion Flow) 예측을 수행합니다.

다. 확산 모델 기반 심층 강화 학습 (DDIM-based DRL)

통신 효율성과 인식 유틸리티 간의 균형을 맞추기 위해 확산 모델 (Diffusion Model) 기반의 심층 강화 학습 (DRL) 알고리즘을 제안합니다.

• 최적화 목표: UAV-기지국 (BS) 연결, Top-K 희소화 비율, 프리코딩 (Precoding) 행렬을 동시에 최적화하여 가중치 유틸리티를 최대화하고 최대 통신 지연을 최소화합니다.
• DDIM 통합: 일반적인 확산 모델은 반복적 탈노이즈 과정으로 인해 학습 비용이 높습니다. 이를 해결하기 위해 DDIM (Denoising Diffusion Implicit Model) 을 도입하여 탈노이즈 단계를 서브시퀀스로 샘플링함으로써 학습 효율성을 높였습니다.
• 액션 공간:
  • UAV 선택 및 Top-K 비율: Q-네트워크를 통해 결정.
  • 프리코딩 행렬: 최적의 프리코딩 분포를 모델링하기 위해 DDIM 을 사용하여 생성 (Exhaustive search 를 대체하여 계산 복잡도 감소).

3. 주요 기여 (Key Contributions)

1. Top-K 픽셀 선택 메커니즘: UAV 이미지에서 가장 중요한 픽셀을 선택하여 전송 데이터 양과 지연 시간을 획기적으로 줄이는 통신 효율적 전송 방식을 도입했습니다.
2. LVM 기반 BEV 융합 프레임워크: 지상 서버에 Swin-large 기반의 MaskDINO 를 배치하여 희소화된 데이터에서도 고품질의 BEV 특징을 추출하고 융합함으로써 인식 성능을 대폭 향상시켰습니다.
3. DDIM 기반 DRL 알고리즘: UAV 선택, 희소화 비율, 프리코딩을 통합적으로 최적화하는 새로운 알고리즘을 제안했으며, DDIM 을 통해 학습 안정성과 효율성을 확보했습니다.
4. 성능 검증: Air-Co-Pred 데이터셋을 통한 시뮬레이션 결과, 기존 CNN 기반 베이스라인 대비 인식 성능 (IoU) 5% 이상 향상 및 통신 오버헤드 85% 감소를 입증했습니다.

4. 실험 결과 (Simulation Results)

• 데이터셋: CARLA 시뮬레이터로 생성된 Air-Co-Pred 데이터셋 (4 대의 UAV, 32,000 장의 동기화된 이미지) 을 사용했습니다.
• 인식 성능:
  • 제안된 BHU 프레임워크 (MaskDINO + Swin-large) 는 기존 DHD(Drone-Help-Drone) 방식 대비 평균 IoU 가 5.67%~6.3% 향상되었습니다.
  • UAV 수를 늘릴수록 다중 시점 정보로 인해 모든 백본에서 성능이 향상되었으며, LVM 기반이 CNN 기반보다 우월한 일반화 능력을 보였습니다.
• 통신 효율성:
  • Top-K 비율을 25% 로 설정했을 때, BHU 의 통신 오버헤드는 DHD 대비 약 15% 수준 (약 85% 감소) 으로 크게 절감되었습니다.
  • LoRA(Low-Rank Adaptation) 파인튜닝을 적용하면 전체 파라미터의 14% 만 학습하면서도 전 학습 (Full Training) 대비 2% 미만의 성능 저하만 발생시켜 효율성을 극대화했습니다.
• DRL 성능:
  • DDIM 기반 DRL 은 최적의 프리코딩 레이블을 학습하여 수렴 속도가 빠르고 안정적이며, 지연 시간 ($\lambda$) 가 증가할수록 통신 품질 (SINR) 을 유지하면서 지연을 효과적으로 관리하는 것을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 저고도 경제 네트워크에서 다중 UAV 협력 지각의 핵심 병목 현상인 통신 대역폭 부족과 UAV 의 연산 제약을 동시에 해결하는 혁신적인 솔루션을 제시합니다.

• 기술적 혁신: UAV 에 무거운 모델을 탑재하지 않고, 경량화된 데이터 전송과 지상 서버의 대형 모델 (LVM) 을 결합한 Edge-Cloud 협업 아키텍처를 정립했습니다.
• 실용성: DDIM 기반의 DRL 을 통해 동적인 무선 환경에서 실시간으로 최적의 통신 및 지각 전략을 결정할 수 있어, 실제 저고도 자율 비행 시스템에 적용 가능한 높은 실용성을 가집니다.
• 미래 전망: 본 연구는 제한된 무선 자원 하에서도 고품질의 협력적 지각을 가능하게 하여, 스마트 시티, 자율 주행, 재난 대응 등 다양한 저고도 경제 응용 분야의 발전에 기여할 것으로 기대됩니다.