A Camera-Cooperative ISAC Framework for Multimodal Non-Cooperative UAVs Sensing

기술 요약: 비동조 다중 모드 UAV 감지를 위한 카메라 협력형 ISAC 프레임워크

문제 제기
비동조 무인 항공기 (UAV) 의 탐지 및 추적은 통합 감지 및 통신 (ISAC) 시스템에 상당한 과제를 제시합니다. 이러한 과제는 단일 모드 감지의 고유한 한계와 감지 및 통신 (S&C) 기능 간 공유 물리 자원에 대한 치열한 경쟁에서 비롯됩니다. 비동조 UAV 는 일반적으로 저고도, 저속, 작은 레이더 단면적 (RCS) 특성을 보이며, 이로 인해 ISAC 반향만으로는 탐지가 어렵습니다. 또한, 기존 ISAC 접근법은 종종 표적을 위치시키기 위해 포괄적이거나 계층적인 빔 스윕에 의존하는데, 이는 상당한 시간 및 자원 오버헤드를 초래하여 통신 작업에 사용 가능한 용량을 감소시킵니다. 반면, 비전 기반 감지는 고해상도 공간 정보를 제공하지만 조명 변화나 가림과 같은 환경 요인에 취약합니다. 반대로 ISAC 감지는 모든 날씨에 강한 견고성을 제공하지만 세밀한 시각적 디테일이 부족하고 상당한 빔 관리가 필요합니다.

방법론
이러한 문제를 해결하기 위해 저자들은 카메라 협력형 ISAC (CC-ISAC) 프레임워크를 제안합니다. 이 시스템은 외부 카메라를 ISAC 기지국 (BS) 에 통합하여 상호 보완적인 감지 루프를 생성합니다. 해당 프레임워크는 감지 과정을 세 가지 시너지 과제로 분해합니다:

1. 실시간 시각적 공역 탐지: 외부 카메라가 YOLO 기반 탐지기를 사용하여 공역을 coarse-grained(대략적) 으로 모니터링하여 UAV 를 식별하고 바운딩 박스 좌표 및 잘라낸 이미지 패치를 추출합니다.
2. 비전 지원 빔 선택: 시각 데이터를 ISAC 감지 도메인과 정렬하여 빔 선택을 안내함으로써 BS 의 검색 공간을 축소합니다.
3. 다중 모드 융합 기반 빔 추적: 과거 감지 데이터와 현재 관측치를 융합하여 견고하고 연속적인 추적을 가능하게 합니다.

이 프레임워크는 두 가지 핵심 딥러닝 모듈에 의존합니다:

• 시각 - 반향 데이터 정렬 (V2EDA): 이 모델은 시각적 관측 (이미지 공간) 과 빔 공간 각도 간의 이질적 표현 불일치를 해결합니다. 바운딩 박스 벡터에는 ResMLP 를, 잘라낸 이미지에는 CNN 을 사용하는 듀얼 스트림 특징 추출 아키텍처를 적용한 후 크로스 어텐션 (CA) 메커니즘을 따릅니다. 이 메커니즘을 통해 모델은 이미지 공간 관측을 빔 공간 방위각 및 고도각으로 매핑하기 위해 관련 시각적 단서를 동적으로 검색할 수 있으며, 명시적인 깊이 측정 없이 비선형 매핑을 효과적으로 학습합니다.
• 다중 모드 융합 기반 추정 (MMFE): 추적 단계를 위해 설계된 이 모듈은 과거 반향 도메인 감지 정보 (ESI) 와 현재 시각 감지 정보 (VSI) 를 통합합니다. 이는 Transformer 인코더를 활용하여 융합된 과거 데이터의 장기적 시간적 의존성을 포착하고, 이를 다층 퍼셉트론 (MLP) 을 통해 현재 시각 입력과 결합합니다. 모델은 대체 메커니즘을 포함합니다: 시각 데이터가 신뢰할 수 없는 경우 (예: 심각한 가림), 반향만 예측으로 전환하고, 반향 데이터가 누락된 경우 시각 데이터나 최근 측정에 의존합니다.

주요 기여

1. 프레임워크 수준의 혁신: 본 논문은 이종 센서의 기능적 역할을 재정의하는 새로운 시스템 수준의 설계를 소개합니다. 고정된 파이프라인 내에서 빔 정렬을 정제하는 용도로만 비전을 사용한 이전 연구들과 달리, CC-ISAC 은 명시적 계층적 작업 분할을 채택합니다. 비전은 초기 공역 인식 및 대략적 위치 파악의 역할을 담당하고, ISAC 자원은 협력적 세밀 감지를 위해 보류됩니다. 이 접근법은 감지 오프로딩을 실현하여 coarse-grained 환경 인식을 ISAC 모듈에서 카메라로 이전함으로써 전체 감지 오버헤드를 줄입니다.
2. 다중 모드 학습 모듈 활성화: 저자들은 이 프레임워크를 지원하기 위해 V2EDA 와 MMFE 모델을 개발했습니다. V2EDA 는 시각 및 반향 특징을 정렬함으로써 공간적으로 분리된 센서 간의 실질적인 협력을 가능하게 합니다. MMFE 는 교차 모드 의사결정 융합을 통해 상태 추정 견고성을 향상시키고 빔 추적 오버헤드를 감소시킵니다.
3. 시스템 수준 최적화: 이 연구는 감지 정확도 향상만이 아닌 ISAC 자원 효율성 (빔 조향 시간 감소) 을 직접 최적화하기 위해 다중 모드 협력을 활용하는 첫 번째 사례라고 주장합니다.

실험 결과
해당 프레임워크는 동기화된 RGB 영상 및 UAV 실제 GPS 데이터를 제공하는 DeepSense6G 데이터셋을 사용하여 평가되었습니다.

• 빔 조향 효율성: V2EDA 지원 빔 선택 전략은 표적 획득에 필요한 평균 빔 스캔 횟수를 크게 감소시켰습니다. 기존 계층적 스캐닝과 비교하여 제안된 방법은 빔 조향 오버헤드를 평균 71% 감소시켰습니다.
• 빔 추적 효율성: MMFE 모델은 빔 추적에서 견고한 성능을 입증했습니다. 반향만 기반 베이스라인과 비교하여 MMFE 접근법은 다양한 신호 대 잡음비 (SNR) 조건 및 데이터 손실 시나리오에서 빔 추적 오버헤드를 **1.69% 에서 11.15%**까지 감소시켰습니다.
• 견고성: 채널 열화 (SNR -2 dB 까지 감소) 및 부분적 데이터 손실 (반향 또는 시각 데이터 누락) 하에서도 시스템은 높은 각도 추정 정확도를 유지했습니다. 융합 모델은 각 모달리티의 강점을 적응적으로 활용하여 단일 모드 또는 칼만 필터 기반 접근법보다 우수한 결함 허용 능력을 보여주었습니다.
• 자원 회수: 감지 오버헤드를 줄임으로써 프레임워크는 통신 프레임 내의 시간 도메인 자원 (OFDM 심볼) 을 효과적으로 확보하여 통신 작업에 사용 가능한 용량을 증가시킵니다.

의의 및 주장
본 논문은 CC-ISAC 프레임워크가 ISAC 시스템 설계의 실질적인 발전이라고 주장합니다. 그 주요 의의는 감지와 통신 간의 자원 경쟁을 완화하는 데 있습니다. 대략적 탐지를 비전에 오프로딩하고 ISAC 를 세밀한 정제에만 활용함으로써, 시스템은 신뢰할 수 있는 UAV 감시를 달성하면서도 추가 통신 작업을 위해 상당한 시스템 자원을 확보합니다. 저자들은 이 접근법이 감지 정확도와 ISAC 자원 소비 간의 전통적인 트레이드오프를 감지 정확도와 다중 모드 감지 능력 간의 트레이드오프로 전환한다고 강조합니다. 이 프레임워크는 지배적인 시선 (LoS) 전파가 있는 저고도 시나리오에 특히 적합하며, 포괄적인 빔 검색 없이 효율적인 비동조 UAV 탐지를 위한 확장 가능한 솔루션을 제공합니다.