Spectrum Shortage for Radio Sensing? Leveraging Ambient 5G Signals for Human Activity Detection

이 논문은 기존 5G 통신 신호를 재사용하여 주파수 부족 문제를 해결하고, 새로운 하드웨어 아키텍처와 크로스 모달 학습 프레임워크를 통해 인간 활동 인식 및 골격 추정 등 정밀한 라디오 센싱을 가능하게 하는 '환경 라디오 센싱 (Ambient Radio Sensing, ARS)' 시스템을 제안하고 실험을 통해 검증했습니다.

핵심

📡 핵심 아이디어: "남의 전파를 빌려와서 사람을 본다?"

우리가 보통 사람을 볼 때는 카메라를 쓰죠. 하지만 카메라는 어두운 곳에서는 안 보이고, 벽 뒤는 볼 수 없으며, 사람의 얼굴을 찍으면 사생활이 침해될 수 있습니다.

이때 라디오 전파가 유용합니다. 전파는 어둠이나 벽을 통과할 수 있고, 사람의 얼굴을 찍지 않아도 몸의 움직임만 감지할 수 있어 사생활 보호에 좋습니다.

하지만 큰 문제가 하나 있습니다.
라디오 전파를 쏘고 받아서 감지하려면 **전파를 쏠 수 있는 '주파수 대역 (스펙트럼)'**이 필요합니다. 그런데 지금 전파 대역은 TV, 5G, 와이파이, 군사용 등 이미 다 차서 새로운 감지 장비를 켤 공간이 거의 없습니다. (마치 도로가 꽉 막혀서 새로운 차를 못 내보내는 상황과 비슷하죠.)

이 논문은 이 문제를 해결하기 위해 **"이미 날아다니고 있는 5G 전파를 그대로 이용하자"**는 아주 창의적인 아이디어를 제시합니다.

---

🛠️ 이 기술 (ARS) 이 어떻게 작동할까?

이 장치는 **ARS(Ambient Radio Sensing)**라고 부르는데, 세 가지 단계로 작동합니다.

1. 전파를 '빌려서' 비추기 (증폭기 역할)

• 비유: 어두운 방에서 누군가를 보려고 할 때, 손전태를 직접 켜는 게 아니라 창문으로 들어오는 햇빛을 거울로 반사시켜 비추는 것과 같습니다.
• 작동: 이 장치는 주변에 이미 날아다니고 있는 5G 전파를 잡아서 (RX0 안테나), 그 전파를 **증폭기 (LNA/PA)**로 크게 부풀려서 주변을 비춥니다.
• 중요한 점: 이 장치는 전파를 새로 만들어내지 않고, 기존 통신을 방해하지 않으면서 전파를 더 강하게 만들어줍니다.

2. 반사된 전파를 '혼합'해서 보기 (스위칭 역할)

• 비유: 비친 빛이 사람 몸에 부딪혀 돌아오면, 그 빛을 받아서 원래 빛과 비교합니다.
• 작동: 사람이 움직이면 반사되어 돌아오는 전파의 **위상 (Phase)**이 미세하게 변합니다. 이 장치는 돌아온 전파와 원래 잡았던 전파를 섞어서 (Self-mixing), 아주 작은 움직임도 잡아낼 수 있는 기저대역 신호를 만들어냅니다.
• 결과: 이 신호를 분석하면 사람이 어디에 있고, 어떻게 움직이는지 알 수 있습니다.

3. AI 가 '눈'을 뜨게 하기 (학습 역할)

• 문제: 전파 신호는 매우 복잡하고 잡음이 많습니다. 마치 흐릿한 안개 낀 사진처럼 사람 모양을 바로 알아내기 어렵습니다.
• 해결: 연구팀은 **AI(딥러닝)**를 훈련시켰습니다.
  • 훈련 방법: 실제 사람 앞에서 카메라로 선명한 영상을 찍으면서, 동시에 전파 신호도 받았습니다. 카메라가 찍은 선명한 영상 (정답) 을 보고 전파 신호를 해석하는 법을 가르쳤습니다.
  • 사용 방법: 훈련이 끝나면 카메라는 필요 없습니다. 오직 전파 신호만으로도 사람이 어디에 서 있고, 손발이 어떻게 움직이는지 (골격 추정) 그리고 몸의 윤곽 (마스크 분할) 을 정확히 그려낼 수 있게 됩니다.

---

🎯 이 기술이 왜 특별한가요?

1. 주파수 부족 문제 해결: 별도의 전파를 할당받지 않아도 되므로, 전파가 꽉 찬 5G 환경에서도 자유롭게 감지할 수 있습니다.
2. 사생활 보호: 얼굴을 찍지 않고 몸의 움직임만 감지하므로, 요양원이나 병원에서 환자를 모니터링할 때 사생활 침해 우려가 없습니다.
3. 어둠과 장애물 통과: 카메라처럼 빛이 필요 없고, 벽 뒤나 안개 속에서도 사람을 찾을 수 있습니다.

📊 실험 결과: 얼마나 잘할까요?

연구팀은 이 장치를 실제로 만들어 실험했습니다.

• 사람의 뼈대 (스켈레톤) 추정: 사람이 어떤 자세로 서 있는지, 손과 발이 어디 있는지 정확히 그려냈습니다.
• 몸의 윤곽 (마스크) 구분: 사람이 어디에 있는지 몸통 모양으로 정확히 구분해냈습니다.
• 기존 기술보다 우수함: 기존 와이파이나 라디오 감지 기술보다 훨씬 정교하고 정확한 결과를 보여주었습니다. 특히 몸통 (어깨, 허리) 은 아주 잘 감지하지만, 손목이나 발목처럼 작고 빠르게 움직이는 부분은 거리가 멀어질수록 정확도가 약간 떨어지는 한계도 발견했습니다.

---

💡 한 줄 요약

"이미 날아다니고 있는 5G 전파를 증폭해서 비추고, AI 가 그 반사파를 분석해 사람의 움직임을 카메라 없이, 사생활 침해 없이, 벽 뒤에서도 정확히 찾아내는 새로운 기술입니다."

이 기술은 앞으로 스마트 홈, 요양 시설, 보안 시스템 등에서 카메라를 대체할 수 있는 혁신적인 '전파 눈'이 될 것으로 기대됩니다.

기술 요약

논문 요약: 주변 5G 신호를 활용한 인간 활동 감지를 위한 환경 라디오 감지 (Ambient Radio Sensing, ARS)

1. 문제 정의 (Problem)

• 스펙트럼 부족: 10GHz 미만의 저주파 대역은 TV 방송, 4G/5G, Wi-Fi, 군사/항공 레이더 등 다양한 용도로 이미 할당되어 있어, 새로운 라디오 감지 (Radio Sensing) 서비스를 위한 전용 주파수 확보가 매우 어렵습니다.
• 기존 기술의 한계:
  • 시각 기반 (카메라/LiDAR): 조명 조건 (어두움, 안개) 에 민감하고, 비선형 시야 (NLOS) 가 불가능하며, 사생활 침해 우려가 있습니다.
  • 기존 레이더 (FMCW 등): 전용 주파수 대역이 필요하여 대규모 배포에 제약이 따릅니다.
  • mmWave: 고해상도이지만 장애물 투과력이 낮고 감지 거리가 짧습니다.
• 핵심 과제: 통신 시스템의 성능을 저해하지 않으면서도, 기존에 존재하는 통신 신호 (5G, Wi-Fi 등) 를 활용하여 주파수 부족 문제를 해결하고 정밀한 인간 활동 감지를 수행하는 방법론이 필요합니다.

2. 방법론 (Methodology)

이 논문은 **Ambient Radio Sensing (ARS)**이라는 새로운 통합 감지 및 통신 (ISAC) 접근법을 제안합니다.

가. 하드웨어 아키텍처: 증폭 및 중계 (Amplify-and-Forward) 와 자기 혼합 (Self-Mixing)

• 개념: ARS 는 독립적인 장치로, 기존 통신 시스템 (예: 5G 기지국) 에서 공중으로 방출된 신호를 수신하여 증폭한 후 주변 물체를 비추고, 반사된 신호를 수신하여 특징을 추출합니다.
• 회로 설계:
  • 증폭 및 중계 회로: 전방향 다이폴 안테나 (RX0) 로 수신된 신호를 증폭 (LNA/PA) 하여 패치 안테나 (TX) 로 재방사합니다. 이 과정에서 통신 시스템에 간섭을 주지 않고 오히려 신호 강도를 보강할 수 있습니다.
  • 자기 혼합 (Self-Mixing) 회로: 반사된 신호를 수신 (RX1~M) 하여 증폭된 원본 신호와 혼합 (Mixer) 합니다. 이를 통해 OFDM 신호의 위상 변화를 기반으로 베이스밴드 신호를 생성하여 도플러 및 각도 특징을 추출합니다.
  • 간섭 제거: 패치 안테나의 대역폭 특성을 활용하여 원치 않는 대역의 간섭을 필터링합니다.

나. 신호 처리 및 특징 추출

• 수학적 모델링: OFDM 신호의 위상 (Phase) 이 물체의 이동 거리에 선형적으로 비례함을 분석하여, 베이스밴드 신호에서 도플러 서명을 추출할 수 있음을 증명했습니다.
• 신호 정제 (Sanitization): 잡음 제거, 편향 보정 (k-means 클러스터링), 이상치 제거 (LOF 알고리즘) 를 거쳐 신호의 품질을 향상시킵니다.
• 차분 빔포밍 (Differential Beamforming): 정적 배경을 제거하고 이동하는 물체 (사람) 에만 집중하기 위해 시간 차이를 둔 신호를 빔포밍하여 열지도 (Heatmap) 이미지를 생성합니다.

다. 알고리즘: 크로스-모달 학습 (Cross-Modal Learning)

• 학습 프레임워크: 라디오 신호의 특징은 희소하고 노이즈가 많아 직접 학습하기 어렵습니다. 이를 해결하기 위해 **비전 (Vision) 모델에서 라디오 (Radio) 모델로 지식을 증류 (Distill)**하는 방식을 사용합니다.
• 프로세스:
  1. 훈련 단계: ARS 와 동기화된 카메라를 사용하여 정밀한 인간 골격 (Skeleton) 과 몸체 마스크 (Body Mask) 라벨을 생성합니다.
  2. 모델 학습: 생성된 라벨로 라디오 열지도 데이터를 학습시키는 딥 뉴럴 네트워크 (DNN) 를 훈련시킵니다.
  3. 추론 단계: 훈련이 완료되면 카메라는 제거되고, 오직 라디오 신호만으로 인간 활동 (골격 추정, 마스크 분할) 을 수행합니다.
• 모델 구조: 시계열 패치 (Sequential Patch) 를 입력으로 받아 Transformer 기반의 인코더와 디코더를 사용하여 시공간 특징을 학습합니다.

3. 주요 기여 (Key Contributions)

1. 주파수 부족 해결: 기존 통신 신호 (5G, Wi-Fi) 를 재사용 (Repurposing) 하여 전용 주파수 없이도 대규모 라디오 감지 배포를 가능하게 하는 새로운 ISAC 접근법 제시.
2. 하드웨어 - 알고리즘 공동 설계: OFDM 파형에서 강건한 특징을 추출하기 위한 자기 혼합 RF 아키텍처 개발.
3. 실증적 검증: 프로토타입을 통해 인간 골격 추정 (Skeleton Estimation) 과 몸체 마스크 분할 (Body Mask Segmentation) 에서 최첨단 (SOTA) 성능을 입증.

4. 실험 결과 (Results)

• 실험 환경: 대학 캠퍼스 내 8 개의 다양한 실내/실외 환경에서 5G (2.35 GHz, 40 MHz 대역) 신호를 사용하여 데이터를 수집. 20 만 개 이상의 훈련 샘플과 5 만 개 이상의 테스트 샘플 사용.
• 성능 비교: 기존 SOTA 방법론 (Person-in-WiFi, SiWiS) 과 비교하여 다음과 같은 결과를 도출:
  • 마스크 분할: IoU 기준 AP@0.80 에서 SiWiS 대비 약 150% 향상 (0.1055 → 0.2624).
  • 키포인트 추정: 평균 정밀도 (AP) 와 평균 재현율 (AR) 에서 모두 우위를 점함.
  • 고정밀도 성능: 기준이 엄격해질수록 (고해상도 요구) 기존 방법과의 성능 격차가 더욱 벌어짐.
• 세부 분석:
  • 신호 지속 시간: 4 초 이상의 신호 입력이 최적의 성능을 보임.
  • 감지 거리: 2m~6m 거리에서 성능이 감소하지만, 몸통 (Torso) 부위는 팔다리 (Extremities) 에 비해 더 안정적인 정확도를 유지함.
  • 정성적 결과: 복잡한 다중 경로 환경에서도 카메라 기반의 정답 (Ground Truth) 과 높은 일치도를 보이는 골격과 마스크를 생성.

5. 의의 및 결론 (Significance)

• 사생활 보호: 얼굴이나 신체 세부 정보를 포착하지 않으면서도 인간 활동, vital signs 등을 감지할 수 있어 요양원, 병원 등 민감한 환경에 적합합니다.
• 확장성: 전용 레이더 주파수 할당 없이도 기존 통신 인프라를 활용하므로 대규모 IoT 및 스마트 시티 감지 시스템 배포가 용이합니다.
• 기술적 혁신: 통신 신호를 단순히 '수신'하는 것을 넘어, '증폭 및 반사'하여 능동적인 감지 소스로 활용하는 패러다임 전환을 제시했습니다.

이 연구는 주파수 자원의 한계를 극복하고, 사생활을 보호하며 고해상도로 인간 활동을 감지할 수 있는 차세대 라디오 감지 기술의 실용성을 입증했습니다.