EM Informed Holographic Imaging via Unrolled Deep Networks

공기 자체가 보이지 않는 라디오파로 가득 차 있고, 그 파동이 벽, 가구, 사람에게 부딪혀 튕겨 나가는 방을 상상해 보십시오. 현대적인 "스마트 라디오 환경(Smart Radio Environment)"에서 밀집된 안테나 배열은 단순한 통신 장치를 넘어 공유된 감지 인프라 역할을 합니다. 이 안테나들은 공간 속에서 움직이는 물체에 의해 발생하는 라디오파의 미세한 물결을 포착할 수 있습니다. 얼굴이나 방의 모습을 상세히 촬영하는 카메라와 달리, 이 기술은 파동이 어떻게 산란되는지를 바탕으로 사물이 어디에 있는지에 대한 대략적인 3차원 지도를 재구성합니다. 이는 눈으로 보지 않고도 보는 방식이며, 사람의 형체나 위치를 드러내면서도 결코 식별 가능한 이미지를 캡ر처하지 않는, 프라이버시를 보호하는 장면의 스냅샷을 만들어냅니다. 이러한 능력은 기기들이 안전하고 효율적으로 작동하기 위해 주변 환경을 이해해야 하는 "만물 인터넷(Internet of Everything)"의 미래에 매우 중요하며, 동시에 내부 사람들의 프라이버시를 존중합니다.

엔지니어들의 과제는 항상 이 흩어진 라디오 신호를 선명한 그림으로 바꾸는 것이었습니다. 라디오파가 어떻게 이동하고 반사되는지에 대한 물리학은 잘 알려져 있지만, 신호로부터 이미지를 역설계하기 위한 수학 문제를 푸는 것은 매우 까다롭습니다. 전통적인 방식은 이론적으로는 잘 작동하지만 현실 세계가 복잡해질 때 어려움을 겪는 고정된 수학적 규칙에 의존하는 경우가 많습니다. 방의 구조가 바뀌거나 내부의 물체가 예상과 다르게 움직이면, 이러한 표준 도구들은 흐릿하거나 부정확한 지도를 만들어냅니다. 이는 마치 렌즈를 조절할 수 없는 카메라와 같아서, 사진은 찍히지만 초점이 자주 어긋나는 것과 같습니다. 연구자들은 인공지능을 사용하여 이를 해결하려 노력해 왔지만, 기존의 많은 접근 방식은 라디오파의 알려진 물리학을 "블랙박스" 형태의 컴퓨터 프로그램으로 대체해 버립니다. 이러한 프로그램들은 데이터로부터 학습할 수는 있지만, 종종 물리학의 법칙을 망각하여 새로운 상황에 직면하거나 학습을 위한 데이터가 적을 때 신뢰성이 떨어지는 문제가 발생합니다.

최근 연구에서 페데리카 피에라모스카(Federica Fieramosca), 알렉산더 H. 파울루스(Alexander H. Paulus), 리차드 올리베이라(Richard Oliveira), 스테파노 사바치(Stefano Savazzi) 연구팀은 다른 길을 제시했습니다. 물리학을 버리거나 블랙박스에 의존하는 대신, 그들은 전자기학의 법칙을 프로세스의 핵심에 두는 방법을 개발했습니다. 그들은 이미지를 재구성하는 데 사용되는 단계별 알고리즘인 표준 수학 솔버(solver)를 학습 가능한 딥러닝 네트워크로 변환했습니다. 이것은 마치 경직된 수동 조립 라인을 가져와서, 작업자들이 근본적인 설계도를 따르면서도 자신이 보는 것에 따라 스스로 도구를 조절하는 법을 가르치는 것과 같습니다. "알고리즘 언롤링(algorithm unrolling)"이라고 알려진 이 기술을 통해, 시스템은 라디오파의 물리적 의미를 전혀 잃지 않으면서도, 이미지를 얼마나 날카롭게 만들지 또는 사람이 어디에 서 있을지 예측하는 것과 같은 몇 가지 특정 매개변수를 제한된 데이터로부터 학습할 수 있습니다.

연구팀은 이 학습 과정에 두 가지 구체적인 개선 사항을 도입했습니다. 첫 번째인 "Weighted LISTA"는 시스템이 방의 특정 부분에 더 집중하도록 가르칩니다. 일반적인 사무실이나 가정에서는 사람들이 천장에 떠 있거나 벽 속에 박혀 있는 것이 아니라 바닥에 서 있을 가능성이 높습니다. "공간적 사전 정보(spatial prior)"를 학습함으로써, 시스템은 에너지를 바닥 높이와 인간의 신체 높이에 집중해야 함을 이해하고, 빈 공간은 효과적으로 무시하게 됩니다. 이를 통해 결과 이미지는 훨씬 더 깨끗하고 선명해집니다. 두 번째 개선 사항인 "Low-Rank Weighted LISTA"는 다른 문제를 다룹니다. 바로 라디오파를 설명하는 수학적 모델이 근사치라는 점입니다. 현실 세계에서 파동은 단순한 방정식이 놓칠 수 있는 복잡한 방식으로 행동합니다. 이 새로운 방식은 수학적 모델 자체에 대한 작은 보정치를 학습하며, 이는 이론과 현실 사이의 간극을 보완하는 미세 조정 노브(knob)처럼 작동합니다.

연구팀은 아이디어를 테스트하기 위해 두 가지 유형의 실험을 수행했습니다. 첫째, 강력한 컴퓨터 시뮬레이션을 사용하여 방 안에 인간 형태의 물체가 있는 상황에서 라디오파가 튀어 오르는 것을 모델링했습니다. 이 시뮬레이션을 통해 시스템을 훈련할 수 있는 완벽한 "그라운드 트루스(ground truth)" 데이터를 생성할 수 있었습니다. 그들은 새 방식이 기존의 표준 기술들에 비해 인간의 형태를 훨씬 더 선명한 이미지로 만들어내며, 오류가 적고 가장자리가 더 잘 정의된다는 것을 확인했습니다. 이 시스템은 특히 사람과 배경의 혼란스러운 요소들을 구분해 내는 데 탁ç월했습니다. 둘 둘째, 실험을 실제 실험실로 옮겼습니다. 와이파이에서 흔히 쓰이는 2.45GHz 주파수를 사용하여, 대규모 안테나 그리드를 설치하고 방 안에 인간 형태의 마네킹을 배치했습니다. 그들은 마네킹에 의해 산란되는 실제 라디오파를 측정하여 이 실세계 데이터를 시스템에 입력했습니다.

실제 실험 결과는 시뮬레이션의 결과를 확인시켜 주었습니다. 새로운 방식은 전통적인 접근 방식보다 훨씬 높은 충실도로 마네킹의 형태를 재구성할 수 있었습니다. 표준 방식은 흐릿하고 불분명한 덩어리를 만들어낸 반면, 언롤드 네트워크(unrolled networks)는 실제 물체의 모양과 밀접하게 일치하는 날카롭고 잘 정의된 윤곽선을 만들어냈습니다. 수학적 모델에 대한 보정이 포함된 버전이 가장 뛰어난 성능을 보였으며, 다른 방식들이 놓친 미세한 구조적 세부 사항까지 복원해 냈습니다. 이러한 성공은 매우 적은 데이터셋으로도 달성되었으며, 이는 시스템이 방대한 양의 데이터 없이도 새로운 환경에 빠르게 적응할 수 있음을 입증합니다.

이 연구의 의의는 유연성과 신뢰성 사이의 균형에 있습니다. 라디오파의 물리 법칙을 고정된 상태로 유지하면서 조절 가능한 부분만을 학습함으로써, 시스템은 해석 가능하고 견고함을 유지합니다. 방이 바뀔 때마다 처음부터 다시 학습할 필요 없이, 단순히 공간의 특정 기하학적 구조에 맞는 몇 가지 새로운 설정값만을 학습하면 됩니다. 이는 프라이버시가 최우선인 실제 응용 분야에서 실용적인 도구가 됩니다. 이 시스템은 사람의 얼굴이나 식별 가능한 특징을 절대 포착하지 않으면서도, 방 안에 사람이 서 있고 그 대략적인 형태가 어떠한지를 알려줄 수 있습니다. 이는 스마트 환경이 거주자를 인식하고 그에 따라 반응하면서도, 높은 수준의 프라이버시를 유지할 수 있는 방법을 제공합니다. 연구진은 물리학과 머신러닝을 결합함으로써, 보이지 않는 파동을 유용한 실행 가능한 정보로 바꾸어 라디오 스펙트럼의 노이즈를 뚫고 명확하게 볼 수 있다는 것을 보여주었습니다.