기술 요약: 언어 모델이 mmWave 데이터를 이해할 수 있는가?

문제 정의

인간의 지각 시스템에 대규모 언어 모델(LLM)을 통합하는 연구는 시각(RGB) 및 오디오 영역에서 크게 발전했으나, 밀리미터파(mmWave) 레이더 분야에서는 여전히 미개척 영역으로 남아 있다. mmWave 센싱은 외형이 아닌 전자기적 반사에 의존하기 때문에 저조도, 폐쇄(occlusion), 프라이버시 보호 측면에서 뚜렷한 장점을 제공함에도 불구하고, 현재의 접근 방식은 세 가지 주요 병목 현상에 직면해 있다:

1. 데이터 부족: 공개된 레이더-언어 쌍 데이터가 부족하다. 기존 데이터셋은 규모가 작고 특정 실험실에 국한되어 있으며, 자연어 주석(annotation)이 결여되어 있다.
2. 이질성: mmWave 관측값은 하드웨어(반송파 주파수, 안테나 수), 환경 조건(클러터, 다중 경로), 실험 설정에 따라 크게 달라지며, 이는 심각한 분포 변화를 야기하여 일반화를 저해한다.
3. 기초 인코더의 부재: 레이더의 원시 텐서를 언어 백본과 연결할 표준화된 토크나이저나 기초 인코더가 없어, 현재의 시스템들은 새로운 데이터셋이나 시나리오가 나올 때마다 매번 재학습을 수행해야 한다.

결과적으로, 기존의 mmWave 인간 지각 모델들은 "시나리오 튜닝" 방식에 의존하고 있어, 매 데이터셋마다 재학습이 필요하며 현대적인 LLM의 제로샷 추론 능력을 활용하지 못하고 있다.

방법론

1. mmWave-QA 벤치마크 구축

이러한 격차를 해소하기 위해, 저자들은 언어 조건부 mmWave 인간 지각을 평가하기 위해 설계된 최초의 벤치마크인 mmWave-QA를 도입한다. 구축 파이프라인은 다음과 같다:

• 데이터 통합: 다양한 장치(TI IWR 시리즈, Phoenix 커스텀 보드), 피험자, 환경을 포괄하는 세 가지 이질적인 공개 데이터셋(mmBody, MM-Fi, mRI)을 통합한다.
• 텍스트화(Textualization): 최소한의 텍xt 인터페이스를 통해 5D mmWave 포인트 클라우드 프레임($[x, y, z, \text{Doppler}, \text{intensity}]$)을 좌표 형식의 텍스트 문자열로 변환한다. 이를 통해 특화된 레이더 인코더 없이도 기성 LLM이 레이더 데이터를 처리할 수 있게 한다.
• 분류 체계 및 QA 생성: 동작 이해의 다양한 측면을 조사하기 위해 다섯 가지 핵심 질문 유형을 정의한다:
  1. ActRec: 동작 인식 (수행된 동작 식별).
  2. TrajCheck: 공간 이동 검증 (중심점이 위치를 변경했는지 결정).
  3. ActOrder: 시간적 동작 순서 (동작의 순서 식별).
  4. ActNum: 동작 카디널리티 추정 (구별되는 동작의 개수 산출).
  5. LimbFocus: 주요 사지 동작 탐지 (움직이는 신체 부위 식별).
• 품질 관리: 인간 참여형(human-in-the-loop) 프로세스를 통해 주석을 정제하고, 동작 분포를 균형 있게 맞추며, 여섯 가지 시나리오(Normal, Furnished, Rain, Smoke, Dark, Occlusion)에 걸쳐 의미론적 명확성을 확보한다.

2. 평가 프레임워크

본 연구는 세 가지 프롬프팅 전략을 사용하여 mmWave-QA 벤치마크에서 상용 LLM(Gemini 2.5, GPT-4o, GPT-5)을 평가한다:

• Zero-shot: 포인트 클라우드 텍스트와 질문으로부터 직접 추론.
• Few-shot: 예시 질문-답변 쌍을 사용하는 인컨텍스트 학습(in-context learning).
• Chain-of-Thought (CoT): 최종 답변 전에 중간 추론 단계를 생성.
• Hybrid: Few-shot 예시와 CoT 추론을 결합.

연구는 다양한 동작 카테고리(상체, 하체, 몸통, 전신)와 하드웨어 유형에 따른 성능을 비교하며, 다양한 환경 조건에서 RGB 기반 시각-언어 모델(VLM)과 mmWave의 성능을 대조한다.

주요 결과

1. 제로샷 추론 능력

LLM은 작업 특화된 미세 조정 없이도 텍스트화된 mmWave 포인트 클라우드를 해석하는 능력을 보여준다.

• 성능 향상: 모든 모델에서 제로샷에서 퓨샷, CoT, 그리고 최종적으로 퓨샷 CoT 전략으로 갈수록 정확도가 일관되게 향상된다. 예를 들어, GPT-5는 Full-body 동작 카테고리에서 퓨샷 CoT 설정을 사용할 때 가장 높은 정확도(38.37%)를 달성했다.
• 일반화: 모델들은 레이더 전용 학습 없이도 이질적인 하드웨어와 환경 조건에 대해 강력한 추론 능력을 보여주며, 이는 높은 일반화 가능성을 시사한다.

2. 작업별 성능

• ActRec & TrajCheck: 이 작업들에서 가장 높은 성능을 보인다. 모델들은 퓨샷 컨텍스트가 제공될 때 움직임과 정지 상태를 효과적으로 구분한다 (예: GPT-4o의 정지 상태 정확도는 퓨샷 적용 시 **32.0%**로 개선되었으며, Gemini 2.5-flash는 **27.2%**로 개선됨).
• LimbFocus: 모델은 단일 사지 동작에는 잘 대응하지만, 다중 사지 시나리오에서는 어려움을 겪는다. 이는 레이더 데이터의 다중 경로 간섭 및 고스트 반사 때문인 것으로 보인다.
• 시간적 추론 (ActOrder/ActNum): "Present" 동작 식별에서 성능이 가장 높으며, "Previous/Next" 동작이나 높은 동작 개수에서는 성능이 하락한다. 이는 조밀한 포인트 클라우드 시퀀스에서 장기적인 시간적 의존성을 포착하는 데 어려움이 있음을 나타낸다.

3. RGB 모달리티 대비 강점

핵심적인 발견은 시각적 열화 상황에서 mmWave 데이터의 상대적 강건성이다:

• 명확한 조건: Normal 및 Furnished 환경에서는 풍부한 시각적 단서와 더 큰 사전 학습 데이터셋 덕분에 RGB 기반 VLM이 mmWave 모델보다 우수한 성능을 보인다.
• 열화된 조건: Dark 및 Occlusion 시나리오에서는 mmWave 기반 추론이 RGB를 크게 앞선다. VLM은 시각적 단서가 손상되면 환각을 일으키거나 실패하는 경우가 많지만, Doppler와 좌표 변화를 활용하는 LLM은 안정적이고 물리적으로 근거 있는 추론을 유지한다.
• 날씨: Rain 및 Smoke 환경에서 두 모달리티는 유사한 성능을 보이며, 이는 가시성 문제에 대한 레이더의 회복력을 입증한다.

4. 프레임 수 민감도

성능은 약 16 프레임을 사용할 때 정점에 도달한다. 프레임 수가 너무 적으면 시간적 맥락이 제한되고, 너무 많으면(예: 64 프레임) 중복되거나 노이즈가 섞인 정보가 유입되어 추론을 방해한다. 이는 레이더 기반 동작 분석을 위해 최적의 시간적 균형이 필요함을 시사한다.

의의 및 주장

본 논문은 세 가지 주요 기여를 주장한다:

1. mmWave-QA 벤치마크: 이질적인 mmWave 데이터셋을 자연어 QA 작업으로 통합하여, 다양한 장치와 시나리오에 걸친 표준화된 평가를 가능하게 하는 최초의 통합 벤치마크를 구축하였다.
2. 제로샷 레이더-LLM 통합의 타당성: 텍스트화된 포인트 클라우드가 제공될 때, 기성 LLM이 별도의 특화된 인코더나 무거운 미세 조정 없이도 인간의 동작에 대해 강력한 제로샷 추론을 수행할 수 있음을 입в증하였다. 이는 레이더 데이터에 반드시 특화된 인코더가 필요하다는 통념에 도전한다.
3. 시각 제한 환경에서의 강건성: mmWave 모달리티가 LLM과 결합될 때 저조도 및 폐쇄 환경에서 RGB 비전보다 우수한 강건성을 제공한다는 실증적 근거를 제시하며, 실세계의 프라이버시 민감하거나 시각적으로 열악한 환경에서의 신뢰할 수 있는 인간 지각 가능성을 강조한다.

저자들은 현재의 기성 모델들이 유망한 가능성을 보여주고 있으나, 향후 연구는 오픈 소스 모델의 미세 조정과 검색 증강 생성(RAG)을 통합하여 비시각적 센싱과 언어 기반 지능 사이의 간극을 더욱 좁히는 데 집중해야 한다고 결론짓는다.