기술 요약: RAG-HAR

문제 정의

웨어러블 센서 데이터로부터 인간 활동 인식 (HAR) 을 수행하는 것은 의료, 재활, 스마트 환경 분야에서 필수적입니다. 그러나 기존 딥러닝 (DL) 접근법은 세 가지 중요한 한계에 직면해 있습니다:

1. 자원 집약성: 비용이 많이 들고 시간이 소요되며, 데이터셋별 훈련과 미세 조정 (fine-tuning) 이 필요합니다.
2. 일반화 문제: 도메인 변화 (예: 다른 피험자, 센서 배치, 또는 장치) 하에서 성능이 저하됩니다.
3. 데이터 의존성: 대규모 라벨링된 코퍼스에 크게 의존합니다.

또한, 대규모 언어 모델 (LLM) 은 광범위한 세계 지식과 추론 능력을 제공하지만, 센서 데이터에 직접 적용하면 종종 실패합니다. LLM 은 세밀한 활동 구분에 어려움을 겪으며 특정 활동 패턴에 대한 근거가 부족하여, 원시 센서 신호나 문맥이 제대로 제공되지 않은 센서 신호가 제시될 때 오분류가 발생합니다.

방법론: RAG-HAR

본 논문은 모델 훈련이나 미세 조정 없이 LLM 이 HAR 을 수행할 수 있도록 검색 증강 생성 (RAG) 을 활용하는 훈련 없는 프레임워크인 RAG-HAR을 소개합니다. 이 프레임워크는 기선 (Baseline) 단계와 최적화 (Optimization) 단계의 두 단계로 운영됩니다.

1. 데이터 처리 및 특징 추출

• 정규화: 가속도계, 자이로스코프, 자기계와 같은 원시 센서 채널은 Z-점수 정규화를 사용하여 표준화됩니다.
• 슬라이딩 윈도우 및 분할: 시계열 데이터는 고정 크기의 윈도우로 세그먼트화됩니다. 특히, 각 윈도우는 네 개의 하위 세그먼트인 전체 (Full) 세그먼트와 세 개의 균등한 부분 (시작, 중간, 끝) 으로 더 나뉩니다.
• 통계적 기술자: 모든 채널에 대해 각 세그먼트와 하위 세그먼트별로 평균, 최대, 최소, 25/75 백분위수, 표준 편차, 중앙값, 피크 개수 등 여덟 가지 통계적 특징이 계산됩니다. 이를 통해 글로벌 추세와 국소적 과도 현상 (transient events) 을 모두 포착합니다.

2. 기선 단계 (검색 증강 추론)

• 임베딩 생성: 통계적 특징 벡터는 구조화된 텍스트 문자열 (예: mean=0.12, std=0.34) 로 직렬화됩니다. 이러한 문자열은 사전 훈련된 범용 텍스트 임베딩 모델 (예: text-embedding-3-small) 을 사용하여 임베딩됩니다.
• 벡터 데이터베이스 인덱싱: 훈련 데이터의 임베딩은 활동 라벨, 사용자 ID 와 같은 메타데이터와 함께 벡터 데이터베이스에 저장됩니다.
• 추론 및 검색:
  • 테스트 샘플의 경우, 해당 세그먼트 및 하위 세그먼트에 대한 임베딩이 생성됩니다.
  • 근사 최근접 이웃 (ANN) 검색이 코사인 유사도를 기반으로 상위-k 개의 가장 유사한 훈련 샘플을 검색합니다.
  • 가중치 재순위화 메커니즘이 서로 다른 하위 세그먼트의 점수를 결합하여 최종 컨텍스트 세트를 선택합니다.
• LLM 분류: 검색된 샘플 (라벨 및 통계적 특징 포함) 과 쿼리 샘플은 프롬프트로 포맷팅됩니다. 사전 훈련된 LLM(예: gpt-5-mini) 은 문맥적 증거와 쿼리를 분석하여 활동 라벨을 예측하고 근거를 제공합니다.

3. 최적화 단계

성능을 더욱 향상시키기 위해 두 가지 전략이 도입됩니다:

• 프롬프트 최적화: 메타 최적화 루프가 시스템 프롬프트를 생성하고 반복적으로 정제합니다. 검증 F1 점수를 기반으로 한 룰렛 휠 선택 전략을 사용하여, 주어진 데이터셋에 대한 분류 정확도를 극대화하기 위해 다양한 프롬프트 문구와 전략 (예: 특정 특징 추출 지시) 을 탐색합니다.
• LLM 기반 활동 기술자: 임베딩을 위해 단순한 통계 템플릿을 사용하는 대신, 전문화된 LLM 프롬프트가 운동 패턴에 대한 풍부한 자연어 설명 (예: "지속적이고 반복적인 운동", "주도 축 X") 을 생성합니다. 이러한 의미적으로 더 풍부한 설명은 임베딩되어 인덱싱되며, 검색된 컨텍스트의 품질을 향상시킵니다.

주요 기여

1. 훈련 없는 SOTA 성능: RAG-HAR 은 어떤 데이터셋별 모델 훈련이나 미세 조정도 없이 여섯 가지 다양한 벤치마크에서 최첨단 (SOTA) 성능을 달성한 최초의 HAR 을 위한 검색 증강 프레임워크입니다.
2. 이단계 프레임워크: 본 논문은 기선 검색 시스템과 프롬프트 최적화 및 LLM 기반 활동 기술자가 포함된 최적화 단계를 결합한 새로운 아키텍처를 제안하여, 효율성과 정확성 간의 조절 가능한 트레이드오프를 제공합니다.
3. 오픈 월드 인식: 고정된 분류 체계에 제한된 기존 DL 모델과 달리, RAG-HAR 은 보이지 않는 활동을 감지하고 의미 있는 라벨을 생성할 수 있습니다. 이는 알려지지 않은 입력을 단일 "알려지지 않음" 클래스로 축소하는 것을 넘어, LLM 의 의미적 지식을 활용하여 새로운 행동을 분류합니다.
4. 종합적 평가: 이 프레임워크는 6 개에서 60 개에 이르는 다양한 센서 채널과 다양한 활동 유형 (이동, 일상생활, 조립 작업) 을 다루는 여섯 가지 데이터셋 (HHAR, PAMAP2, MHEALTH, GOTOV, SKODA, USC-HAD) 에서 검증되었습니다.

결과

• 벤치마크 성능: RAG-HAR 은 여섯 개 데이터셋 중 다섯 개에서 CNN, LSTM, Transformer 를 포함한 주요 DL 기선 모델보다 우수한 성능을 발휘했습니다.
  • PAMAP2에서 F1 점수 **91.12%**를 달성하여 이전 최고 기록 (Triplet LSTM) 을 약 0.5% 상회했습니다.
  • MHEALTH에서는 **96.74%**에 도달하여 적대적 특징 추출기보다 우수한 성능을 보였습니다.
  • GOTOV와 SKODA에서는 가장 강력한 이전 모델 대비 F1 점수를 1~2% 향상시켰습니다.
  • HHAR에서는 SimCLR 및 DeepConvLSTM 기선 모델 대비 F1 점수가 7% 이상 크게 향상되었습니다.
• 오픈셋 능력: 오픈셋 실험 (활동 클래스의 3070% 를 데이터베이스에서 제외) 에서 RAG-HAR 은 F1 점수에서 MTMD 기선 모델보다 일관되게 37% 더 높은 성능을 보였습니다.
• 보이지 않는 활동 라벨링: 이 시스템은 새로운 활동에 대해 의미적으로 일관된 라벨을 생성할 수 있는 능력을 입증했습니다. 단일 알려지지 않은 클래스의 경우 예측 라벨을 실제 정답에 매핑하는 정확도가 **96.47%**였으며, 세 개의 알려지지 않은 클래스를 제외하더라도 88.90% 로 견고하게 유지되었습니다.
• 비용 및 효율성: 이 프레임워크는 훈련 시간을 제거합니다. 추론 비용은 미미하며 (MHEALTH 기준 샘플당 약 $0.0006), GPU 집약적인 훈련 파이프라인의 필요성을 피합니다.

중요성 및 주장

본 논문은 RAG-HAR 이 HAR 패러다임을 모델 중심 학습에서 검색 증강 추론으로 근본적으로 전환한다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

• 훈련 오버헤드 제거: 비용이 많이 들고 데이터셋별 훈련 사이클의 필요성을 제거하여 HAR 을 더 접근 가능하고 확장 가능하게 만듭니다.
• 보이지 않는 데이터 처리: 훈련 데이터에 존재하지 않는 활동의 인식과 의미 있는 라벨링을 가능하게 함으로써 "오픈 월드" 문제를 해결하며, 이는 전통적으로 광범위한 인간 주석이 필요했던 기능입니다.
• 견고성: 검색된 예시에 예측을 근거로 두고 LLM 의 사전 훈련된 세계 지식을 활용함으로써, 재훈련 없이 다른 피험자와 센서 구성 전반에 걸쳐 높은 일반화를 달성합니다.
• 실용성: 이 프레임워크는 재훈련이 비현실적인 리소스 제약 환경에서 배포하기에 적합한 경량이고 비용 효율적인 딥러닝 대안을 제공합니다.