🤖 machine learning

RAG-HAR+: Towards Cost-Efficient LLM-Based Human Activity Recognition for Edge Deployment

이 논문은 다양한 벤치마크 전반에 걸쳐 경쟁력 있는 성능을 유지하면서도 LLM 사용을 최소화하기 위해 다수결 투표를 활용하고, 데이터셋 특화 기능을 설계하는 오프라인 에이전트를 사용하는 비용 최적화된 검색 우선 방식의 인간 행동 인식 프레임워크인 RAG-HAR+를 소개한다.

원저자: Hansi Karunarathna, Nirhoshan Sivaroopan, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

게시일 2026-07-30

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Hansi Karunarathna, Nirhoshan Sivaroopan, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 몸이 분주한 오케스트라라고 상상해 보세요. 손목이나 옷에 달린 작은 센서들은 지휘자로서 당신의 발걸음의 리듬, 팔의 흔들림, 그리고 심장 박동을 끊임없이 경청합니다. 인간 활동 인식(Human Activity Recognition, HAR)이라고 불리는 이 분야는 컴퓨터가 어떻게 당신이 조깅 중인지, 잠을 자고 있는지, 혹은 타이핑을 하고 있는지를 구별하는 법을 배우는 과정입니다. 오랫동안 컴퓨터에게 이를 가르치는 가장 좋은 방법은, 마치 학생이 도서관의 모든 책을 읽으며 시험 공부를 하는 것처럼, 라벨이 붙은 방대한 예시들을 통째로 암기하도록 강요하는 것이었습니다. 하지만 이는 비용이 많이 들고 느리며, 센서나 활동이 바뀌면 제대로 작동하지 않는다는 단점이 있습니다. 최근에는 새로운 아이디어가 등장했습니다. 단순히 암기하는 대신, 거대한 데이터베이스에서 유사한 과거의 예시들을 "찾아보고", 똑똑한 AI(대규모 언로 모델, LLM)의 도움을 받아 무엇이 일어나고 있는지 파악하자는 것입니다. 이것은 마치 천재적인 사서가 미스터리를 풀기 위해 가장 유사한 이야기들을 즉각적으로 찾아내어 당신을 도와주는 것과 같습니다. 하지만 이 새로운 방식에도 문제점이 있습니다. 매 걸음마다 천재 사서에게 도움을 요청하는 것은 느리고, 비용이 많이 들며, 지속적인 인터넷 연결이 필요하다는 점입니다.

이 논문은 언제, 어떻게 도움을 요청할지를 바꿈으로써 이 문제를 해결하는 영리한 업그레이드 버전인 **RAG-HAR+**를 소개합니다. 저자들은 기존 방식이 마치 쉬운 질문에도 매번 컨설턴트를 부르는 것과 같다는 것을 발견했습니다. RAG-HAR+는 더 영리한 탐정 사무소처럼 작동합니다. 먼저, 시스템은 (당신이 움직이기 전인) 오프라인 단계에서 AI를 사용하여 데이터베이스를 위한 더 나은 "파일링 시스템"을 설계하며, 당신의 특정 활동에 가장 중요한 구체적인 단서들을 선택합니다. 그 후, 당신이 움직이는 동안 시스템은 가장 유사한 과거의 예시들을 데이터베이스에서 찾아보는 것만으로도 미스터리를 해결하려고 시도합니다. 데이터베이스의 내용이 혼란스럽고 의견이 일치하지 않을 때만 비싼 AI 컨설턴트를 호출합니다. 이렇게 함으로써 시스템은 놀라울 정도로 빨라지고 저렴해지며, 인터넷 연결이 불안정한 상황에서도 잘 작동하면서도, 기존의 느린 방식만큼 정확하게 유지됩니다.

문제점: "과잉 호출"하는 탐정

당신에게 인간의 움직임에 대해 모르는 것이 없는 초스마트 AI 비서가 있다고 상상해 보세요. 기존 시스템(RAG-HAR)에서는 당신이 발걸음을 내디딜 때마다 시스템은 멈춰서 AI에게 메시지를 보내고 "내가 지금 무엇을 하고 있나요?"라고 묻습니다. AI는 메시지를 읽고, 몇 가지 과거 예시를 살펴본 뒤 답을 합니다. 이것은 작동은 하지만, 마치 "누가 쿠키를 훔쳤나?"부터 "누가 집사의 살인을 저질렀나?"와 같은 아주 사소한 사건까지 해결하기 위해 세계적인 명탐정을 고용하는 것과 같습니다. 이는 탐정의 시간과 비용을 낭비하는 일입니다. 게os 더, 만로 탐정이 다른 나라(클라우드)에 있다면, 메시지가 왔다 갔다 하는 것을 기다려야 하므로 전체 과정이 느려집니다.

연구진들은 대부분의 발걸음의 경우, 적절한 과거 예시를 찾아보기만 해도 답이 명확하다는 사실을 깨달았습니다. 걷는 것이 걷는 것처럼 보인다는 것을 알기 위해 천재가 필요하지는 않습니다. 그저 데이터베이스에서 걷는 것과 유사한 몇 가지 다른 예시를 찾으면 될 뿐입니다. 기존 시스템의 문제는 움직임을 설명하는 방식이 "일률적"이어서, 활동을 독특하게 만드는 미묘한 단서들을 놓칠 때가 있었다는 점입니다.

해결책: 스마트한 파일링 시스템과 "모호성 해결사"

RAG-HAR+는 두 가지 주요 기법을 통해 판도를 바꿉니다.

1. 오프라인 "파일링 시스템" 설계자
당신이 운동을 시작하기도 전에, 시스템은 AI를 단 한 번 사용하여 당신의 특정 데이터셋에 맞는 맞춤형 파일링 시스템을 설계합니다. 이것은 AI가 사서로서 자신의 도서관을 연구한 뒤, "좋아, 이 컬렉션의 경우에는 '장르'와 '페이지 수'가 아니라 '색상'과 '저자'별로 정리해야겠어"라고 결정하는 것과 같습니다. AI는 움직임을 설명하는 수천 가지의 다양한 방식(속도, 울퉁불퉁함, 리듬 등)을 살펴보고, 당신의 특정 센서와 활동에 가장 잘 맞는 세 그룹의 단서를 골라냅니다. 이 과정은 오프라인에서 단 한 번만 일어나므로 나중에 당신의 움직임을 방해하지 않습니다.

2. "모호성 해결사" (스마트한 백업)
이제 당신이 움직일 때, 시스템은 즉시 AI를 호출하지 않습니다. 대신, 현재의 움직임을 앞서 만든 맞춤형 단서들로 변환한 뒤, 데이터베이스에서 가장 유사한 상위 10개의 과거 예시를 검색합니다.

다수결 투표: 만약 10개의 과거 예시 중 8개가 "당신은 달리고 있습니다"라고 말한다면, 시스템은 그냥 "당신은 달리고 있습니다"라고 판단하고 넘어갑니다. AI는 필요 없습니다!
백업 기능: 만약 데이터베이스가 혼란스러워한다면—예를 들어, 5개는 "달리기"라고 하고 5개는 "조깅"이라고 한다면—그때 비로소 시스템은 AI를 호출합니다. 이제 "모호성 해결사"가 된 이 AI는 혼란스러운 단서들과 과거 예시들을 살펴보고 최종적인 현명한 결정을 내립니다.

이것은 값비싼 AI가 오직 까다롭고 혼란스러운 순간에만 호출된다는 것을 의미합니다. 쉽고 명확한 순간에는 시스템이 단순한 수학적 투표를 사용하여 스스로 작동합니다.

결과: 속도, 절약, 그리고 지능

연구진은 걷기, 달리기부터 복잡한 산업 조립 작업에 이르기까지 6개의 서로 다른 데이터셋을 통해 이 새로운 시스템을 테스트했습니다. 결과는 인상적이었습니다:

정확도: 새 시스템은 기존 방식만큼, 혹은 그보다 더 뛰어난 활동 인식 능력을 보여주었습니다. 일부 데이터셋에서는 정확도가 크게 향상되었습니다 (예를 들어, MHEALTH 데이터셋에서는 정확도가 96.91%에서 98.35%로 높아졌습니다).
비용 절감: AI를 호출하는 횟수를 줄임으로써, AI로 전송되는 데이터 양을 89.3%에서 99.9%까지 줄였습니다. 한 사례(MHEALTH)에서는 666개의 샘플 중 단 한 개의 샘플에 대해서만 AI를 호출했습니다!
속도: 시스템은 훨씬 빨라졌습니다. MHEALTH 데이터셋의 경우, 활동을 인식하는 데 걸리는 시간이 18.25초에서 0.41초로 단축되었습니다. 이는 44배 이상 빠른 속도입니다! 가장 느린 데이터셋에서도 여전히 약 5.7배 더 빨랐습니다.

이것이 미래에 중요한 이유

논문은 이 이론이 단순한 이론이 아님을 보여주기 위해 실제 스마트폰에 작동하는 프로토타입을 제작했습니다. 그들은 이를 피트니스 앱의 위젯으로 구현했습니다. 실제 폰에서 테스트했을 때, 속도 향상은 더욱 극적이었는데(약 15배), 이는 폰이 매 걸음마다 인터넷을 통해 AI와 대화하기 위해 기다릴 필요가 없었기 때문입니다.

저자들은 이 접근 방식이 완벽한 인터넷 연결 없이도, 그리고 막대한 비용을 들이지 않고도 어디서나 작동하는 스마트 건강 및 피트니스 앱을 만드는 데 큰 진전이라고 제안합니다. 이는 "천재"에게 모든 사소한 일을 매번 물어볼 필요가 없으며, 때로는 스마트한 파일링 시스템과 간단한 투표만으로도 충분하다는 것을 증명합니다. 논문은 AI의 역할을 지속적인 온라인 작업자에서 스마트한 설계자이자 백업 전문가로 전환함으로써, 활동 인식을 더 저렴하고 빠르며 현실 세계에 적합하게 만들 수 있다고 결론짓습니다.

기술 요약: 에지 배포를 위한 비용 효율적인 LLM 기반 인간 활동 인식(RAG-HAR+)

문제 정의

웨어러블 센서를 이용한 인간 활동 인식(HAR)은 헬스케어, 피트니스 및 스마트 환경에서 매우 중요합니다. 그러나 기존의 딥러닝(DL) 접근 방식은 실질적인 에지 배포에 있어 몇 가지 장벽에 직면해 있습니다. 즉, 데이터셋 특화 학습이 필요하고, 대규모 레이블링된 코퍼스가 요구되며, 도메인 변화(예: 센서 배치 변경 또는 피험자 변경) 시 성능 저하가 발생합니다. 거대 언어 모델(LLM)은 강력한 의미론적 추론 능력을 갖춘 학습 불필요(training-free) 대안을 제공하지만, 연속적이고 다채널인 센서 데이터의 특성으로 인해 컨텍스트 예산을 소진하고 높은 계산 비용과 지연 시간을 초래하여 HAR에 직접 적용하기 어렵습니다.

저자들의 이전 연구인 RAG-HAR는 HAR을 검색 증강 작업으로 프레이밍하고, 센서 윈도우의 통계적 설명을 사용하여 유사한 레이블된 사례를 검색함으로써 LLM 분류를 가이드하는 방식을 사용했습니다. 그러나 RAG-HAR는 지속적인 에지 배포를 위해 두 가지 핵심적인 한계를 유지했습니다:

고정된 검색 표현: 모든 데이터셋에 대해 기본적인 통계치(평균, 최대값, 최소값 등)를 사용하는 정적 세트를 사용하였으며, 이는 데이터셋 특유의 변별력 있는 단서(예: 보행을 위한 주기성 vs 자세를 위한 크기)를 포착하지 못했습니다.
필수적인 LLM 추론: 검색된 이웃이 이미 확신 있는 답을 제공하는 경우에도 LLM을 매 테스트 샘플마다 호출함으로써 네트워크 왕복 시간, 높은 토큰 비용, 가변적인 지연 시간을 발생시켰습니다.

방법론: RAG-HAR+

RAG-HAR+는 LLM의 역할을 단순한 샘플별 분류기에서 특화된 조건부 자원으로 재구조화하는 검색 우선, 비용 최적화 프레임워크를 도입합니다. 이 프레임워크는 두 가지 별도의 단계로 구성됩니다.

1. 오프라인 검색 디자이너 에이전트 (Offline Retrieval Designer Agent)

추론 전, LLM 기반 에이전트가 **검색 디자이너(Retrieval Designer)**로서 특정 데이터셋에 최적화된 검색 표현을 설계합니다.

특징 풀(Feature Pool): 에이전트에게 통계적, 시간적, 스펙트럼, 모션 강도 및 신호 형태 카테고리를 아우르는 다양한 기술자(descriptor) 풀이 제공됩니다.
반복적 설계: 에이전트는 반복적인 과정을 통해 특징들을 세 개의 압축된 비중복 특징 그룹( $G^*_1, G^*_2, G^*_3$ )으로 선택하고 분할합니다.
피드백 루프: 에이전트는 그룹을 제안하고, 검색 F1(Retrieval F1)(검색된 이웃의 다수결 투표 성능) 및 RAG 적중률(RAG Hit Rate)(상위- $q$ 이웃 내 정답 레이블 존재 여부)을 사용하여 검증 세트에서 이를 평가하며, 약한 클래스나 중복성을 해결하기 위해 "개선 프롬프트"를 통해 그룹을 정교화합니다.
결과: 이를 통해 대상 활동 분류 체계의 고유한 모션 패턴과 더 잘 일치하는 데이터셋 특화 멀티-벡터 표현을 생성합니다.

2. 온라인 추론 파이프라인 (Online Inference Pipeline)

실시간 추론 중에 시스템은 다음과 같이 작동합니다:

멀티-벡터 검색: 쿼리 윈도우는 선택된 특징 그룹을 사용하여 세 개의 쿼리 벡터를 생성합니다. 이 벡터들은 멀티-벡터 인덱스(각 훈련 샘플이 세 개의 별도 벡터 필드로 저장됨)를 대상으로 검색됩니다.
가중치 재순위화(Weighted Re-ranking): 세 개의 벡터 필드로부터 나온 결과는 최적화된 가중치를 사용하여 병합 및 재순위화되어 상위- $q$ 이웃을 선택합니다.
결정론적 라우팅 (다수결 투표): 시스템은 상위- $q$ $q$ 이웃의 레이블에 대해 파라미터가 없는 다수결 투표를 적용합니다.
- 명확한 다수: 단일 레이블이 승리하면 해당 활동을 직접 예측합니다. 이때 LLM은 호출되지 않습니다.
- 모호함: 두 개 이상의 레이블이 최고 득표에서 동점을 이루는 경우, 샘플은 **모호성 해결 에이전트(Ambiguity Resolver Agent)**로 라우팅됩니다.
모호성 해결 에이전트: 모호한 경우에만 온라인에서 LLM이 호출됩니다. LLM은 쿼리 윈도우의 통계적 설명(시작, 중간, 끝 및 전체 세그먼트에 대해 계산됨)과 검색된 사례를 포함하는 구조화된 프롬프트를 전달받아, 특정 컨텍스트를 바탕으로 추론하여 동점을 해결합니다.

주요 기여

2단계 LLM 활용: 논문은 HAR에서의 LLM 사용을 일회성 오프라인 검색 디자이너 단계와 조건부 온라인 모호성 해결 단계로 재정의했습니다. 이는 추론 비용을 샘플 수가 아닌 예측의 모호성에 따라 확장되도록 전환했습니다.
적응형 특징 그룹화: 고정된 일반 통계 기술자를 대체하여, LLM 가이드 에이전트가 압축된 데이터셋 특화 멀티-벡터 검색 그룹을 구축하도록 하는 방식을 도입했습니다.
모바일 프로토타입: 실제 모바일 에지 환경에서의 실용적 타당성을 입증하는 스마트폰 기반 프로토타입(Flutter 앱)을 구현하였으며, 여기에는 온디바이스 지연 시간 측정 및 점진적 인덱스 업데이트가 포함됩니다.
포괄적 평가: USC-HAD, PAMAP2, MHEALTH, GOTOV, HHAR, Skoda 등 6개의 HAR 벤치마크에 대한 확장된 평가와 함께 검색 디자이너, 특징 그룹화, 라우팅 전략의 기여를 분리하는 절제 연구(ablation studies)를 수행했습니다.

결과

성능: RAG-HAR+는 RAG-HAR 및 최신 비-LLM 베이스라인과 비교하여 경쟁력 있거나 향상된 성능을 달고합니다. 6개 데이터셋 중 4개(USC-HAD, MHEALTH, HMAR, Skoda)에서 F1 점수를 개선했으며, 나머지 데이터셋에서도 경쟁력 있는 수준을 유지했습니다.
비용 절감: 이 프레임워크는 온라인 LLM 사용량을 획기적으로 줄였습니다. 6개 데이터셋 전체에서 온라인 토큰 소비량이 89.3%에서 99.9%까지 감소했습니다. 예를 들어, MHEALTH 데이터셋의 경우 666개의 테스트 샘플 중 단 하나의 샘플만이 LLM 호출을 필요로 했습니다.
지연 시간: RAG-HAR 대비 추론 지연 시간이 5.7배에서 44.5배 감소했습니다. 모바일 프로토타입에서 지연 시간은 샘플당 약 5.4초에서 약 0.36초로 감소(약 15배 가속)했는데, 이는 대부분의 샘플이 네트워크 왕복 과정을 건너뛰기 때문입니다.
검색 품질: 적응형 특징 그룹은 검색 F1(투표만 수행했을 때의 성능)을 유의미하게 향상시켜, 검색 전용 예측과 최종 LLM 보조 예측 사이의 간극을 좁혔습니다. 이는 검색 단계가 더 강력한 근거를 제공하여 폴백(fallback)의 필요성을 줄였음을 나타냅니다.

의의 및 주장

본 논문은 RAG-HAR+가 에지 배포를 위한 학습 불필요, 검색 증강 HAR의 실용적 타당성을 입증한다고 주장합니다. LLM을 모든 추론의 임계 경로에서 분리함으로써, 시스템은 다음과 같은 확장 가능한 운영 지점을 달려 성취합니다:

추론 비용은 데이터 볼륨이 아닌 모호성에 따라 확장됩니다.
검색 품질은 분류기를 미세 조정하지 않고도 LLM이 설계한 데이터셋 특화 특징 표현을 통해 향상됩니다.
에지 배포가 가능합니다. 시스템은 네트워크 의존성과 토큰 비용을 최소화하면서 높은 정확도를 유지하여 지속적인 모니터링을 가능하게 합니다.

저자들은 이 연구를 과도한 계산 비용이나 금융 비용 없이 LLM의 추론 능력을 활용하면서도 확장 가능하고 일반화 가능한 HAR 시스템을 향한 단계로 규정하며, 이를 통해 자원이 제한된 웨어러블 및 모바일 환경에 적합한 솔루션을 제시합니다.