기술 요약: STELLA – 온디바이스 인간 활동 인식을 위한 효율적인 센서-LLM 변환 기술

1. 문제 정의

관성 측정 장치(IMU) 센서를 이용한 인간 활동 인식(HAR)은 모바일 및 유비쿼터스 컴퓨팅에서 매우 중요합니다. 대규모 언어 모델(LLM)은 의미론적 추론과 일반화 측면에서 유망한 능력을 제공하지만, 에지 디바이스에 LLM 기반 HAR을 배포하는 데에는 세 가지 주요 장애물이 존재합니다:

1. 입력 불일치 및 비용: LLM은 짧은 시퀀스의 이산적인 언어 토큰을 위해 설계되었습니다. 반면, 가공되지 않은 센서 데이터는 연속적인 부동 소수점 값으로 구성된 길고 다채널인 스트림입니다. 이를 직접 직렬화하면 프롬프트가 지나치게 길어져, 에지 디바이스의 예산을 초과하는 LLM의 이차적 어텐션 비용(quadratic attention costs)과 KV-캐시 메모리 사용량을 초래합니다.
2. 일반성 상실: 원시 센서 데이터를 직접 입력받도록 LLM을 미세 조정(Fine-tuning)하거나 재작성하는 것은 범용 모델을 특정 작업 전용 분류기로 변형시킵니다. 이는 텍스트, 음성, 비전 등 다양한 모달리티를 위해 하나의 공유된 LLM을 호스팅하는 에지 배포의 목적을 저해합니다.
3. 개인정보 보호 및 지연 시간: 센서 데이터를 클라우드 기반 LLM으로 오프로딩하는 것은 네트워크 의존성, 무제한적인 지연 시간, 그리고 민감한 행동 데이터를 기기 외부로 전송함으로써 발생하는 심각한 개인정보 보호 위험을 초래합니다.

기존 방식들은 클라우드 API에 의존하거나(개인정보 보호와 실시간 보장을 희생), LLM 자체를 압축하거나 미세 조정(재사용성과 일반성을 희생)하려고 시도합니다. 수정되지 않은 범용 LLM이 센서 데이터에 대해 추론할 수 있게 하는 효율적인 인터페이스가 부족한 실정입니다.

2. 방법론: STELLA

STELLA(Sensor Tokenization for Edge LLM Activity Recognition)는 문제를 "LLM 적응"에서 "센서 토큰화"로 재정의합니다. 핵심 아키텍처는 세 가지 주요 구성 요소로 이루어집니다.

2.1 계층적 센서 토크나이저 (STELLA-Tower)

STELLA는 원시 수치 스트림을 처리하는 대신, 경량화된 계층적 인코더를 사용하여 전체 다채널 센서 윈도우($C \times T$)를 고정된 $N$개의 잠재 센서 토큰(기본값 $N=16$)으로 압축합니다.

• 컨볼루션 스택(Convolutional Stack): 초기 뎁스와이즈(depthwise) 및 포인트와이즈(pointwise) 컨볼루션은 로컬 시간 패턴을 추출하고 채널 간 정보를 혼합하는 동시에 시간 해상도를 줄입니다.
• 계층적 단계: 인코더는 세 단계를 사용합니다. 초기 단계는 효율적인 로컬 특징 추출을 위해 RepMixer 블록(컨볼루션 기반의 재매개변수화 가능한 믹서)을 활용합니다. 최종 다중 헤드 셀프 어텐션(MHSA) 레이어는 이미 다운샘플링된 시퀀스에서 장거리 의존성을 포착합니다.
• 다중 스케일 집계: 세 가지 계층적 레벨(로컬 동작 패턴, 활동 역학, 글로벌 컨텍스트)의 특징을 선형 보간을 통해 고정된 토큰 수로 풀링하고 결합합니다.
• 핵적인 속성: 출력은 센서 채널 수나 윈도우 길이에 관계없이 고정된 길이의 시퀀스가 되며, 이를 통해 다운스트림 LLM 비용이 센서 구성에 따라 변하지 않도록 보장합니다.

2.2 투영 및 통합 (Projection and Integration)

잠재 센서 토큰은 얕은 다층 퍼셉트론(MLP)을 사용하여 프리트레인된(pretrained) 고정된 LLM(예: GPT-2)의 임베딩 공간으로 투영됩니다. 투영된 토큰은 자연어 작업 프롬프트(예: "센서 데이터로부터 인간의 활동을 예측하라")와 결합됩니다. LLM은 고정된 상태를 유지하며, 토크나이저와 투영 레이어만 학습됩니다.

2.3 레이블 스코어링을 통한 추론

자유로운 형식의 텍text 생성 대신, STELLA는 분류를 레이블 스코어링 문제로 취급합니다. 폐쇄된 후보 활동 레이블 세트에 대해, 시스템은 고정된 LLM이 각 후보의 토큰 시퀀스에 할당한 평균 per-token 로그 가능도(Negative Log-Likelihood)를 계산합니다. 가장 높은 점수를 받은 레이블이 선택됩니다. 이 방식은 생성형 출력의 예측 불가능성을 피하고 프롬프트 길이를 짧게 유지합니다.

2.4 온디바이스 개인화

STELLA는 LLM을 미세 조정하지 않고도 개인화를 지원합니다. 배포 후, 경량화된 센서 토크나이저를 소량의 레이블링된 샘플을 사용하여 특정 사용자의 데이터에 적응시킬 수 있습니다. 또한, 로컬 검색 메커니즘이 추론을 보강합니다:

• 사용자의 과거 센서-토큰 임베딩 및 레이블에 대한 지식 베이스가 기기 내에 유지됩니다.
• 추론 시, 현재 입력에 가장 유사한 상위-$k$개의 과거 컨텍스트가 검색되어 앞에 추가됩니다.
• 이를 통해 시스템은 모든 사용자 데이터를 기기 내에 엄격히 유지하면서도 개별적인 보행 및 동작 스타일에 적응할 수 있습니다.

3. 주요 기여

1. 병목 현상의 재정의: 본 논문은 LLM 기반 HAR의 효율성 병목이 LLM 자체가 아니라 센서-LLM 인터페이스라고 주장합니다. 이를 위해 LLM을 압축하는 대신 학습된 센서 토크나이저를 통해 해결할 것을 제안합니다.
2. 구성 불변적 토큰화: STELLA-Tower는 가변 길이의 다채널 센서 윈도우를 고정된 잠재 토큰($N=16$)으로 압축합니다. 이는 LLM 추론 비용을 센서 구성으로부터 분리하여, 스칼라 레벨 인코딩 대비 토큰 수를 최대 $262.5\times$까지 줄입니다.
3. 프라이빗하고 경량화된 개인화: 이 프레임워크는 토크나이저(파라미터의 약 10%)만을 업데이트하고 로컬 검색 컨텍스트를 활용함으로써, LLM을 재사용 가능한 고정된 백엔드로 유지하면서 온디바이스 적응을 가능하게 합니다.
4. 소형 LLM을 통한 SOTA 성능 달성: STELLA는 고정된 GPT-2 백본만을 사용하여 7개의 공개 HAR 데이터셋에서 새로운 SOTA 결과를 달升했습니다. 이는 훨씬 더 큰 LLM이나 클라우드 기반 API에 의존하는 방법들을 능가하는 성능입니다.

4. 실험 결과

저자들은 6개에서 60개의 채널과 6개에서 18개의 활동 클래스를 포함하는 7개의 데이터셋(HHAR, PAMAP2, MHEALTH, GOTOV, SKODA, Opportunity, USC-HAD)에서 STELLA를 평가했습니다.

• 정확도: STELLA는 8개의 벤치마크 설정 모두에서 새로운 SOTA 성능을 달성했습니다. 기존 방법 대비 개선 폭은 포화된 벤치마크에서는 미미했으나, 희소 센서 데이터셋에서는 상당했습니다(예: HHAR에서 F1 +11.83%, USC-HAD에서 F1 +9.20%).
• 토크나이저 효능: 동일한 LLM 파이프라인과 토큰 예산 하에서 대표적인 시계열 인코더(PatchTST, Chronos, TimesNet 등)와 비교했을 때, STELLA의 토크나이저는 일관되게 우수한 성능을 보였으며, 이는 성능 향상이 특정 센서-LLM 번역 설계에서 기인함을 확인시켜 줍니다.
• 온디바이스 실현 가능성:
  • 지연 시간: 추론은 일반적인 하드웨어에서 실시간으로 수행됩니다. 서버 GPU에서 지연 시간은 약 9.7ms이며, GPU 가속 기능이 있는 플래그십 스마트폰(Samsung S23 Ultra)에서는 약 41.7ms입니다. 단일 스레드 CPU에서도 표준 스트라이드 예산에 대한 실시간 제약 조건을 충족합니다.
  • 메모리: 전체 모델(FP32)은 약 555MB를 요구하며, 이는 현대 모바일 GPU의 메모리 제약(1GB+ VRAM) 내에 들어옵니다.
• 개인화: 토크나이저를 적응시키고 검색 증강을 사용하는 것은 가장 어려운 피험자에 대해 F1 점수를 최대 21.91%(예: USC-HAD에서 70.79%에서 92.70%로)까지 향상시켰으며, 검색 오버헤드는 1ms 미만이었습니다.

5. 의의 및 주장

본 논문은 STELLA가 에지 디바이스에서 정확하고, 프라이빗하며, 개인화된 LLM 기반 HAR을 위한 실질적인 경로를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 범용 LLM의 보존: 적응의 부담을 센서 측으로 전환함으로써, STELLA는 HAR을 별도의 미세 조정된 모델 스택이 아닌, 공유된 시스템 레벨의 로컬 LLM을 위한 또 다른 입력 모달리티로 취급할 수 있게 합니다.
• 개인정보 보호 및 효율성: 민감한 행동 데이터를 클라우드로 스트리밍할 필요 없이 기기 내에서 지속적이고 실시간적인 HAR을 가능하게 합니다.
• 확장성: 고정된 토큰 인터페이스는 센서의 수나 데이터 윈도우의 길이에 관계없이 LLM 추론 지연 시간과 메모리 사용량을 예측 가능하게 유지하여, 다양한 하드웨어 구성에 대해 시스템의 견고함을 보장합니다.

저자들은 효율적인 센서 토큰화가 LLM 압축이나 클라우드 오프로딩보다 에지 기반 센싱을 위한 LLM의 잠재력을 끌어내는 핵심이라고 결론짓습니다.