🤖 machine learning

SERUM: State Extraction and Refinement for User Modeling

이 논문은 계층적 VLM 주석과 반복적 정교화를 활용하여 비정형 1인칭 시점 스크린 영상으로부터 구조화되고 해석 가능한 사용자 행동 모델을 자동으로 추출하는 멀티 패스 프레임워크인 SERUM을 소개하며, 이는 싱글 패스 방식에 비해 예측 정확도와 레이블 일관성을 유의미하게 향상시킨다.

원저자: Andy J. Phu, James Mooney, Karin de Langis, Khanh Chi Le, Dongyeop Kang

게시일 2026-08-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Andy J. Phu, James Mooney, Karin de Langis, Khanh Chi Le, Dongyeop Kang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 유능한 조력자가 되는 법을 가르치려 한다고 상상해 보세요. 그러기 위해서는 로봇이 단순히 당신이 '지금 무엇을 하고 있는지'뿐만 아니라, '왜 그것을 하고 있는지'와 '다음에 무엇을 할 가능성이 높은지'까지 이해해야 합니다. 이것이 바로 컴퓨터가 인간의 행동에 대한 정신적 지도를 구축하려는 인공지능의 한 분야인 '사용자 모델링(user modeling)'의 세계입니다. 보통 이러한 지도를 만들기 위해 과학자들은 몇 시간 분량의 영상을 직접 관찰하며 "숨은 그림 찾기" 게임을 하듯 모든 동작을 일일이 기록해야 합니다. 하지만 만약 우리가 로봇에게 누군가의 하루가 담긴 가공되지 않은 영상을 건네주기만 하면, 로봇이 스스로 패턴을 찾아낼 수 있다면 어떨까요? 그것이 바로 이 논문이 다루는 핵심 질문입니다. 즉, 사람이 단 하나의 라벨도 작성하지 않고도, 무질서하고 정리되지 않은 영상 데이터를 명확하고 구조화된 인간 의도의 이야기로 바꿀 수 있을까요?

이 논문은 SERUM(State Extraction and Refinement for User Modeling)이라는 새로운 시스템을 소개합니다. SEREM을 아주 인내심 있고 똑똑한 탐정이라고 생각해보세요. 이 탐정은 영상을 단 한 번만 보는 것이 아니라, 여러 번 반복해서 보며 볼 때마다 업무 능력을 향려시킵니다.

처음에 일반적인 AI에게 영상을 설명하라고 요청하면, AI는 "사람이 드릴을 잡고 있음", "사람이 상자를 보고 있음", "사람이 버튼을 누르고 있음"과 같이 말할 수 있습니다. AI는 동작은 보지만, 더 큰 그림은 놓칩니다. 이 모든 작은 동작들이 사실 "에어컨 수리하기"라는 하나의 커다란 목표의 일부라는 것을 알지 못하는 것입니다. 설상가상으로, 만약 AI가 5초 전에 무슨 일이 있었는지 기억하지 못한 채 프레임 단위로 영상을 본다면, 같은 동작을 한 초에는 "채소 씻기"라고 했다가 다음 초에는 "농산물 헹구기"라고 부르는 등 혼란을 겪을 수 있습니다. 이를 "환각(hallucination)" 및 "시간적 혼동(temporal conflation)"이라고 하며, 기본적으로 AI가 맥락이 부족하여 내용을 지어내거나 타임라인을 뒤섞는 현상을 말합니다.

SERUM은 영리한 "멀티 패스(multi-pass)" 전략을 사용하여 이 문제를 해결합니다. 당신이 복잡한 퍼즐을 풀려고 노력한다고 상상해 보세요. 첫 번째 시도에서는 아마 가장자리 조각들을 배치하며 전체 그림이 무엇일지 짐작만 할 것입니다. 두 번째 시도에서는 완성되어 가는 그림을 보며 "아, 이 조각은 구름이 아니라 산의 일부구나!"라고 깨닫게 됩니다. 그리고 자신의 추측을 수정하겠죠. SERUM도 영상에 대해 똑같이 수행합니다.

패스 1: 프레임을 살펴보고 동작에 대한 대략적인 설명(예: "키보드 타이핑 중")을 제공합니다.
패스 2: 해당 동작들을 보고 의도나 목표(예: "코드 작성 중")를 추측합니다.
패스 3: 다시 동작으로 돌아가되, 이번에는 방금 얻은 "의도" 추측을 사용하여 동작 설명을 정교하게 다듬습니다. 아마 "키보드 타이핑"은 단순한 타이핑이 아니라 "코드 디버깅"이었을 것입니다.
패스 4: 더 날카로워진 동작 라벨을 바탕으로 의도를 다시 한번 정교하게 다듬습니다.

시스템은 이전 라운드의 "기억"을 사용하여 실수를 바로잡으며, 동작과 목표를 번갈아 가며 추측하면서 영상을 계속 순환합니다. 저자들은 약 8번의 라운드를 거치면 시스템이 더 이상 생각을 바꾸지 않는다는 것을 발견했습니다. 그들은 이를 "도식적 평형(schematic equilibrium)"이라고 부릅니다. 이는 마치 퍼즐이 마침내 딱 들어맞는 것과 같으며, AI가 일어나는 일을 설명하기 위해 안정적이고 일관된 어휘 체계에 안착했음을 의미합니다.

하지만 단계는 여기서 끝이 아닙니다. AI는 창의적이기 때문에 "에어컨 수리"와 "HVAC 수리"처럼 같은 것에 대해 서로 다른 단어를 사용할 수도 있습니다. SERUM은 마지막 "정리(clean-up)" 단계를 거치는데, 여기서 수학적 도구를 사용하여 이들이 동일한 것임을 인지하고 하나의 명확한 라벨로 병합합니다. 이 과정은 가능한 상태(states)의 목록을 줄여 최종 모델을 훨씬 더 정교하게 만듭니다.

연구팀은 코딩, 요리, 신체 활동, 일상생활의 네 가지 영역을 아우르는 61개의 영상을 통해 이를 테스트했습니다. 그 결과, SERUM의 최종 모델은 단순한 추측 전략보다 다음에 일어날 행동을 예측하는 데 훨씬 뛰어난 성능을 보였습니다. 예를 들어, 코딩 영상에서 정규화 후 다음 동작을 맞춘 확률은 **76.4%**였던 반면, 단순하게 "가장 흔한 것을 추측"하는 전략은 약 47%에 그쳤습니다.

인간 전문가들도 결과물을 검토했습니다. 전문가들은 SERUM의 최종 라운드 라벨이 **88.3%**의 정확도로 올바르다고 동의했으며, 초기 단계의 지저분한 추측보다 정교해진 라벨을 **82.8%**의 비율로 선호했습니다. 이는 "루핑(looping)" 과정이 AI가 단순히 개별 프레임을 보는 것을 넘어, 영상 뒤에 숨겨진 이야기를 이해하는 데 실제로 도움이 된다는 것을 시사합니다.

요약하자면, SERUM은 인간이 영상의 매 초마다 수동으로 라벨을 붙이지 않고도 인간의 행동을 이해할 수 있음을 보여줍니다. AI가 영상을 반복해서 다시 보고 다시 생각하게 함으로써, 우리는 사람들이 무엇을 하고 왜 하는지에 대한 구조적이고 신뢰할 수 있는 지도를 구축할 수 있으며, 이는 우리의 워크플로우를 진정으로 이해하고 선제적으로 도움을 줄 수 있는 미래형 AI 비서로 가는 길을 열어줍니다.

기술 요약: SERUM – 사용자 모델링을 위한 상태 추출 및 정제 (State Extraction and Refinement for User Modeling)

문제 정의

선제적이고 개인화된 AI 어시스턴트는 사용자의 의도와 워크플로우에 대한 구조화된 모델을 필요로 합니다. 그러나 가공되지 않은 비구조적 에고센트릭(egocentric) 비디오로부터 이러한 모델을 구축하는 것은 여전히 큰 과제로 남아 있습니다. 기존의 접근 방식들은 두 가지 주요 한계점에 직면해 있습니다:

사전 정의된 분류 체계에 대한 의존성: 전통적인 활동 인식 방법(예: EPIC-KITCHENS 또는 Ego4D 기반)은 고정된 수작업 분류 체계에 의존하며, 이는 개방형의 비구조적 비디오를 처리하는 데 실패합니다.
단일 패스 주석(Single-Pass Annotation)의 한계: 시각-언어 모델(VLM)은 비디오 프레임을 주석 처리할 수 있지만, 단일 패스 추론은 **환각(hallucination)**과 시간적 혼동(temporal conflation) 문제를 겪습니다. 주변 맥락이 없으면 VLM은 구별되는 의미를 가진 활동들을 일반적인 레이블로 붕괴시키거나, 특정 행동의 근저에 깔린 의도를 추론하지 못할 수 있습니다. 이는 특정 프레임의 의미가 사후적으로만 명확해지는 경우가 많기 때문입니다.

프로세스 마이닝(Process mining)은 구조화된 행동 모델을 제공하지만, 이는 알려진 이벤트 유형을 가진 깨끗한 이벤트 로그가 존재함을 가정하며, 이는 가공되지 않은 비디오에는 적용되지 않습니다.

방법론: SERUM 프레임워크

SERUM(State Extraction and Refinement for User Modeling)은 수동 주석이나 사전 정의된 온톨로지 없이, 비구조적인 에고센트릭 스크린 비디오로부터 해석 가능한 구조적 행동 모델을 직접 추출하도록 설계된 다중 패스(multi-pass) 프레임워크입니다.

핵심 아키텍처

이 프레임워크는 두 가지 상호 보완적인 수준에서 작동합니다:

행동 (Actions, $a_t$ ): 중간 단계의 관찰 가능한 행동 (예: "git 리포지토리를 pull 함").
의도 (Intents, $i_t$ ): 행동 시퀀스로부터 추론된 잠재적인 목표 지향적 상태 (예: "개발 환경을 설정 중").

시스템은 Qwen3-VL-8B-Instruct 모델을 사용하여 교차 다중 패스 파이프라인을 운용합니다:

교차 패스 (Alternating Passes): 시스템은 행동을 주석 처리하기 위해 홀수 번째 패스를 실행하고, 의도를 추론하기 위해 짝수 번째 패스를 실행합니다.
맥락적 접지 (Contextual Grounding):
- 시간적 맥락: $w=20$ 인 슬라이딩 윈도우의 인접 프레임이 RLE(Run-Length Encoding)로 인코딩되어, 토큰 제한을 초과하지 않으면서 밀도 높은 국소 맥락을 제공합니다.
- 패스 간 요약 (Inter-Pass Summary): 긴 비디오의 경우 map-reduce를 통해 생성된 전체 비디오의 자연어 요약이 전역적인 서사 맥락을 전달하며, 압축된 에피소드 메모리 역할을 수행합니다.
반복적 정제 (Iterative Refinement): 각 패스는 이전 패스에서 생성된 레이블을 조건으로 삼아 출력을 생성합니다. 이 피드백 루프를 통해 모델은 축적된 맥락에 따라 초기 판단을 수정할 수 있으며, 시스템을 자기 일관적인 어휘(self-consistent vocabulary)로 유도합니다.

레이블 정규화 (Label Normalization)

자유 형식의 주석이 표면적인 동의어(예: "채소를 헹굼" vs "채소를 세척함")를 생성하는 "개방형 어휘" 문제를 해결하기 위해, SERUM은 레이블 정규화 단계를 채택합니다:

의미적 병합 (Semantic Merging): Sentence-BERT 임베딩을 사용하여 쌍별 코사인 유사도를 계산합니다.
임계값 설정: 인간이 캘리브레이션한 임계값( $t^*=0.43$ )을 통해 동의어 레이블을 병합합니다. 이 단계는 평균적으로 어휘 크기를 약 46% 감소시키며, 사후 처리가 아닌 핵심 설계 요소로 취급됩니다.

출력: 사용자 모델

최종 출력은 두 개의 **1차 마르코프 모델 (First-Order Markov Models, 사용자 모델)**로 구성됩니다:

정규화된 행동 상태에 대한 모델.
정규화된 의도 상태에 대한 모델.
이 모델들은 엣지가 전이 확률을 나타내는 유향 가중 그래프이며, 사용자의 행동에 대한 확률적 구조를 포착하여 다음 상태 예측을 지원합니다.

주요 기여 및 결과

저자들은 코딩, 요리, 신체 활동, 일상생활의 네 가지 도메인에 걸친 61개의 에고센트릭 비디오(총 11,125 프레임)를 대상으로 SERUM을 평가했습니다.

1. 도식적 평형 (Schematic Equilibrium, RQ1)

반복적인 주석 과정은 안정적인 상태 어휘로 수렴합니다.

수렴: 원시 어휘 크기는 8번째 패스까지 안정화되며, 저자들은 이를 **도식적 평형(schematic equilibrium)**이라 명명했습니다.
정규화의 영향: 레이블 정규화는 어휘를 약 10개의 상태로 더욱 압축하여, 전이 행렬의 희소성(sparsity)을 크게 줄입니다.

2. 예측 성능 (RQ2)

생성된 마르코프 모델은 다음 상태 예측(첫 60% 프레임으로 학습, 나머지 40%로 테스트)에 대해 평가되었습니다.

베이스라인 대비 우월성: 정규화된 마르코프 모델은 빈도 기반 베이스라인(Majority, Weighted Random, Uniform)보다 Top-1 정확도와 퍼플렉시티(Perplexity) 측면에서 모두 크게 앞섰습니다.
- 행동 예측: 정규화된 마르코프 모델은 **48.5%**의 Top-1 정확도를 기록했으며, 이는 Majority 베이스라인의 37.6%보다 높습니다.
- 의도 예측: 정규화된 마르코프 모델은 **58.2%**의 Top-1 정확도를 기록했으며, 이는 Majority 베이스라인의 29.9%보다 높습니다.
도메인 변동성: 가장 큰 향상은 코딩과 같은 구조화된 작업(정규화된 행동 정확도 76.4%)에서 관찰되었으며, 이는 해당 워크플로우에 내재된 반복적인 전이 구조를 반영합니다.

3. 인간 평가 (RQ3)

도메인 전문 지식을 갖춘 인간 주석가들이 레이블의 품질을 평가했습니다.

정확도: 최종 패스의 레이블 중 **88.3%**가 정확한 것으로 평가되었습니다 (Krippendorff's $\alpha = 0.40$ ).
선호도: 주석가들은 최종 패스의 레이블을 첫 번째 패스의 레이블보다 82.8% 더 선호했으며, 이는 반복적 정제가 의미 있게 더 나은 레이블을 생성함을 나타냅니다.
의도 vs 행동: 의도 레이블(90%)이 행동 레이블(86.7%)보다 약간 더 정확했으며, 이는 맥락 인지적 추론이 목표를 효과적으로 식별함을 시사합니다.

4. 절제 연구 (Ablation Studies, RQ4)

레이블 정규화: 동의어를 병합함으로써 마르코프 Top-1 정확도가 +18.2 퍼센트 포인트 향상되었고, 퍼플렉시티는 14.9 포인트 감소했습니다.
의도 패스: 의도 추론을 제거한 경우(활동 전용 파이프라인), 활동 레이블이 정보가 없는 지배적 상태(예: 코딩 프레임의 92~96%에 대해 "typing_on_keyboard")로 붕괴되었습니다. 주석가들은 전체 파이프라인(활동 + 의도)을 73% 더 선호했습니다.
시간적 윈도우: 맥락 윈도우 크기( $w=20$ )를 늘리면 마르코프와 Majority 베이스라인 사이의 격차가 커졌으며, 이는 시간적 맥락이 모델 품질에 결정적임을 확인시켜 줍니다.

의의 및 주장

본 논문은 SERUM이 다음과 같은 과정 없이 비구조적인 에고센트릭 스크린 비디오로부터 해석 가능한 프로세스 모델(행동 및 의도 모두)을 생성하는 최초의 시스템이라고 주장합니다:

수동 주석.
사전 정의된 분류 체계.
기존의 이벤트 로그.

저자들은 SERUM을 선제적 에이전트 보조(proactive agentic assistance) 및 개인화를 위한 다운스트림 애플리케이션의 초기 검증 모델로 위치시키며, "현장에서(in the wild)" 사용자 모델링을 위한 확장 가능한 경로를 제공합니다. 저자들은 다중 패스 파이프라인의 계산 비용(비록 앞단에서 처리되지만)과 선형 비디오에서의 분할-절반(split-half) 평가의 어려움을 인정하면서도, 반복적 맥락을 통해 환각을 스스로 교정하는 시스템의 능력을 강조합니다.

이 연구는 반복적이고 맥락을 고려한 VLM 주석이 어떻게 환각과 시간적 혼동을 억제하고, 사용자 워크플로우의 예측 모델링을 가능하게 하는 인간 검증된 안정적인 행동 분류 체계로 수렴할 수 있는지를 입증합니다.