🤖 machine learning

Implicit Neural Representations of Individual Behavior

이 논문은 암시적 신경 표현(implicit neural representations)을 적응시켜 라벨이 없는 이질적인 행동 데이터로부터 정책 정체성(policy identities)을 학습하도록 설계된 자기 지도 생성 모델인 Behavioral INR을 소개하며, 이는 정책을 잠재 변수에 의해 조절되는 상태-행동 함수로 표현함으로써 복잡한 연속적 환경에서의 정책 식별 가능성을 향상시키고 가변적인 에피소드 길이 및 분포 외 변화(out-of-distribution shifts)를 처리합니다.

원저자: Andrew Kang, Priya Narasimhan

게시일 2026-06-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Andrew Kang, Priya Narasimhan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 혼란스러운 댄스 스튜디오에 들어갔다고 상상해 보세요. 안에는 수백 명의 사람들이 동시에 춤을 추고 있습니다. 어떤 이들은 발레를 하고, 어떤 이들은 브레이크댄스를 추며, 또 다른 이들은 그냥 몸을 흔들고 있습니다. 문제는 무엇일까요? 이름표도 없고, 음악 신호도 없으며, 안무 시트도 없습니다. 당신의 눈에는 그저 움직임의 잔상만이 보일 뿐입니다.

당신의 목표는 이것입니다: 누가 어떤 춤을 추고 있는가? 그리고 더 중요한 것은, "발레 무용수 A"가 방의 다른 부분에서 혹은 다른 속도로 춤을 추고 있더라도, 그가 동일 인물임을 알아낼 수 있는가 하는 점입니다.

이것이 바로 앤드류 강(Andrew Kang)과 프리야 나라심한(Priya Narasimhan)이 그들의 논문 **"Implicit Neural Representations of Individual Behavior(개별 행동의 암시적 신경 표현)"**에서 다루는 문제입니다. 그들은 이 퍼즐을 풀기 위해 새로운 도구인 Behavioral INR을 소개합니다.

다음은 이를 쉬운 용어로 풀어서 설명한 내용입니다:

1. 기존 방식: "앨범" 접근법

이전의 방법들은 이 문제를 해결하기 위해 춤의 "사진 앨범"을 찍으려 했습니다. 그들은 일련의 동작들(1단계, 2단계, 3단계)을 보고 그 전체를 하나의 라벨로 요약하려고 시도했습니다.

결함: 만약 무용수의 속도가 변하거나, 방의 크기가 바뀌거나, 조명이 달라지면 "사진 앨범"은 완전히 달라 보입니다. 컴퓨터는 혼란에 빠져, 비록 같은 사람일지라도 그것을 새로운 무용수라고 생각하게 됩니다. 이 방식은 춤의 스타일 자체를 이해하기보다는, "아, 이 무용수는 항상 회전하며 시작한다"와 같은 지름길에 의존합니다.

2. 새로운 방식: "레시피" 접근법 (Behavioral INR)

저자들은 무용수의 스타일이 단순히 동작의 목록이 아니라, 하나의 규칙집 또는 레시피라는 것을 깨달았습니다.

비유: 초콜릿 케이크를 만드는 레시피를 생각해 보세요.
- 재료 (상태/State): 현재 상황 (예: "반죽이 묽다" 또는 "오븐이 뜨겁다").
- 행동 (Action): 다음에 할 일 (예: "밀가루를 더 넣는다" 또는 "불을 줄인다").
- 요리사 (정책/Policy): 케이크를 만드는 특정 인물.

기존 방식은 만들어진 케이크의 순서를 암기하려 했습니다. 새로운 방식인 Behavioral INR은 요리사의 고유한 레시피를 배우려고 합니다. 이 모델은 다음과 같이 묻습니다: "이 특정한 상황이 주어졌을 때, 이 특정 요리사는 다음에 무엇을 할 가능성이 높은가?"

그들은 **암시적 신경 표현(Implicit Neural Representation, INR)**이라는 수학적 기법을 사용합니다.

시각 분야에서의 INR: 보통 INR은 좌표 (x, y)를 색상 (RGB)으로 변환하는 데 사용됩니다. 이는 마치 아무리 확대해도 픽셀이 깨지지 않고 모든 좌표의 색상을 정확히 알고 있는 마법 같은 함수와 같습니다.
행동 분야에서의 INR: 이들은 이를 뒤집었습니다. 좌표에서 색상으로 가는 대신, 상태(States)에서 행동(Actions)으로 매핑합니다. 모델은 특정 정책(특정 에이전트의 행동)을 나타내는 연속적인 "함수"를 학습합니다.

3. 핵심 비결: "잠재 코드 (Latent Code)"

이 모델이 여러 명의 무용수(또는 정책)를 위해 작동하게 하려면, 모델은 잠재 코드를 사용합니다.

이것은 각 무용수를 위한 고유한 ID 카드 또는 DNA 가닥과 같습니다.
모델은 새로운 동작의 시퀀스를 볼 때, 그 레시피에 대입했을 때 왜 그 무용수가 그렇게 움직였는지를 완벽하게 설명할 수 있는 적절한 ID 카드를 찾아내려고 노력합니다.
결정적으로, 모델은 "이 사람은 무용수 A이다"라고 직접 듣지 않아 없습니다. 데이터에 가장 잘 들어맞는 ID 카드가 무엇인지 관찰함으로써 스스로 알아냅니다.

4. 이것이 왜 중요한가 ("줌" 테스트)

논문은 매우 까다로운 시나리오에서 이 모델을 테스트합니다.

가변 길이 (Variable Length): 고해상도 이미지에서 줌인/줌아웃을 해도 화질이 깨지지 않는 것처럼, 이 모델은 10단계의 춤이든 1,000단계의 춤이든 처리할 수 있습니다. 모델은 길이에 상관하지 않고, 그 밑바탕에 깔린 규칙에 집중합니다.
"분포 외 (Out-of-Distribution)" 테스트: 모델을 작은 방 안의 무용수를 대상으로 훈련시킨 후, 거대한 경기장에서 테스트한다고 가정해 봅시다.
- 기존 방식은 방의 모습이 달라졌기 때문에 실패합니다.
- Behavioral INR은 성공합니다. 왜냐하면 '레시피'를 배웠기 때문입니다. 모델은 "방이 크더라도, 이 요리사는 여전히 같은 양의 소금을 넣을 것이다"라는 것을 알고 있습니다. 즉, 환경이 아닌 사람을 식별하는 것입니다.

5. 가장 잘 작동하는 곳

저자들은 이 "레시피" 접근법이 행동이 복잡하고 환경이 까다로울 때 빛을 발한다는 것을 발견했습니다.

이 모델은 복잡하고 연속적인 세계(예: 포뮬러 1 레이싱이나 로봇 팔)에서 승리합니다. 이곳에서는 행동의 "규칙"이 미묘하여 몇 번의 움직임만 보고는 추측하기 어렵기 때문입니다.
반면, 단순한 세계(예: 체스나 간단한 로봇 작업)에서는 기존 방식과 비슷하거나 혹은 뒤처집니다. 왜냐하면 행동이 너무 명확하거나 반복적이어서, 과거의 움직임을 보는 것(사진 앨범 방식)만으로도 충분히 누구인지 맞출 수 있기 때문입니다.

요약

이 논문은 사람의 행동을 과거 행동의 목록이 아니라, 그들이 세상에 어떻게 반응하는지를 결정하는 **연속적이고 보이지 않는 함수(레시 recipe)**로 취급하는 Behavioral INR이라는 도구를 소개합니다.

이 "레시피"를 학습함으로써, AI는 새로운 환경에서, 다른 속도로, 혹은 다른 횟수의 단계를 수행하더라도 그 사람이 누구인지 식별할 수 있습니다. 이는 마치 요리사가 만든 음식의 목록을 단순히 암기하는 것이 아니라, 그들만의 독특한 양념 방식(스타일)을 통해 요리사를 알아보는 것과 같습니다.

기술 요약: 개별 행동의 암시적 신경 표현 (Implicit Neural Representations of Individual Behavior)

문제 정의

본 논문은 **라벨이 없는 다중 정책 행동 데이터로부터의 정책 표현 학습(policy representation learning)**이라는 과제를 다룹니다. 로보틱스 플레이, 스포츠, 레이싱, 게임 로그와 같은 많은 실제 도메인의 데이터셋에는 여러 개의 서로 다른 정책(예: 서로 다른 플레이어, 드라이버 또는 데몬스트레이터)에 의해 생성된 궤적들이 포함되어 있지만, 각 에피소드를 생성한 특정 정책이 무엇인지는 알 수 없습니다.

핵서 목표는 감독(supervision) 없이 기초적인 **정책 정체성(policy identity)**을 복구할 수 있는 에피소드별 잠재 표현 $z_i$ 를 추론하는 것입니다. 저자들은 단일 에피소드 내에서 정책은 고정되어 있다고 가정하지만, 훈련 과정에서 정책 라벨, 쌍별 제약 조건(pairwise constraints) 또는 환경 파라미터는 제공되지 않습니다. 이 표현은 오직 에피소드의 상태-행동 구조(state-action structure)로부터만 오프라인으로, 자기 지도 학습(self-supervised) 방식으로 추론되어야 합니다.

저자들이 식별한 핵심 과제는 정책 수준의 분포 외(Out-of-Distribution, OOD) 변화입니다. 표준적인 행동 OOD 설정은 에이전트나 환경의 변화를 다룹니다. 그러나 다중 정책 모방 데이터에서는 다음과 같은 두 가지 추가적인 변화 축이 발생합니다:

상태 분포 변화(State-distribution shift): 동일한 정책이 서로 다른 상태 분포 위에서 평가됩니다.
행동 분포 변화(Action-distribution shift): 훈련/테스트 분할 간에 주변 행동 통계량이 변화합니다.

본 논문은 기존의 많은 방법론이 진정한 조건부 정책 맵 $\pi(a|s)$ 가 아닌, 주변 상태 분포 $p(s)$ 나 행동 분포 $p(a)$ 를 식별하는 "지름길 학습(shortcut learning)"에 의존하기 때문에 이러한 변화 하에서 실패한다고 주장합니다.

방법론: 행동 INR (Behavioral INR)

저자들은 컴퓨터 비전의 INR 개념을 행동 데이터로 확장한 자기 지도 생성 모델인 Behavioral INR(Implicit Neural Representation)을 소개합니다.

핵심 개념

비전 분야에서 INR은 공간 좌표를 RGB 값으로 매핑하는 연속 함수로서 이미지를 표현합니다. Behavioral INR은 정책을 상태를 행동으로 매핑하는 함수로 표현합니다.

함수 표현: 하나의 에피소드는 기저에 깔린 상태-행동 함수로부터 샘플링된 집합으로 취급됩니다.
잠재 변수 변조(Latent Modulation): 공유된 상태-행동 네트워크(MLP)는 FiLM (Feature-wise Linear Modulation) 레이어를 통해 에피소드 수준의 잠재 코드 $z_i$ 에 의해 변조됩니다.
목표: 잠재 코드 $z_i$ 는 단순히 궤적의 이력을 요약하는 것이 아니라, 상태에 따라 행동이 어떻게 변화하는지를 설명해야 합니다.

아키텍처 및 훈련

디코더: 상태를 입력으로 받아 다음 행동을 예측하는 3개 블록의 FiLM 변조 MLP입니다.
잠재 추론(Latent Inference): 이력을 잠재 변수로 직접 매핑하는 아모티즈 인코더(amortized encoder)와 달리, Behavioral INR은 표현 추출을 **함수 피팅(function fitting)**으로 취급합니다. 테스트 시에는 공유된 INR 가중치를 고정하고, 해당 특정 에피소드의 관측된 상태-행동 쌍에 대한 경사 하강법(gradient descent)을 통해 에피소드 잠재 변수 $z_i$ 를 최적화합니다.
훈련: 모델은 회귀 손실(연속형) 또는 교차 엔트로피(이산형)를 사용하여 상태-행동 이력, 현재 상태, 다음 행동의 배치를 학습합니다. 훈련 중에 정책 라벨은 사용되지 않습니다.

베이스라인

본 논문은 정책 라벨을 필요로 하지 않는 기존 표현 메커니즘의 충실한 변형 모델들을 대상으로 Behavioral INR을 비교합니다:

CVAE-Transf./RNN: 이력을 인코딩하고 행동을 디코딩하는 트랜스포머 또는 RNN 기반의 궤적 오토인코더입니다.
VQ-VAE: 이산적 궤적 코딩입니다.
History-conditioned INR: 잠재 변수는 여전히 표준 아모티즈 히스토리 인코더에 의해 생성되는 INR 디코더입니다 (INR 디코더의 이점과 피팅된 잠재 변수의 이점을 분리하여 검증).
Diffusion Models: 조건부 DDPM 스타일의 행동 예측기입니다.
Behavior Embedding Maps (BEM): 상태-행동 쌍의 비매개변수적 클러스터링입니다.

주요 기여

Behavioral INR 프레임워크: 정책 표현을 공유 상태-행동 매핑을 변조하는 암시적 신경 함수로 정의하는 새로운 정식화입니다.
정책 수준 OOD 정의: 모델이 조건부 정책 맵 $\pi(a|s)$ 를 학습하는지 아니면 주변 지름길(marginal shortcuts)에 의존하는지를 테스트하기 위해 설계된, 다중 정책 데이터셋 특유의 OOD 변화(상태 분포 및 행동 분포 변화)를 공식화했습니다.
지름길 학습에 대한 실증적 분석: 정책 정체성을 상태/행동 주변 분포, 상징적 반복, 또는 저차원 통계량으로부터 식별할 수 있을 때 아모티즈 히스토리 인코더가 경쟁력이 있음을 보여주는 체계적인 평가를 수행했습니다. 그러나 조건부 상태-행동 함수를 반드시 복구해야 하는 "어려운" 환경에서는 Behavioral INR이 이를 크게 능가함을 입증했습니다.

결과

저자들은 합성 Gaussian Random Field (GRF) 데이터, MuJoCo (Minari 및 증강된 Hopper), DM Lab Seek-Avoid, Lichess (체스), DROID (로보틱스), FastF1 (포뮬러 1)에서 모델을 평가합니다.

합성 및 MuJoCo 스케일링: 더 긴 에피소드, 더 많은 정책, 그리고 OOD 분할(예: Hopper 10x/20x)이 있는 통제된 환경에서 Behavioral INR은 정책 정체성 복구를 위한 **선형 프로브 정확도(linear probe accuracy)**와 kNN 정확도 측면에서 아모티즈 베이스라인보다 일관되게 높은 성능을 달럽니다. 베이스라인은 에피소드 길이와 OOD 난이도가 증가함에 따라 성능이 저하되는 경우가 많지만, Behavioral INR은 완벽에 가까운 프로브 정확도를 유지합니다.
실제 도메인:
- FastF1: Behavioral INR은 가장 강력한 성능을 보였으며, 정책 수가 증가하고 지름길이 약해질 때 피팅된 함수적 표현이 더 잘 확장됨을 입증했습니다.
- DROID: 결과는 경쟁적이지만, 이 저차원 환경에서는 행동 주변 분포가 강력한 지름길을 제공합니다.
- Lichess: 베이스라인보다 성능이 낮습니다. 저자들은 이를 도메인의 구조 때문이라고 설명합니다: 상징적인 보드 상태, 반복되는 오프닝, 희소한 수(move) 분포는 Behavioral INR이 의존하지 않는 지름길을 다른 방법론들이 활용할 수 있게 합니다.
OOD 강건성: Behavioral INR은 단순한 $p(s)$ 나 $p(a)$ 가 아닌 복잡한 조건부 맵 $\pi(a|s)$ 를 추론해야 할 때 가장 효과적입니다. 정책들이 상태나 행동에서 겹치는 설정에서, Behavioral INR은 다른 방법론들이 실패하는 지점에서 성공적으로 정체성을 복구합니다.

의의 및 주장

본 논문은 Behavioral INR이 라벨이 없고 분포 변화가 존재하는 연속적이고 복잡한 상태-행동 공간에서 정책 정체성을 위한 더 강력한 표현을 제공한다고 주장합니다.

저자들은 자신들의 결과가 모든 도메인에서 Behavioral INR이 압도한다는 것을 의미하지 않는다는 점을 강조합니다. 대신, 다음과 같은 특정 영역을 식별합니다:

가장 잘 작동하는 경우: 정책 정체성이 복잡하고 비선형적인 상태 조건부 함수로부터 추론되어야 하며, 주변 지름길(상태 또는 행동 빈도)이 불충분하거나 오도될 수 있는 경우.
경쟁력이 있는 경우: 정책 정체성을 상태/행동 지름길, 상징적 반복, 또는 저차원 행동 통계량으로부터 복구할 수 있는 경우, 아모티즈 히스토리 인코더가 여전히 효과적입니다.

이 연구는 행동을 요약해야 할 시퀀스가 아니라 피팅해야 할 함수로 취급하는 것이, 로보틱스, 게임, 스포츠와 같이 기초적인 정책 구조가 충분히 복잡하여 지름길 학습을 방지할 수 있는 경우, 이질적인 데이터셋을 이해하는 데 있어 뚜렷한 이점을 제공한다는 점을 시사합니다.