The Computational Grammar of Human Behaviour in a Biological Environment

기술적 요약: 생물학적 환경 내 인간 행동의 계산적 문법

문제 제기
인간의 행동은 환경적 요구와 에이전트의 목표에 의해 형성되는 자발적 동작의 확장된 흐름으로 전개된다. 연습되었거나 유도된 운동 시퀀스의 생성은 잘 규명되어 있는 반면, 자발적이고 자연스러운 행동의 조직화 방식은 여전히 제대로 이해되지 않고 있다. 기존의 이론적 프레임워크는 인간의 행동이 미리 계획된 것이라기보다 모델 프리(model-free) 알고리즘에 의해 확률적으로 선택될 수 있음을 시사하지만, 이러한 가설은 자발적으로 생성된 인간 행동 시퀀스에 대해 엄격하게 검증되지 않았다. 또한, 현재의 행동 분석 방법들은 대개 사전 정의된 행동 레퍼토리(repertoire)에 의존하거나 특정 시퀀스 구조(예: 1차 마르코프 과정)를 가정하며, 이는 생태학적으로 실재적인 환경에서의 복잡한 인간 움직임을 포착하지 못할 수 있다.

방법론
저자들은 자유 이동 가상 현실(fm-VR) 내에서 생태학적으로 실재적이고 위험한 채집 환경을 탐색하는 참가자들의 전신 모션 캡처 데이터를 사용하여 계산 행동학(computational ethology) 접근 방식을 채택하였다. 연구에는 23명의 참가자가 참여하였으며, 이들은 구체적인 수행 방식에 대한 지시 없이 과일 채집 및 위협 회피를 수행하는 924회의 채집 에포크(평균 지속 시간 35초)를 완료하였다.

사전 정의된 행동 레퍼토리를 전제하지 않고 연속적인 운동학적 데이터를 분석하기 위해, 저자들은 비선형 임베딩 내 행동 발견을 위한 동적 계층적 클러스터링 알고리즘인 DynaClade(Dynamic hierarchical Clustering for action discovery in non-linear embeddings)를 개발하였다. 방법론은 다음의 5단계로 진행되었다:

1. 특징 추출(Feature Extraction): 관절 간 거리, 관절 높이, 분절 각도, 전역 방향, 그리고 이들의 1차, 2차, 3차 시간 미분(속도, 가속도, 저크)을 포함한 고차원 운동학적 특징 세트(311개 변수)를 추출하였다.
2. 차원 축소(Dimensionality Reduction): UMAP(Uniform Manifold Approximation and Projection)을 사용하여 특징들을 저차원 공간으로 투영하였다.
3. 클러스터링(Clustering): HDBSCAN(Hierarchical Density-Based Spatial Clustering of Applications with Noise)을 사용하여 초기 행동 클러스터를 식별하였다.
4. 인간 참여형 후처리(Human-in-the-Loop Postprocessing): 클러스터 중심점을 시각적으로 검사하고, 기능적으로 유사한 움직임들을 병합하여 계층적 행동 사전(70개의 미세, 46개의 중간, 22개의 조대 행동)을 생성하였다.
5. 분류(Classification): 정제된 레이블을 학습시켜 초기 분류 시 노이즈로 분류되었던 시점들을 포함한 모든 시점에 최종 행동 레이블을 할당하는 랜덤 포레스트(Random Forest) 분류기를 훈련시켰다.

결과적으로 생성된 행동 시퀀스는 시퀀스 구조의 차수와 맥락의 역할을 결정하기 위해 1차 전이 행렬, n-gram 빈도 분석, 그리고 은닉 마르코프 모델(HMM)을 사용하여 분석되었다.

주요 기여

• DynaClade 알고리즘: 행동 공간이나 시퀀스 구조에 대한 사전 지식 없이도 연속적인 인간 모션 캡처 데이터로부터 계층적 행동 레퍼토리를 발견할 수 있는 비지도 학습 알고리즘을 도입하였다.
• "망설임(Hesitant)" 행동의 발견: 이동 없이 신체 흔들림이 증가하는 특징을 가진, 이전에 기술되지 않은 움직임 패턴인 "망설임"을 식별하였다. 이는 결정 지점에서 빈번하게 발생한다.
• 시퀀스 구조의 특성화: 자발적인 인간 행동 시퀀스가 (1차를 넘어선) 고차 구조를 보이며, 이것이 고정된 사전 계획된 시퀀스보다는 행동 맥락에 의해 크게 설명된다는 것을 입증하는 엄격한 분석을 수행하였다.

결과

• 행동 레퍼토리의 타당성: DynaClade는 22개의 조대 행동(예: 걷기, 달리기, 서 있기, 손 뻗기, 망설임)을 식별하였으며, 이들의 운동학적 특성과 공간적 분포는 환경적 어포던스(affordance)와 일치하였다(예: "손 뻗기" 및 "굽혀서 손 뻗기"는 주로 과일 근처에서 발생; "달리기" 및 "걷기"는 안전한 은신처 근처에서 발생). 알고리즘은 또한 검증 세션에서 지시된 행동들을 성공적으로 복구하였다.
• 행동 특성: 행동의 하위 집합(22개 조대 행동 중 11개)이 전체 타임 빈(time bin)의 95%를 차지하였다. "망설임" 행동은 타임 빈의 11.2%를 차지하였으며, "서 있기"와 운동학적으로 구별되는 특징(더 높은 허리 움직임 속도)을 보였고, 이동 구간 사이에 더 자주 발생하였다. (세그멘테이션에는 사용되지 않은) 안구 추적 데이터는 서로 다른 행동과 연관된 독특한 동공 크기 및 시각적 스캐닝 패턴을 보여주어, 각 행동 간의 각성도 및 정보 샘플링의 차이를 시사하였다.
• 시퀀스 구조:
  • 비무작위성: 행동 시퀀스는 매우 비무작위적이었으며, 가능한 바이그램(bigram) 중 53.1%만이 나타났다.
  • 고차 의존성: 1차 전이가 비무작위 구조를 포착하기는 했으나, 시퀀스는 1차 마르코프 모델에서 유의미하게 벗어났다. 통계적 테스트 결과, 원시 행동 시퀀스에서 최소 8차 마르코프 구조의 증거가 확인되었다.
  • 맥락적 설명: 그러나 예측 정확도는 1차 모델(39.6%)에서 2차 모델(49.0%)로 넘어갈 때만 유의미하게 향상되었으며, 2차 이후로는 수익 체감(diminishing returns) 현상을 보였다.
  • 잠재 상태(Latent States): 30개의 잠재 상태를 가진 은닉 마르코프 모델(HMM)이 관찰된 행동(22개)보다 데이터를 더 잘 설명하였다. 이 모델에서 관찰된 행동은 여러 잠재 상태와 연관되어 있었는데, 각 상태는 동일한 행동이라도 서로 다른 맥락(예: 채집 맥락에서의 "걷기" vs 탈출 맥락에서의 "걷기")에서 나타나는 것을 의미했다.
  • 조직화에 대한 결론: 관찰된 시퀀스의 고차 구조는 주로 행동 맥락에 대한 민감성에 의해 주도되었다. 특정 행동 맥락 내에서 행동 시퀀스는 대체로 1차 마르코프 구조를 따랐으며, 1차를 넘어서는 상당한 수준의 고정된 행동 시퀀스는 발견되지 않았다.

의의
본 논문은 자발적인 인간 행동이 미리 계획되거나 습관적으로 조립된 시퀀스를 따르기보다는, 현재의 행동과 그 맥락을 기반으로 선택된다고 주장한다. 이 결과는 인간이 복잡한 환경에서 자기 유도적(self-guided) 행동의 조립을 실행 가능한 수준으로 만들기 위해 맥락 의존적인 계산 효율적 전략을 활용한다는 견해를 뒷받침한다. 생태학적으로 타당한 환경에서 인간 행동이 풍부한 행동 레퍼토리를 바탕으로 구성되며, 이들의 순차적 조립이 맥락 특이적 1차 마르코프 과정에 의해 주로 설명된다는 점을 입증함으로써, 본 연구는 계산 행동학이 자연스러운 인간 행동의 구조, 기능 및 개인적 변이를 특성화하는 생산적인 프레임워크임을 검증한다. 이 작업은 자발적 인간 행동의 구조를 규명함에 있어 확률적 행동 선택이라는 이론적 제안과 경험적 관찰 사이의 간극을 메운다.