기술 요약: 주관적 엔트로피 이론 (Theory of Subjective Entropy)

문제 제기

고전 정보 이론, 특히 샤논 엔트로피(Shannon entropy)는 시퀀스를 생성하는 추상적인 소스 분포에 기반하여 무작위성을 정의한다. 그러나 이 프레构은 인지적 에이전트가 유한한 시퀀스를 어떻게 지각하고 예측하는지를 설명하기에는 불충분하다. 특히, 무작위 소스(예: 공정한 동전)에 의해 생성된 시퀀스가 에이전트가 이용할 수 있는 국소적으로 압축 가능한 구조를 포함하고 있는 경우 더욱 그러하다. 저자들은 겉보기 무작위성이 소스 자체의 고유한 속성이 아니라, 시퀀스와 에이전트의 내부 모델 사이의 관계적 속성이라고 주장한다. 다루고자 하는 핵심 문제는 "주관적 엔트로피"(시퀀스가 에이전트의 특정 내부 모델에 비해 얼마나 압축 가능한지의 정도)를 정량화할 수 있는 공식적이고 계산 가능한 프레임워크의 부재와, 이것이 인간 인지의 예측 정확도와 어떻게 연관되는지를 설명하는 데 있다.

방법론

이론적 프레임워크

본 논문은 알고리즘 정보 이론(AIT), 고전 정보 이론, 그리고 **능동적 추론(Active Inference)**을 통합한다.

• 주관적 엔트로피: 모델 상대적 코드 길이(또는 알고리즘 복잡도)로 정의된다. 시퀀스는 에이전트의 내부 모델 하에서 압축 불가능할 때 "주관적으로 무작위"하다고 정의된다.
• 압축 임계값 ($\tau$): 1 bit/bit(공정한 동전의 엔트로피율)로 설정된다. 평균 코드 길이가 $K < 1$인 시퀀스는 하위 엔트로피적(sub-entropic)(압축 가능)이며, $K \ge 1$인 시퀀스는 상위 엔트로피적(super-entropic)(압축 불가능)이다.
• CTW 알고리즘: 저자들은 컨텍스트 트리 가중치(Context-Tree Weighting, CTW) 알고리즘을 사용하여 주관적 엔트로피를 구체화한다. CTW는 솔로모노프 귀납법(Solomonoff Induction)의 계산 가능한 근사치 역할을 하며, 유한한 깊이 $D$까지의 모든 컨텍스트 트리에 대한 베이지안 혼합(Bayesian mixture)을 제공한다. 이는 오컴의 면도날(더 깊은 트리에 페널티 부여)과 에피쿠로스의 원리(모든 일관된 모델을 유지)를 통합한다.
• 엔트로피 영역(Entropic Regions): 저자들은 새로운 분석 단위를 도입한다. 엔트로피 영역은 시행별 CTW 로그 손실($K_t$)이 임계값 $\tau$보다 지속적으로 낮거나 높은 최대 연속 부분 시퀀스이다. 이를 통해 전역적으로 무작리한 시퀀스 내에서도 국소적으로 압축 가능한 구조를 식별할 수 있다.
• 능동적 추론과의 연결: 이 프레임워크는 에이전트가 변분 자유 에너지(variational free energy)를 최소화한다고 가정한다. 자유 에너지를 최소화하는 것은 예측 정확도(정확도 항)를 극대화하는 동시에 모델 복잡도를 제어하는 것과 같다. 이 맥락에서 시퀀스를 압축하는 것(즉, $K_{CTW}$를 줄이는 것)은 자유 에너지를 최소화하는 것과 동일하며, 이는 왜 에이전트가 국소적 구조를 이용해야 하는지에 대한 규범적 설명을 제공한다.

실험 설계

두 가지 온라인 실험(A 및 B)이 Prolific 플랫폼을 통해 총 159명의 참가자(최종 분석에는 148명 포함)를 대상으로 수행되었다.

• 과업: 참가자들은 강제 선택형 이진 시퀀스 예측 과업에서 사각형의 색상(파랑/1 또는 주황/0)을 예측하며 피드백을 받았다.
• 자극: 시퀀스는 샤논 엔트로피가 거의 최대치에 가깝도록(전역적으로 무작위) 생성되었으나, CTW 모델을 기반으로 하위 엔트로피적 영역과 상위 엔트로피적 영역이 균형 있게 포함되도록 설계되었다.
  • 실험 A는 복잡도가 임계값 근처에 군집을 이루는 생성 절차를 사용했다.
  • 실험 B는 하위 및 상위 엔트로피 영역의 대칭적 분포를 보장하기 위해 임계값 주변의 $\epsilon$-밴드를 채택했다.
• 분석: 연구에는 일반화 선형 혼합 효과 모델(GLMM)의 베이지안 및 빈도주의 접근 방식이 사용되었다.
  • 시행 수준 분석: 단순 Krichevsky-Trofimov(KT) 추정기(0차 마르코프 모델)를 통제 변수로 사용하여, per-trial CTW 복잡도($K_t$)가 정답 여부를 예측하는지 테스트했다.
  • 영역 수준 분석: 엔트로피 영역의 누적 압축성(면적, $A_r$), 깊이($d_r$), 길이($L_r$)가 정확도 및 모델-인간 일치도를 예측하는지 테스트했다.

주요 기여

1. 주관적 엔트로피의 공식화: 본 논문은 무작위성을 소스 자체의 속성이 아니라 시퀀스와 내부 모델 사이의 관계로 정의하는 엄격한 정의를 제안한다. 이를 CTW 복사 복잡도를 사용하여 구체화한다.
2. 엔트로피 영역: "엔트로피 영역"의 도입은 전역적으로 무작위한 시퀀스를 국소적으로 압축 가능한(하위 엔트로피적) 세그먼트와 압축 불가능한(상위 엔트로피적) 세그먼트로 분해할 수 있게 한다. 이는 압축 가능성에 대한 기하학적 해석($Area = Length \times Depth$)을 제공한다.
3. 능동적 추론을 통한 기계론적 설명: 저자들은 알고리즘 압축을 자유 에너지 원칙과 연결하여, 하위 엔트로피적 구조를 이용하는 것이 자유 에너지(예측 적합도)를 최소화하기 위한 합리적인 전략임을 주장한다.
4. 보편적 적용 가능성: 이 프레임워크는 이진 용어로 설명될 수 있다면 소스와 상관없이 모든 이진 시퀀스에 적용 가능한 정보 처리를 정량화하기 위한 보편적 형식 언어로 제시된다.

결과

시행 수준 결과

• 복잡도가 정확도를 예측함: 높은 시행별 CTW 복잡도($K_t$)는 정답 확률이 낮아지는 것을 유의미하게 예측했다.
• 빈도 추적을 넘어섬: 심볼 빈도만을 추적하는 KT 추정기를 사용하는 통제 모델은 빈도 추적이 일부 분산을 설명함을 보여주었으나, CTW 특유의 이득(더 깊은 컨텍스트 트리가 제공하는 추가적인 압축)이 시행별 정답 여부 예측력을 유의미하게 향상시켰다. 이는 인간이 단순한 횟수 측정이 아닌 더 깊은 구조적 패턴을 활용함을 나타낸다.

영역 수준 결과

• 하위 엔트로피적 이점: 하위 엔로피적 영역에서 더 큰 누적 압축성(면적, $A_r$)과 더 큰 깊이($d_r$)는 더 높은 예측 정확도를 유의미하게 예측했다. 영역 길이에 따른 효과도 양(+)의 관계를 보였는데, 이는 예측 가능성이 구조적 스팬(span)이 길어짐에 따라 누적됨을 시사한다.
• 상위 엔트로피적 불이익: 상위 엔트로피적 영역에서는 관계가 달랐다. 더 긴 상위 엔트로피적 영역은 모델-인간 간의 일치도 감소와 관련이 있었다. 이는 에이전트가 오도하는(상위 엔트로피적) 영역에 지속적으로 머물게 되면, 결국 베이스라인 모델(예: 공정한 동전 추측)로 회귀하거나 모델을 전환하여 CTW 예측 규칙에 대한 준수를 줄일 수 있음을 시사한다.
• 기하학적 해석: 길이와 깊이 사이의 상호작용은 압축성의 이점이 깊은 구조가 긴 영역 동안 지속될 때 가장 두드러진다는 점을 확인시켜 주었다.

모델 비교

• CTW 기반 모델은 낮은 AIC/BIC 점수와 유의미한 우도비 검정(likelihood-ratio tests)을 통해 알 수 있듯이, 단순 KT 추정기와 절편 전용(chance-level) 베이스라인보다 데이터를 설명하는 데 있어 유의미하게 뛰어난 성능을 보였다.

의의 및 주장

본 논문은 주관적 엔트로피 이론이 고전 정보 이론만으로 이해하는 것보다 시퀀스 예측을 이해하는 데 더 유익한 접근 방식을 제공한다고 주장한다.

• 국소적 vs 전역적 무작위성: 연구 결과는 충분히 복잡한 내부 모델을 가진 에이전트에게는 전역적으로 무작위한(높은 샤논 엔트로피) 시퀀스라 할지라도 국소적으로 압축 가능한 구조가 존재할 수 있다는 주장을 뒷받침한다.
• 규범적 기초: 능동적 추론에 근거함으로써, 저자들은 왜 에이전트가 이러한 국소적 구조를 이용해야 하고 실제로 이용하는지에 대한 규범적 설명(자유 에너지 최소화)을 제공한다.
• 방법론적 함의: 저자들은 실험 심리학에서 시퀀스 전반에 걸친 주관적 엔트로피의 통제되지 않은 변동이 위양성(false positive)을 초래할 수 있다고 경고한다. 만약 실험이 숨겨진 하위 엔트로피 영역을 가진 시퀀스를 사용한다면, 참가자들이 실험적 처치 때문이 아니라 시퀀스 구조의 이용 가능성 때문에 우연 수준 이상의 성과를 낼 수 있기 때문이다.
• 보편적 언어: 저자들은 이 프레임워크를 정보 압축으로서의 인지를 설명하는 보편적 형식 언어를 향한 "겸손한 발걸음"으로 결론짓는다. 패턴과 구조를 이진 시퀀스와 알고리즘 복잡도를 통해 정형화함으로써, 인지 심리학을 제1원칙에 고착시킬 수 있다고 주장한다.

저자들은 이 프레임워크가 단순히 시퀀스 예측에 대한 설명이 아니라, 과정이 이진 시퀀스로 기술될 수 있다면 인지 시스템의 무작위성과 정보 처리를 정량화하기 위한 보편적 형식 언어가 될 것이라고 명시하고 있다.