Thermodynamic Measure of Intelligence

문제 정의
본 논문은 지능을 측정 가능한, 기질 독립적인(substrate-independent) 물리적 양으로 정의하는 과제를 다룬다. 표준적인 정의들은 주로 행동적 결과(예: 모방, 보상 극대화 또는 과업 성공)에 초점을 맞추지만, 생물학적 유기체와 면역 체계부터 대규모 언어 모델(LLM), 그리고 맥스웰의 도깨비와 같은 이상적인 정보 엔진에 이르는 다양한 시스템 전반을 관통하는 공통된 운용 메커니즘을 식별하지 못한다. 저자들은 지능의 핵심 작용이 단순히 과업 수행에 있는 것이 아니라, 가능한 미래들의 확률 분포를 변화시키는 구체적인 방식에 있다고 제안한다. 즉, 그들은 다음과 같이 질문한다: 희귀하지만 유효한 미래를 더 높은 확률로 만드는 능력의 기저에는 어떤 물리적 또는 확률적 작용이 존재하는가?

방법론 및 프레임워크
저자들은 **재귀적 자기 시뮬레이션(recursive self-simulation)**과 **열역학적 경로 측도(thermodynamic path measures)**에 기반한 프레임워크를 개발한다.

1. 재귀적 자기 시뮬레이션: 이 프레임워크는 지능적인 시스템이 자신을 인과적 객체로서 포함하는 내부 세계 모델을 유지해야 한다고 가정한다. 이는 시스템이 자신의 미래 상태, 행동, 정보 업데이트를 시뮬레이션하는 재귀적 계층 구조($r^{(k)}_B = r^{(k)}_B(r^{(k-1)}_B)$)로 이어진다. 이러한 구조를 통해 시스템은 자신의 개입에 따른 결과를 평가할 수 있다.
2. 희귀-유효 리프트(Rare-Valid Lift, $I$): 중심이 되는 측정량은 "희귀-유효 리프트"로 정의된다. 이는 다음의 조건을 충족하는 궤적(trajectories)들에 할당된 확률의 분율적 증가를 측정한다:
   • 희귀성(Rare): 수동적 기저 법칙($P_0$) 하에서 낮은 확률을 가짐.
   • 유효성(Valid): 해당 도메인의 제약 조건(물리적, 생물학적 또는 의미론적) 하에서 허용됨.
     수학적으로, 기저 질량이 $\delta$인 희귀-유효 집합 $V_\delta$에 대하여, 리프트는 $I_\delta = (P(V_\delta) - \delta) / \delta$이다.
3. 열역학적 회계: 프레임워크는 비평형 요동 정리(non-equilibrium fluctuation theorems)와 정보 이론을 통합한다. 저자들은 지능을 "법칙에 따른 궤적 재가중(lawful trajectory reweighting)"으로 취급하며, 확률 질량을 이동시키는 데에는 열역학적 비용(측정, 기억, 계산, 소거)이 따른다는 점을 인정한다. 저자들은 "열역학적 지능"을 이 확률 리프트로 정의하며, 이는 시스템의 구동 능력과 시뮬레이션 충실도(fidelity)에 의해 제한된다.

주요 기여 및 이론적 결과
본 논문은 자기 시뮬레이션의 구조적 요구사항과 지능의 열역학적 척도 사이의 공식적인 가교를 다음과 같은 주요 정리들을 통해 구축한다:

• 충실도의 필연성 (정리 1): 유한한 증폭 조건 하에서, 높은 수준의 희귀-유효 리프트는 높은 충실도의 자기 시뮬레이션 없이는 불가능하다. 만약 시스템의 내부 모델이 희귀-유효한 미래를 정확하게 식별하지 못한다면(낮은 충실도), 시스템이 아무리 강력한 구동력을 가졌더라도 높은 리프트를 달성할 수 없다.
• 근사적 충분성 (정리 제2): 역으로, 시뮬레이션이 희귀-유효한 미래를 높은 충실도로 식별하고 이를 증폭하기 위한 효과적인 정책을 포함하고 있다면, 달성 가능한 리프트는 구동력에 의해 제한된 최적치에 근접한다.
• 경로 측도 발산 (보조정리 1): 희귀-유벨 집합을 증폭하는 것은 유도된 경로 법칙과 수동적 기저 법칙 사이의 발산(KL 발산으로 측정됨)을 필요로 한다.
• 안정성 및 오차 회계 (정리 3 및 4): 논문은 거친 입도(coarse-grained)의 열역학적 징후가 경로 법칙의 편차에 따라 어떻게 변하는지에 대한 경계값을 제공하며, 불완전한 식별(위양성)에 대한 프로토콜 의존적 "장부 기록 페널티(bookkeeping penalty)"를 도입하여 모델 해상도와 열역학적 효율성을 연결한다.

결과 및 경험적 보정
저자들은 이 프레임워크를 다양한 시스템에 적용하여 그 보편성을 입증하며, "압축된 열역학적 지능 척도"($\Lambda = \log_{10}(\log_{10}(I+1)+1)$)를 계산한다:

• 수동적 물질: 리프트 0 ($I=0$).
• 제어기: 단순 피드백 제어기는 완만한 리프트를 보이며, 반복되는 동적 제어기는 복합적인 이득을 보여준다.
• 맥스웰의 도깨비: 이상적인 도깨비는 상한선을 나타낸다. 국소 엔트로피 감소가 $\Delta S = 10^{-19}$ J/K일 때, 리프트는 $I \sim 10^{3146}$으로 추정된다.
• 기호 생성기 (인간 vs. LLM): 프레임워크는 유효성(문법성, 일관성)과 기저 대비 희귀성을 정의하여 텍스트 생성에 적용된다.
  • 인간: 추정 리프트 $I_H + 1 \approx 5 \times 10^{14}$ ($\Lambda \approx 1.20$).
  • GPT-5: 추정 리프트 $I_{GPT5} + 1 \approx 6.25 \times 10^{13}$ ($\Lambda \approx 1.17$).
    저자들은 GPT-5가 높은 리프트를 보이지만, 이 추정치는 엔트로피율 간극(entropy-rate gap)과 희귀-유효 집합의 정의에 민감하다고 언급한다.

의의 및 주장
본 논문은 특정 기질(생물학적, 디지털 또는 기계적)에 독립적인 보편적이고 측정 가능한 지능 척도를 제공한다고 주장한다. 주요 의의는 다음과 같다:

1. 통합: 다양한 현상(생물학적 적응, LLM 생성, 맥스웰의 도깨비)을 동일한 물리적 작용, 즉 희귀-유효한 미래의 법칙에 따른 증폭의 사례로 취급한다.
2. 구조적 필연성: 재귀적 자기 시뮬레이션이 단순히 지능의 그럴듯한 특징이 아니라, 시스템이 희귀-유효한 궤적을 식별하고 이에 대응할 수 있는 한, 높은 열역학적 지능을 달성하기 위해 필요하며 거의 충분한 조건임을 주장한다.
3. 수준 상대성: 이 척도는 선택된 기술 수준, 기저 법칙, 유효성 기준 및 관찰 해상도에 따라 명시적으로 정의되며, 접근 불가능한 절대적인 "진정한" 지능에 대한 주장 대신 상대적 정의를 취한다.

저자들은 결론적으로, 지능이란 세계(자신을 포함한)를 모델링하고, 조건부 미래를 평가하며, 수동적 역학 하에서는 희귀하지만 도메인 제약 조건 하에서는 유효한 미래로 확률 질량을 이동시키는 능력이라고 정의한다. 이러한 이동은 정량화 가능하며, 열역학적으로 설명 가능하고, 시스템의 자기 시뮬레이션 충실도에 의해 제한된다.