기술 요약: 가치의 수학적 이론

문제 정의

본 논문은 목표 지향적 에이전트를 위한 엄밀하고 구조적인 "가치(value)"의 정의가 결여되어 있다는 점을 다룬다. 현재의 가치 개념은 의미론(도덕, 시장 가격, 심리학)과 뒤섞여 있어, 인공 에이전트 집단 내에서 이를 측정하거나 통제하기 어렵게 만든다. 저자들은 이러한 의미론적 층위를 제거하고, 가치를 섀넌(Shannon)의 정보 이론에 등장하는 정보와 유사한 법칙적이고 구조적인 양으로 취급할 것을 제안한다. 핵심 문제는 가치를 자원 전환을 통한 목표 진전의 측정 가능한 비율로 정의하고, 그 수학적 한계를 도출하며, 자원 제약 하에서 작동하는 에이전트 집단을 위한 제어 이론을 확립하는 것이다.

방법론

저자들은 공리적 유도, 정보 이론적 증명, 동역학계 분석, 그리고 대규모 언어 모델(LLM)에 대한 경험적 검증을 결합한 다각적인 접근 방식을 채택한다.

1. 공리적 유도 (정적 상태): 본 논문은 세 가지 공리인 한계 효용 체감, 독립적 채널 간의 가산성, 그리고 척도 불변성(scale invariance)을 사용하여 가치의 함수 형태를 유도한다. 척도 불변성은 코시 함수 방정식(Cauchy functional equation)으로 취급되어 로그 측도를 강제한다.
2. 동적 유도 (에르고디시티): 독립적으로, 본 논문은 Peters (2019)와 Kelly (1956)의 에르고디시티 논거를 사용하여 동일한 로그 형태를 유도하며, 곱셈적으로 재투자되는 자원의 장기 성장률이 왜 로그 측도를 필요로 하는지 보여준다.
3. 정보 이론적 경계: 저자들은 에이전트의 지각 채널을 통신 채널로 취급하여 가치 창출을 정보 이론과 매핑한다. 이들은 상호 정보량(mutual information)에 의해 가치 성장이 제한된다는 "가치의 코딩 정리"를 도출한다.
4. 동역학계 및 제어: 본 논문은 신념, 가격, 그리고 목표의 진화를 모델링한다. 저자들은 "존재(is)와 당위(ought)의 비대칭성"을 식별하는데, 신념은 세계가 제공하는 타겟(현실)을 향해 흐르는 반면, 목표는 그러한 타겟이 없어 제어나 선택의 대상이 된다는 점이다.
5. 경험적 검증: 이론은 5개 모델 제품군과 다수의 태스크 도메인(분류, 추론, 순차적 결정, 코드)에 걸쳐 0.5B에서 8B 파라미터를 가진 실제 언어 모델들을 대상으로 테스트된다. 실험은 외부 등록(pre-registered)되었으며, 표본 외 성능, 상호 정보량 추적, 그리고 플릿(fleet) 수준의 가격 책정 전략에 초점을 맞춘다.

주요 기여

1. 가치의 로그 법칙

본 논문은 가치 $V$가 목표 가중치 $k$에 대한 자원 할당 $e$의 로그 측도임을 확립한다:
$$V(e) = \sum_{i} k_i \ln e_i$$
이 형태는 두 가지 독립적인 경로, 즉 정적 공리(척도 불변성)와 동적 복리(에르고디시티)로부터 유도된다. 최적 할당은 목표 가중치에 비례하며, 실현된 가치는 목표 분포의 엔트로피에 의해 페널티를 받는다.

2. 가치의 코딩 정리

본 논문은 세계 $X$에 대한 에이전트의 지각 채널 $Y$를 통해 에이전트가 가치를 창출할 수 있는 속도가 상호 정보량 $I(X; Y)$에 의해 제한됨을 증명한다.
$$\Delta G \le I(X; Y)$$
이 경계는 베이즈 비례 할당(Bayes-proportional allocation)에 의해 달성된다. 결과적으로, 에이전트는 세계를 지각하는 속도보다 빠르게 가치를 창출할 수 없다. 즉, 지각 능력이 가치 생성률의 물리적 천장이 된다.

3. 가치의 제2법칙

실현된 가치는 가용 잠재력에서 불일치(모델 오차)로 인한 소산(dissipation)을 뺀 값으로 분해된다:
$$G = D(q \parallel r) - D(q \parallel p)$$
여기서 $q$는 현실, $p$는 에이전트의 모델, $r$은 기준점이다. 불일치($D(q \parallel p)$)는 비음의 소산 역할을 한다. 잘못된 모델에 대해 높은 확신(confident error)을 갖는 것은 실현 성장을 음수로 만들어 가치를 적극적으로 파괴한다.

4. 다중 에이전트 역학: 가격과 플릿 용량

• 프레임 상대적 가치, 프레임 독립적 가격: 개별 가치는 서로 다른 목표를 가진 에이전트 간에 카디널(cardinal)하게 비교될 수 없다. 그러나 에이전트들은 그림자 가격 $\lambda$(자원의 한계 가치)를 통해 협력하며, 이는 프레임에 독립적이다.
• 플릿 용량: 단일 결정자로서 행동하는 에이전트 집단(자원을 통합하고 지각을 융합함)의 가치 성장 천장은 융합된 채널의 상호 정보량에 의해 제한된다: $G_{fleet} \le I(X; Y_{1:m})$. 중복된 에이전트는 이 천장에 기여하지 못하며, 다양성은 이를 세계 엔트로피 $H(X)$를 향해 끌어올린다.
• 운영 지점: 플릿은 창출된 가격에 의해 자원 가중치가 선택되는 켈리 포트폴리오(Kelly portfolio)로서 작동한다.

5. 안정성 조건으로서의 정렬(Alignment)

본 논문은 정렬을 제어-안정성 문제로 프레임화한다. 목표는 세계가 제공하는 타겟이 없으므로(is/ought 비대칭성), 선택(무엇이 보상을 주는가)과 제어(감독)에 의해 규율된다. 잔여 불일치는 다음과 같다:
$$\|\bar{k}^* - k^*\| = \gamma^{-1} \|V g\|$$
여기서 $V$는 목표 분산이고 $g$는 보상 구배(reward gradient)이다. 저자들은 인센티브 설계( $g$를 $k^*$와 일치시키는 것)가 무차별한 감독( $\gamma$를 높이는 것)보다 우월한, 정렬의 "쉬운 절반"이라고 주장한다.

경험적 결과

저자들은 실제 언어 모델을 대상으로 사전 등록된 테스트를 수행했다:

• 가치 처리량 vs. 능력: 상호 정보량 $I(X; Y)$는 30개의 모델-도메인 지점에서 도구 정확도(tool accuracy)와 같은 실현된 능력과 매우 높은 정밀도로 추적하며(Spearman $\rho = 0.977$), 파라미터 수를 예측 변수로 사용하는 것보다 성능이 뛰어났다.
• 표본 외 추적: 실현된 가치 성장 $\Delta G$는 상호 정보량 $I(X; Y)$를 약 0.95의 기울기로 추적하며, 코딩 정리를 확인시켜 주었다.
• 소산: 약한 모델에 대한 과잉 확신은 측정 가능한 소산을 초래하여 실현 성장을 음수로 만들었으며, 이는 제2법칙과 일치한다.
• 플릿 가격 책정: 가치 기반 가격 책정 메커니즘($I/cost$에 기반한 라우팅)은 비용을 고려하지 않는 라우터보다 우수하며, 컴퓨팅 제약 하에서 비용을 고려하여 수동으로 튜닝된 베이스라인과 대등한 성능을 보인다. 다만, 균질하고 양의 상관관계를 가진 플릿 내의 단일 최적 에이전트보다는 성능이 뛰어나지 않은데, 이는 이론의 적용 범위를 확인시켜 준다.
• 일반화: $\Delta G \sim I(X; Y)$의 관계는 네 가지 서로 다른 태스크 형태(분류, 추론, 순차적, 코드) 전반에서 유지되었으며, 이는 시연(demonstration)으로부터 잠재적 법칙으로 가는 "가교"를 촉진한다.

의의 및 주장

본 논문은 켈리 베팅, 계산 열역학, 일반 균형 이론, 제어 이론을 "가치"라는 단일한 기질적 양 아래 통합한다고 주장한다.

• 통합: 저자들은 섀넌의 양들(엔트로피, 발산, 상호 정보량, 피셔 메트릭)이 가치 이론에서 자연스럽게 다시 등장함을 보여주며, 이는 이 추상화가 단순한 장식이 아니라 구조적임을 시사한다.
• 거버넌스: 본 논문은 가치(프레임 상대적)와 가격(프레임 독립적)을 구분함으로써 에이전트 집단을 위한 제어 이론을 제공한다. 저자들은 집단을 관리하기 위해 유틸리티를 합산하기보다 지각의 다양성과 자원 가격 책정을 관리해야 한다고 주장한다.
• 겸손: 저자들은 사용된 근간 메커니즘(Kelly, Arrow-Debreu, 제어 이론)이 새로운 것이 아님을 명시한다. 기여점은 이들의 통합과 구체적인 거버넌스 함의(예: 감독보다 인센티브 설계)의 도출에 있다.
• 상태: 본 논문은 스스로를 "발견"이 아닌 "합성(synthesis)"으로 규정한다. 가장 독특하게 통합된 예측들(예: 결합된 플릿 용량 영역, 동적 목표 진화)은 현재의 도구로는 테스트가 불가능함을 인정한다. 이 작업은 미래의 통제된 다중 에이전트 실험을 통해 검증 가능한 프로그램으로서 제시된다.

결론적으로, 본 논문은 가치가 프레임 상대적인 구조적 양이며, 이제 이 이론이 설계한 대로 이들을 통제할 인공 에이전트들에 대해 테스트 가능한 보편적 법칙을 가지고 있다고 결론짓는다.