기술 요약: 봉인된 감사(Sealed Audit)에서의 부호가 있는 압축 진보(Signed Compression Progress)

문제 정의

압축 또는 예측 진보에 기반한 내재적 동기는 슈미트후버(Schmidhuber)의 인공적 호기심 연구에서 기원한, 에이전트 학습을 유도하기 위한 오랜 제안입니다. 핵심 아이디어는 에이전트의 세계 모델이 경험을 예측하거나 압축하는 능력이 향상될 때 보상을 주는 것입니다. 그러나 이러한 보상의 비형식적인 정식화는 에이전트가 타겟 분포에 대한 진정한 개선 없이 프록시 보상만을 극대화하는 "굿하트의 법칙(Goodhart's law)"(보상 해킹)에 취약합니다.

확인된 구체적인 실패 모드는 다음과 같습니다:

• 스트림 스코어링(Stream Scoring): 에이전트가 타겟 분포에서의 성능은 저하시키면서, 자신이 적응적으로 선택한 데이터 스트림에서의 성능만을 개선하는 경우.
• 클리핑(Clipping): 순 진보가 0임에도 불구하고 보상을 얻기 위해 상태를 순환하는 경우 (예: 망각과 재학습의 반복).
• 홀드아웃 재사용(Holdout Reuse): 반복적인 스칼라 피드백을 위해 검증 세트를 재사용할 때, 유한한 검증 세트에 과적합되는 경우.
• 노이즈 유인(Noise Attraction): 예측 오차 보상이 불가해한 노이즈(Noisy TV 문제)의 감소를 보상하는 경우.

본 논문은 정량적인 질문을 던집니다: 어떤 정확한 측정 조건 하에서 압축 진보 신호가 "신뢰할 수 있는(credible)" 상태, 즉 누적 보상이 실제 감사 개선량을 유한하고 경계가 있는 양 이상으로 초과할 수 없는 상태가 되는가?

방법론

저자들은 봉인된 감사(Sealed Audit) 상의 **부호가 있는 감사 압축 진보(Signed Audit Compression Progress, Audit-CP)**라는 공식적인 측정 프레임워크를 제안합니다.

핵심 정의

1. 봉인된 감사 분포 ($Q$): 에이전트의 적응적 훈련 궤적과 독립적인 고정된 분포입니다. 에이전트는 허용된 릴리스 메커니즘을 통하지 않고서는 $Q$를 선택, 왜곡 또는 조사할 수 없습니다.
2. 감사 손실 ($E(\theta)$): 모델 상태 $\theta$가 $Q$에 대해 갖는 기대 손실(예: 로그 손실 또는 교차 엔트로피)입니다.
3. 부호가 있는 진보 ($r_t$): 단계 $t$에서의 보상은 감사 손실의 부호가 있는 감소량으로 정의됩니다:
   $$r_t = E(\theta_{t-1}) - E(\theta_t)$$
   결정적으로, 음의 진보(손실 증가)는 에이전트에게 차감됩니다; 보상은 클리핑되지 않습니다.

이론적 프레임워크

논문은 호라이즌 $T$ 동안의 누적 보상이 **망원 급수(telescoping sum)**를 형성함을 입증합니다:
$$\sum_{t=1}^T r_t = E(\theta_0) - E(\theta_T)$$
이 항등식은 누적 보상이 감사 성능의 순 개선량과 정확히 일치함을 의미합니다. 따라서 어떤 정책도 실제 감사 성능이 정체되거나 저하될 때 누적 보상을 무한히 높일 수 없습니다.

유한 감사 패널(크기 $n$인 샘플 $A_n$)의 경우, 보상은 경험적($\hat{r}_t$)입니다. 논문은 누적 경험적 보상이 실제 개선량을 최대 $2\Delta_n$만큼 초과하며, 여기서 $\Delta_n$은 패널 상의 모델 클래스의 균등 편차임을 증명합니다:
$$\sum_{t=1}^T \hat{r}_t \leq E(\theta_0) - E(\theta_T) + 2\Delta_n$$
이 결과는 호라이즌으로부터 자유롭습니다(horizon-free): 패널이 모델 클래스를 균등하게 제어하는 한, 적응성에 따른 비용은 시간이 지나도 누적되지 않습니다.

알고리즘적 분리

저자들은 보상 신호와 스케줄러를 구분합니다:

• 보상 신호: Audit-CP는 신뢰할 수 있는 회계 신호를 제공합니다.
• 스케줄러: 다중 가중치(MWU) 또는 EXP3 알고리즘은 Audit-CP 보상을 바탕으로 서로 다른 데이터 소스에 훈련 자원을 할당합니다. 이러한 분리는 스케줄러가 해킹 가능한 프록시가 아닌 신뢰할 수 있는 신호를 최적화하도록 보장합니다.

주요 기여

1. 예산화된 굿하트 저항성(Budgeted Goodhard Resistance): 논문은 누적 보상이 실제 개선량보다 유한한 예산 $\Gamma$ 이상으로 초과할 수 없을 때 신호가 "예산화된 굿하트 저항성"을 갖는다고 정의합니다. 정확한 봉인 감사 CP는 $\Gamma=0$이며, 유한 패널 CP는 $\Gamma = 2\Delta_n$입니다.
2. 기계화된 증명: 모델 클래스의 엔트로피 하한, 깁스 비음수성(Gibbs nonnegativity) 및 정확한 망원 급수 증명을 포함한 이론적 핵심 구조가 Lean 4를 통해 기계화되었습니다. 이는 정확한 망원 급수와 균등 편차 하의 조건부 굿하트 저항성에 대한 증명을 포함합니다.
3. 엔트로피 하한 정리(Entropy Floor Theorem): 로그 손실의 경우 감사 손실이 데이터의 조건부 엔트로피에 의해 하한이 됨을 증명합니다. 이는 순수하게 무작위적인 구성 요소(노이즈)가 유한한 개선 예산을 가짐을 보장합니다. 모델이 엔트로피 하한에 도달하면 더 이상의 압축 진보를 생성할 수 없습니다.
4. 실험적 검증: ARC-TGI(그리드 변환 작업을 위한 생성기)를 사용하는 포괄적인 실험 세트를 통해 다양한 실패 모드 및 베이스라인(RND, ICM, 예측 오차 호기심)에 대한 이론을 검증합니다.

실험 결과

실험은 이론적 경계를 확인하고 방법론의 유효성 경계를 식별합니다:

• 유한-감사 집중도: 경험적 균등 편차($\Delta_n$)는 $n^{-0.527}$로 스케일링되며, 이는 유한 클래스에 대한 이론적 $n^{-1/2}$ 속도와 밀접하게 일치합니다.
• 보상 신호 절제 연구(Ablation): 노이즈 방해 요소가 포함된 커리큘럼에서, Audit-CP는 비오라클 베이스라인 중 가장 높은 활성 셀 재구성 정확도(0.387)를 달 기록했습니다. 이는 예측 오차(0.338)를 유의미하게 상회합니다. 결정적으로, Audit-CP는 노이즈 방해 요소에 샘플링 예산의 약 22%만을 할당한 반면, 예측 오차는 약 50%를 할당했습니다.
• Signed vs. Clipped: 보상을 클리핑(양의 진보만 사용)하면 에이전트가 보상을 파밍(누적 +1.49 보상)할 수 있었으나, 부호가 있는 진보(signed progress)는 0에 가깝게 유지되었습니다. 이는 순환을 방지하기 위해 부호가 있는 회계가 필수적임을 확인시켜 줍니다.
• Stream vs. Audit: 스트림 스코어링된 진보(에이전트 자신의 데이터에 기반한 보상)는 봉인 감사 진보를 약 40배 과대평가하여, 스트림 스코어링이 감사 진보의 유효한 프록시가 아님을 확인했습니다.
• 적응적 스칼라-피드백 공격:
  • 단순 재사용: 적응적 공격자가 재사용 가능한 패널에 과적합됨으로써, 겉보기 진보와 실제 진보 사이의 간극을 $2\Delta_n$ 임계값(1.64)을 초과하는 3.24까지 벌릴 수 있었습니다.
  • 방어 기제: 표준 릴리스 방어(신선한 서브샘플링, 래더링, 라운딩, 원샷 릴리스)는 공격을 성공적으로 억제하여 간극을 이론적 임계값 아래로 유지했습니다.
• 교정(Calibration): 온도 스케일링(Temperature scaling)은 하드 정확도는 바꾸지 않으면서 로그 손실(NLL)과 ECE를 변화시켰으며, 이는 Audit-CP가 단순한 0-1 판별이 아닌 확률적 교정을 측정함을 보여줍니다.

의의 및 주장

본 논문은 봉인된 감사 상의 부호가 있는 압축 진보가 진정한 개선의 "회계 신호"라고 주장합니다. 그 의의는 압축 진보가 굿하트의 법칙에 저항할 수 있는 정밀한 측정 조건을 제공한다는 데 있습니다.

• 신뢰성: 보상이 신뢰할 수 있는 이유는 그것이 종점 회계 항등식(endpoint accounting identity)이기 때문입니다. 어떠한 장기적인 보상 증가는 반드시 감사 손실의 실질적인 감소로 "지불"되어야 합니다.
• 실패 모드: 논문은 보상이 클리핑되거나, 에이전트 자신의 스트림에 의해 점수화되거나, 고용량 모델 클래스가 재사용 가능한 패널을 암기하거나, 감사 분포가 봉인되지 않은 경우에 이 보장이 깨짐을 명시적으로 규정합니다.
• 설계 규칙: 내재적 동기 및 재귀적 자기 개선 시스템을 위해 저자들은 다음의 설계 규칙을 제안합니다: 압축 진보를 감사 보상으로 사용하고, 탐색을 위한 별도의 스케줄러를 유지하며, 음의 진보를 유지하고, 감사를 보호된 측정 도구로 취급하십시오.

저자들은 이 작업이 안전 보장이 아닌 측정 조건을 제공한다는 점에서 겸허한 입장을 취합니다. 이는 신호가 유한한 예산을 초과하여 개선을 과장할 수 없음을 인증하지만, 감사 분포가 모든 측면의 능력을 포착한다거나 에이전트가 안전하다는 것을 보장하지는 않습니다. 이 연구는 압축 진보의 경계 조건을 가시화하고 수학적으로 다룰 수 있게 만드는 데 목적이 있습니다.