The Information-Theoretic Imperative: Compression and the Epistemic Foundations of Intelligence

1. 연구 배경 및 문제 제기 (Problem)

• 핵심 질문: 생물학적 뇌 (영장류 시각 피질) 와 인공 신경망 (딥러닝) 은 근본적으로 다른 기질 (생화학적 대사 vs 디지털 연산) 과 최적화 동역학 (진화적 선택 + 국소 가소성 vs 경사 하강법) 을 가지고 있음에도 불구하고, 왜 유사한 표현 (representations) 을 학습하고 정량적으로 일치하는가?
• 기존 설명의 한계:
  • 단순히 자연 이미지의 통계적 유사성이나 공통된 작업 구조 (예: 객체 분류) 만으로는 설명이 부족함.
  • 효율적 코딩 (Efficient Coding) 이나 예측 코딩 (Predictive Coding) 등 기존 프레임워크는 예측과 압축의 중요성을 강조하지만, 분포 이동 (Distribution Shift) 하에서 왜 '국소적 상관관계 (Shortcuts)'가 아닌 '이동 안정적 불변성 (Shift-stable Invariants)'이 선택되는지에 대한 기계론적 설명이 결여되어 있음.
• 가설: 뇌와 AI 의 수렴은 우연이 아니라, 예측 압축 (Predictive Compression) 과 유한한 자원 제약 하에서 분포 이동에 대한 압축 효율성이 작용하는 물리적 제약의 결과임.

2. 이론적 프레임워크: ITI 와 CEP (Methodology & Framework)

저자들은 두 가지 핵심 원리를 결합하여 수렴 현상을 설명하는 제약 채널 (Constraint Channel) 을 제시합니다.

A. 정보 이론적 명령 (Information-Theoretic Imperative, ITI)

• 정의: 불확실한 환경에서 생존 (persistence) 을 유지하는 '능동적 지속체 (active persisters)'는 유한한 자원 (에너지, 메모리, 시간) 하에서 예측 압축을 강요받는다.
• 논리:
  • 생존을 위해서는 환경의 변화를 예측해야 함 (예측).
  • 무한한 과거 데이터를 저장할 수 없으므로, 규칙성을 활용하여 압축된 내부 구조를 만들어야 함 (압축).
  • 생물학적 뇌는 대사 비용이 매우 높으므로 (약 20%), 비효율적인 표현은 선택 압력을 받음.

B. 압축 효율성 원리 (Compression Efficiency Principle, CEP)

• 정의: 분포 이동 (Shift) 이 발생하는 환경에서, 압축 효율성은 '이동 불안정 상관관계 (Shortcuts)'에 대해 '예외 세금 (Exception Tax)'을 부과하고, '이동 안정적 불변성 (Invariants)'을 선호한다.
• 핵심 메커니즘: 예외 세금 (Exception Tax)
  • 단축 (Shortcut) 전략: 특정 환경에서만 유효한 상관관계를 이용하는 경우, 환경이 바뀔 때마다 새로운 '패치 (Patch)'나 수정이 필요함. 이는 환경의 다양성 ($E$) 에 비례하여 선형 (Linear) 으로 증가하는 초과 코드 길이 (Regret) 를 발생시킴.
  • 불변성 (Invariant) 전략: 환경에 관계없이 안정적인 인과적 구조를 인코딩하는 경우, 초기 구조 비용은 높을지라도 이동에 따른 추가 비용이 아선형 (Sublinear, 예: 로그 스케일) 으로 증가함.
• 교차점 (Crossover Threshold, $E^*$): 환경의 다양성 ($E$) 이 특정 임계값을 넘으면, 단축 전략의 누적 비용이 불변성 전략의 구조 비용을 초과하게 되어, 압축 효율성 측면에서 불변성 표현이 선택적으로 우세해짐.

C. 인과성과의 연결 (Causality Bridge)

• CEP 는 단순히 불변성을 선택하지만, 환경이 개입이 풍부한 (Intervention-rich) 이동 가족을 제공하고 모듈화된 인과 구조 (Modular Causal Structure) 를 가질 때, 선택된 불변성은 인과적 메커니즘 (Causal Mechanisms) 과 정렬됨.
• 이는 ICM (Independent Causal Mechanisms) 가정 하에서, 메커니즘 단위가 이동에 강건하고 지역적 업데이트만 필요하므로 압축 효율성이 가장 높기 때문임.

3. 주요 기여 및 발견 (Key Contributions & Results)

1. 생물학적 증거와의 정합성

• 대사 비용: 뇌의 높은 대사 비용은 비효율적인 표현 (불필요한 신호, 반복적인 재구성) 에 대한 강력한 선택 압력으로 작용함 (ITI).
• 감각 코딩 효율성: 초파리 등 단순 생물의 감각 신경이 자연 자극 하에서 이론적 채널 용량에 근접하는 효율성을 보이는 것은 자원 제약 하의 프론티어 추구 (Frontier-seeking) 의 결과임.
• 위계적 불변성 (Ventral Stream): V1 에서 IT 로 이어지는 시각 경로에서 '내성 (Tolerance)'이 증가하는 현상은, 이동 불안정한 픽셀 수준의 상관관계를 버리고 이동 안정적인 객체 중심 표현을 점진적으로 추출하는 CEP 의 결과로 해석됨.

2. 인공 신경망 (AI) 의 현상 설명

• OOD (Out-of-Distribution) 취약성: 딥러닝 모델이 훈련 분포 내에서는 성능이 좋지만 분포 이동 시 실패하는 것은 '단축 (Shortcut)' 학습의 결과이며, 이는 CEP 가 예측하는 선형적인 '예외 세금'의 발생과 일치함.
• 데이터 증강 (Augmentation) 의 역할: 데이터 증강은 생물학적 '능동적 감각 (Active Sensing)'의 인공적 대안으로 작용하여 이동 가족 ($\epsilon$) 을 풍부하게 함으로써, 모델이 이동 안정적 불변성을 학습하도록 유도함.
• Grokking 현상: 훈련 초기에는 훈련 데이터에 맞는 단축 (선형 Regret) 을 학습하다가, 나중에는 일반화 가능한 규칙 (아선형 Regret) 을 발견하여 성능이 급격히 향상되는 현상을 CEP 의 Regret 스케일링 분리로 설명 가능.

3. 검증 가능한 예측 및 실험 프로토콜 (Section 6)

저자들은 이론을 검증하기 위한 구체적인 실험 설계와 반증 기준 (Falsifiers) 을 제시함:

• 예측 1 (효율성 - 강건성 커플링): 주어진 작업 내에서 압축 효율성이 높은 시스템일수록 OOD 강건성 (이동 패널티 $\Delta_\epsilon$) 이 높아야 함.
• 예측 2 (Regret 스케일링 분리): '단축 뒤집기 (Shortcut-flipping)' 환경에서 단축 전략은 환경 다양성 ($E$) 에 비례하여 선형으로 비용이 증가하고, 불변성 전략은 아선형으로 증가해야 함.
• 예측 3 (이동 가족 의존성): 학습된 불변성은 경험한 이동 가족 ($\epsilon$) 에 따라 변해야 함 (보편적 사전 지식이 아님).
• 예측 4 (능동적 데이터 생성의 이점): 능동적 탐색 (생물) 또는 상호작용적 데이터 생성 (AI) 은 수동적 학습보다 단축 의존도를 줄이고 불변성 학습을 강화함.

4. 의의 및 결론 (Significance)

• 기반 독립적 수렴 (Substrate-Independent Convergence): 뇌와 AI 의 유사성은 우연이 아니라, 예측 압축과 자원 제약 하의 분포 이동이라는 보편적인 물리적 제약이 만들어낸 '수렴 basin'의 결과임을 입증함.
• 통합적 설명: 효율적 코딩, 자유 에너지 원리 (FEP), 정보 병목 (IB), MDL 등 기존 이론들을 통합하고, 특히 분포 이동 하에서의 선택 메커니즘을 명확히 함으로써 생물학과 AI 의 간극을 메꿈.
• 실용적 함의:
  • AI 설계: OOD 강건성을 높이기 위해서는 단순한 모델 크기 증가가 아니라, 이동 가족 ($\epsilon$) 을 풍부하게 하는 훈련 전략 (증강, 상호작용) 과 압축 효율성 (Regret 최소화) 을 최적화해야 함.
  • 신경과학: 뇌의 대사 비용과 신경 신호는 단순한 에너지 소비가 아니라, '예외 세금'을 최소화하기 위한 압축 효율성의 물리적 구현으로 해석될 수 있음.
• 인과성 발견: CEP 는 인과적 구조가 존재하고 접근 가능한 환경에서, 압축 효율성이 인과적 메커니즘을 발견하는 유일한 균형점임을 보여줌.

요약

이 논문은 **"생명과 인공 지능이 왜 같은 방식으로 세상을 이해하는가?"**라는 질문에 대해, **"예측을 위해 압축해야 하고, 이동하는 환경에서 압축 효율을 유지하려면 이동에 강건한 인과적 구조를 학습해야 한다"**는 정보 이론적 - 열역학적 원리 (ITI $\to$ CEP) 를 제시합니다. 이는 생물학적 뇌의 진화와 딥러닝의 학습이 서로 다른 경로로 동일한 물리적 제약 하에서 수렴했음을 보여주며, 향후 AI 의 강건성 향상과 뇌의 작동 원리 이해에 새로운 방향을 제시합니다.