기술 요약: 풀링이 실패할 때 (When Pooling Fails)

문제 정의

본 논문은 객체 임베딩을 하나의 전역 상태 벡터로 집계하기 위해 정체성 불가지론적 풀링(identity-agnostic pooling, 예: 평균 풀링)에 의존하는 플래닝 에이전트의 구조적 실패 모드를 다룬다. 이러한 아키텍처는 압축성과 미분 가능성 덕분에 모델 기반 강화 학습(예: DreamerV2/V3), 도구 사용 에이전트, 로봇 플래너 등에서 표준적으로 사용되지만, 돌이킬 수 없는 표현 손실을 초래한다.

핵심 문제는 객체 임베딩이 풀링되는 순간, 개별 객체의 정체성이 수학적으로 파괴된다는 점이다. 결과적으로, 에이전트는 벤치마크에서 완벽한 계획 시퀀스를 학습하고 높은 총 보상을 달성할 수 있음에도 불구하고, 자신이 어떤 특정 객체에 작용하고 있는지에 대해서는 구조적으로 "맹목적(blind)"인 상태가 될 수 있다. 이는 **객체 그라운딩 실패(object grounding failures)**로 이어지며, 에이전트가 동종의 객체들(예: 디렉토리 내의 여러 파일 중 올바른 파일을 선택하는 것)을 구별하지 못하게 만든다. 본 논문은 모델 용량 확장, 깊이 증가, 또는 더 많은 학습 데이터 추가와 같은 현재의 공학적 대응책들이 왜 효과적이지 않은지, 그것들이 아키텍처의 근본적인 원인을 해결하지 못하기 때문이라고 주장한다.

방법론 및 이론적 프레임워크

1. 정체성 손실의 형식적 정의

저자들은 정체성 불가지론적 풀링(정의 3.1)을 임의의 치환 불변 함수 $f: (\mathbb{R}^d)^N \to \mathbb{R}^d$로 정의한다. Zaheer et al. [2017]을 따라, 이러한 함수는 입력의 치환을 구별할 수 없음을 확립한다.

• 보조정리 3.2는 임베딩이 공유된 서포트(support)를 가질 때, 결정론적인 다운스트림 네트워크 $h$가 풀링된 상태 $\bar{e}$로부터 특정 객체 $i$의 정체성을 확률 1로 복구하는 것이 불가능함을 증명한다. 이는 학습의 한계가 아니라 구조적 불가능성이다.

2. 정보 이론적 천장 (Information-Theoretic Ceiling)

본 논문은 풀링된 상태 $\bar{e}$를 단일 객체의 임베딩이 신호이고 나머지 $N-1$개의 객체와 환경 노이즈가 노이즈인 가우시안 채널로 모델링한다.

• 정리 3.3은 **상호 정보량 천장(Mutual Information Ceiling)**을 도출한다:
  $$I(e_i; \bar{e}) \leq \frac{d}{2} \log \left( 1 + \frac{\sigma^2}{\sigma_n^2 + \frac{(N-1)\sigma^2}{N}} \right)$$
  노이즈가 낮을 때, 이는 $I(e_i; \bar{e}) \approx \frac{d}{2(N-1)}$로 단순화된다. 이는 모델 용량과 관계없이 객체의 정체성을 복구하기 위해 가용한 정보가 객체 수 $N$이 증가함에 따라 단조 감소함을 보여준다.

3. 실패 임계값 ($N^*$)

저자들은 상호 정보량을 $N$개의 객체를 구별하는 데 필요한 엔트로피($\log N$)와 일치시킴으로써 실패 임계값(Corollary 3.4)을 도출한다:
$$\frac{d}{2(N^*-1)} = \log N^*$$
동종 카테고리의 객체 수 $N$이 $N^*$을 초과하면, 그라운딩은 구조적으로 복구 불가능하다.

4. 직교성 결과 (Orthogonality Results)

본 논문은 이 천장이 표준적인 스케일링 노력과 직교함을 증명한다:

• 용량 직교성 (정리 3.7): 모델 크기를 키워도 풀링된 상태 $\bar{e}$에 의해 설정된 한계를 넘어 상호 정보량을 증가시킬 수 없다 (데이터 처리 부등식).
• 깊이 직교성 (정리 3.8): 풀링 이후에 층을 추가하는 것은 "그라운딩 부채(Grounding Debt, $D_G$)"를 줄일 수 없다.
• 학습 불변성 (결론 3.9): 학습은 임베딩 차원 $d$와 객체 수 $N$에만 의존하므로 이 경계를 변경할 수 없다.

5. 통계적 중력 vs. 아키텍처 천장

저자들은 두 가지 실패 모드를 구분한다:

1. 통계적 중력 (Statistical Gravity): 데이터 불균형으로 인해 에이전트가 고빈도 객체-행동 쌍으로 수렴하는 학습 문제이다. 이는 다양한 데이터로 해결 가능하다.
2. 아키텍처 천장 (Architectural Ceiling): 위에서 도출된 근본적인 한계이다. 이는 데이터 다양성이나 학습으로는 해결할 수 없다.

실험적 검증

저자들은 객체가 파일이고 행동이 객체 인덱스 기반(Read, Write, Move 등)인 제어된 파일 시스템 환경을 사용하여 이러한 주장들을 검증한다.

주요 결과:

1. 베이스라인 실패 (Config A): 내부 커밋먼트(Variant B)를 사용하는 에이전트는 행동 중심 작업(Log Generation)에서는 100% 성공을 달랐으나, 객체 정체성 작업(Summary Generation)에서는 객체 수가 매우 적음에도($N \approx 4$) **0%**의 성공률을 보였다. 이는 Lemma 1을 확인시켜 준다.
2. 엔트로피 민감도 (Config B): 환경 밀도를 $N \approx 9$에서 $N \approx 55$로 높였을 때, 정체성 의존적 작업은 성공률이 0%로 붕괴된 반면, 플래닝 작업은 영향을 받지 않았다. 이는 "아카이브 이분법(Archive Dichotomy)"을 입증한다.
3. 용량 스케일링 (Config D): 모델을 343K에서 75M 파라미터로 확장해도 그라운딩 성능은 개선되지 않았다(0% 유지). 그러나 균형 잡힌 스케일링(깊이 + 너비)은 플래닝 능력을 회복시켰으며, 이는 플래닝과 그라운딩이 서로 직교하는 역량임을 증명한다.
4. 차원 스케일링 (Config 6): 임베딩 차원 $d$를 변화시킴에 따라(64, 128, 256), 관찰된 붕괴 임계값($N^*$)이 이론적 예측과 일치하게 이동했다. $d=64$일 때 붕괴는 $N \approx 12-15$에서 발생했고, $d=256$일 때는 $N \approx 40-50$으로 이동했다.
5. 교차 시스템 검증:
   • DreamerV3: $N^*$에 대한 이론적 예측은 다중 객체 조작 작업에서 보고된 "객체 소멸(object vanishing)" 실패 현상과 일치한다.
   • LLM: 본 논문은 어텐션 가중치가 동종의 토큰들에 대해 평탄해질 때, LLM이 기능적으로 평균 풀링을 근사한다고 상정하며, 이것이 거대 컨텍스트에서의 "Lost in the Middle" 현상을 설명한다고 제안한다.

핵심 기여

1. 정량화 가능한 천장: 객체 수 $N$과 임베딩 차원 $d$에 의해서만 결정되는, 풀링 기반 에이전트가 그라운딩할 수 있는 최대 객체 수에 대한 폐쇄형(closed-form) 계산 가능한 경계를 제공한다.
2. 직교성의 증명: 모델 용량, 깊이, 학습 데이터가 정체성 불가지론적 풀링에 내재된 정보 손실을 극복할 수 없음을 엄밀히 입증한다.
3. 배포 전 진단 도구: 엔지니어가 시스템 구축 전 $N^*$를 계산할 수 있는 실용적인 프레임워크를 제공한다. 만약 $N > N^*$라면, 해당 아키텍처는 근본적으로 불충분하며, 유일한 해결책은 $d$를 높이거나 객체별 표현(예: Slot Attention, Graph Networks)으로 전환하는 것이다.
4. 실패 모드의 차별화: "통계적 중력"(데이터로 해결 가능)과 "아키텍처 천장"(아키텍처를 통해서만 해결 가능)을 분리하여, 근본적으로 불가능한 작업에 모델 스케일링에 낭비되는 엔지니어링 노력을 방지한다.

의의 및 주장

본 논문은 업계가 스케일링 휴리스틱에 치중하느라 근본적인 아키텍처의 한계를 간과해 왔다고 주장한다. 이 논문의 의의는 패러다임을 "더 세게 훈련하라"에서 "먼저 측정하라"로 전환하는 데 있다.

• 벤치마크의 한계: 작업 완료율이나 총 보상을 측정하는 표준 벤치마크는 객체 정체성에 대한 구조적 맹목성을 은폐하므로 불충분하다.
• 아키텍처적 필요성: 어텐션 메커니즘이 항상 필요한 것은 아니며, 객체 수와 임베딩 차원의 비율에 따라 원칙적인 결정이 내려져야 한다.
• 예측력: 도출된 임계값은 제어된 실험과 실제 시스템(Dreamer, LLM)의 발표된 결과 모두에서 실패 지점을 정확하게 예측하며, 이는 관찰된 많은 실패가 버그가 아니라 풀링 아키텍처의 필연적인 결과임을 시사한다.

저자들은 객체 인덱스 기반 행동, 범주적 멤버십, 가역성 불가성, 그리고 전역 집계의 특성을 만족하는 모든 시스템에 대해, $N > N^*$일 때 그라운딩 부채는 엄격히 양수이며, 따라서 학습과 무관하게 에이전트가 신뢰할 수 있는 객체 선택을 수행하는 것이 구조적으로 불가능하다고 결론짓는다.