🔢 mathematics

Capability from Access Structure, Not Scale: Lower Bounds and Pre-Registered Tests for Hybrid Sequence Models

이 논문은 규모의 확장(scaling)만으로는 능력의 수렴을 보장한다는 관점에 이의를 제기하며, 진정한 능력을 위해서는 압축 상태 채널(compressive state channel)과 축자적 인덱스 채널(verbatim-index channel)이 결합된 특정 하이브리드 아키텍처가 필요하다는 '능력 수렴 가설(Capability Convergence Hypothesis)'을 제안하고, 이론적 하한선과 사전 등록된 실험 결과로 이를 뒷받침한다.

원저자: Wenhui Chen, Jianlin Chen, Ziyao Lin, Chi Man Vong

게시일 2026-07-17

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Wenhui Chen, Jianlin Chen, Ziyao Lin, Chi Man Vong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 AI 경주: 왜 더 큰 것이 항상 더 나은 것은 아닌가

우주 전체의 역사를 저장하기 위해 도서관을 짓고 있다고 상상해 보십시오. 오랫동안 과학자들은 도서관을 계속 키우고 사서들을 더 똑똑하게 만든다면, 결국 그들이 모든 책이 정확히 어디에 있어야 하는지에 대해 합의하게 될 것이라고 믿었습니다. **플라톤적 표현 가설(Platonic Representation Hypothesis)**로 알려진 이 아이디어는, AI 모델이 거대해짐에 따라 모델들이 모두 동일한 방식으로 "생각하기" 시작하며, 현실에 대한 완벽하고 공유된 이해로 수렴한다는 것을 시사합니다. 이는 언어와 상관없이 모든 인간이 결국 불은 뜨겁고 물은 축축하다는 사실에 동의하는 것과 같습니다.

하지만 함정이 있습니다. 책이 선반의 어디에 있는지 아는 것(표현)은, 도서관에 불이 나고 아주 작은 손전등 하나만 있는 상황에서 실제로 그 선반으로 달려가 책을 집어 들고 특정 문장을 읽어내는 능력(역량)과는 매우 다릅니다(표현과 역량의 차이). AI의 세계에서 이 "손전등"은 추론 예산(inference budget), 즉 모델이 질문에 답할 때 사용할 수 있는 메모리와 컴퓨팅 파워의 엄격한 제한을 의미합니다. 핵심 질문은 단순히 "모델이 세상을 이해할 수 있는가?"가 아니라, "정보의 바다 속에서 메모리가 바닥나지 않고 실제로 정답을 '찾아낼' 수 있는가?"입니다. 이것이 바로 이 논문이 다루는 퍼즐입니다. 모델을 크게 만드는 것이 더 어려운 문제를 해결할 수 있음을 보장합니까, 아니면 실제로 일을 완수하기 위해 특정한 구조적 기법이 필요합니까?

무한한 흐름 속의 사과

이 논문은 AI 세계를 위한 새로운 규칙인 **역량 수렴 가설(Capability Convergence Hypothesis, CCH)**을 제안합니다. 저자들은 AI 모델이 커짐에 따라 세상을 보는 방식은 같아질지 몰라도, 특정 두 부분으로 구성된 구조를 갖추지 않는 한 무언가를 '수행'하는 능력까지 반드시 좋아지는 것은 아니라고 주장합니다.

이를 이해하기 위해 저자들은 **"뉴턴의 사과가 담긴 무한한 흐름"**이라는 사고 실험을 사용합니다. 끝없이 흐르는 강물이 있고, 그 강물에는 수백만 개의 종이 조각이 떠내려가고 있다고 상상해 보십시오. 강 상류 어딘가에서 누군가 종이 한 장에 "뉴턴, 사과, 1666"이라고 적었습니다. 그 후 강물은 매우 비슷해 보이는 수십억 개의 다른 종이들(예: "뉴턴, 중력, 1666" 또는 "사과, 파이, 1666")로 범람합니다. 당신의 임모는 강물의 맨 끝까지 기다렸다가 정확히 그 원래의 "뉴턴, 사과, 1666" 종이를 건져 올리는 것입니다.

논문은 현재 대부분의 AI 모델이 이 종이를 찾으려는 두 가지 유형의 수영객과 같다고 주장합니다.

압축형 수영객 (SSMs): 이 모델들은 작고 무거운 배낭을 멘 수영객과 같습니다. 이들은 강의 전반적인 방향(예: "뉴턴에 관한 이야기구나")은 기억할 수 있지만, 배낭이 너무 작기 때문에 새로운 물을 받아들일 공간을 만들기 위해 구체적인 세부 사항을 버려야 합니다. 강 끝에 도달할 때쯤이면 그들은 "사과"나 "1666"이라는 정확한 단어를 잊어버립니다. 이들은 저자들이 **섀넌 벽(Shannon Wall)**이라고 부르는 한계, 즉 필요한 모든 세부 사항을 작은 메모리에 담을 수 없는 물리적 한계에 부딪힙니다.
축자적(Verbatim) 수영객 (Transformers): 이 모델들은 자신이 본 모든 종이를 담은 거대하고 떠다니는 도서관을 가진 수영객과 같습니다. 이들은 정확한 단어를 완벽하게 기억할 수 있습니다. 하지만 이들에게는 **지평선 벽(Horizon Wall)**이 있습니다. 이들은 아주 짧은 거리만 뒤를 돌아볼 수 있습니다. 만약 강이 너무 길다면, "뉴턴, 사과" 종이는 이미 시야에서 벗어나 버렸을 것입니다. 또한 이들은 **회로 벽(Circuit Wall)**에도 부딪힙니다. 만약 작업이 긴 단계의 복잡한 논리 체계(예: 단계별로 퍼즐을 푸는 과정)를 요구한다면, 고정된 크기의 뇌가 막혀 점들을 연결하지 못하게 됩니다.

승리 전략: 하이브리드 브리지(Hybrid Bridge)

이 논문의 주요 발견은 "뉴턴의 사과" 문제를 해결하기 위해 단순히 더 큰 수영객이 필요한 것이 아니라, **하이브리드(Hybrid)**가 필요하다는 것입니다. 이는 두 종류의 수영객을 하나의 팀으로 결합한 모델입니다.

아이디어 (상태 채널 - State Channel): 한 부분은 강의 방향에 대한 작고 효율적인 요약본(즉, "아이디어")을 유지합니다. 이 부분은 세부 사항에 매몰되지 않고 어디를 봐야 할지 기억합니다.
그림자 (인덱스 채널 - Index Channel): 다른 부분은 자신이 본 모든 구체적인 단어의 거대하고 검색 가능한 목록(즉, "그림자")을 유지합니다. 이 부분은 정확한 세부 사항을 기억합니다.

저자들은 이를 **액세스 완전 하이브리드(Access-Complete Hybrid)**라고 부릅니다. 실험 결과, 이 두 가지를 결 조합했을 때 모델은 순수한 "압축형" 모델이나 순수한 "축자적" 모델이 아무리 규모를 키워도 해결할 수 없는 문제들을 해결할 수 있음을 보여주었습니다.

실험 결과가 보여준 것

연구진은 단순히 추측한 것이 아니라, 자신의 이론이 성립하는지 확인하기 위해 소규모 모델을 대상으로 사전 등록된 테스트(결과를 보기 전에 규칙을 미리 작성하는 방식)를 수행했습니다.

가위 차이(Scissors Gap): 저자들은 "가위 차이"라고 부르는 극적인 차이를 발견했습니다. 순수한 "압축형" 모델을 128개의 숨겨진 사실이 포함된 작업에 테스트했을 때, 모델은 거의 완전히 실패했습니다(오차율 99.4%). 그러나 동일한 모델에 "축자적" 인덱스 레이어를 단 하나만 추가했을 때, 오차율은 거의 0.000%로 떨어졌습니다. 이는 문제를 해결하는 능력이 모델이 더 "똑똑해지거나" "커지는" 것에 관한 것이 아니라, 올바른 **접근 구조(access structure)**를 갖추고 있는지에 관한 것임을 입증했습니다.
훈련 신뢰성: 또한 순수한 모델이 훈련 중에 운이 아주 좋다면 이론적으로는 어려운 퍼즐을 풀 수도 있겠지만, 하이브리드 모델은 매번 확실하게 문제를 해결한다는 것을 발견했습니다. 이는 정답을 맞힐 때까지 찍어서 통과하는 학생과, 실제로 내용을 알고 있는 학생의 차이와 같습니다.
산업계의 추세: 논문은 2023년에서 2026년 사이에 출시된 실제 AI 모델들도 살펴보았습니다. 연구진은 산업계가 자연스럽게 이 하이브리드 설계로 향하고 있음을 발견했습니다. 대부분의 최상위 모델은 이제 효율성을 위한 작은 "상태(state)"와 정확성을 위한 더 큰 "인덱스(index)"를 혼합하여 사용하는 두 가지 접근 방식을 모두 사용하고 있습니다.

이것이 의미하는 바 (그리고 의미하지 않는 것)

이 논문은 자신들의 주장에 대해 매우 신중합니다. 이 논문은 하이브리드 모델이 완벽하다거나 모든 문제를 해결할 수 있다고 말하는 것이 아닙니다. 저자들은 "더 큰 것이 더 낫다"라는 아이디어 자체를 명시적으로 부정합니다. 즉, 적절한 접근 구조가 없다면 순수한 모델은 아무리 거대하더라도 여전히 벽에 부딪힐 것입니다.

또한 저자들은 "뉴턴의 사과" 테스트가 최악의 시나리오임을 인정합니다. 실제 자연어는 그들이 시뮬레이션한 무한한 강물만큼 무질서하지 않을 수 있습니다. 그러나 핵심적인 발견은 견고합니다: 역량은 공짜가 아닙니다. 단순히 더 많은 컴퓨팅 파워를 단일 유형의 모델에 쏟아붓는다고 해서 더 나은 문제 해결 능력을 살 수는 없습니다. 대신, 압축된 메모리(방향을 위한)와 상세한 인덱스(검색을 위한)를 모두 갖춘 시스템을 구축함으로써 복잡하고 장기적인 문제를 해결할 수 있는 능력을 "구매"해야 합니다.

요약하자면, 이 논문은 AI의 미래가 단순히 모델을 더 크게 만드는 것이 아니라, 올로바른 **이중 채널 구조(two-channel architecture)**를 갖추도록 만드는 것에 있다고 제안합니다. "아이디어"는 모델이 앞으로 나아가게 하고, "그림자"는 모델이 성공에 필요한 구체적인 사실들을 결코 놓치지 않도록 보장합니다.

기술 요약: 능력 수렴 가설 (The Capability Convergence Hypothesis, CCH)

문제 정의
본 논문은 대규모 언어 모델 스케일링에 대한 이해의 결정적인 공백을 다룬다. **플라톤적 표현 가설(Platonic Representation Hypothesis, PRH)**이 이질적인 모델들이 규모가 커짐에 따라 현실의 공유된 통계적 표현( $Z$ )으로 수렴한다고 주장하는 반면, 본 논문은 표현의 수렴이 반드시 **능력의 수렴(capability convergence)**을 의미하는 것은 아니라고 주장한다. 구체적으로, 고정된 토큰당 추론 예산 하에서 모델들은 내부 표현은 일치할지라도, 장거리의 정밀한 복구(verbatim retrieval)와 연속적인 상태 추적(serial state tracking)을 요구하는 과제를 해결하는 능력에서는 크게 갈릴 수 있다. 저자들은 표현 공간에서 사실을 "아는 것"과 자원 제약 하에서 그 사실에 "접근하는 것"이 별개의 문제임을 지적한다.

방법론
본 논문은 형식 이론, 사고 실험, 그리고 통제된 실증 테스트를 결합한 다층적 증거 접근 방식을 채택한다.

이론적 프레임워크 및 사고 실험:
- 뉴턴의 사과 문제 (The Newton's-Apple Problem): 모델이 $10^7$ 개의 의미적 중첩 노이즈(semantic-overlap noise)가 흐르는 스트림의 시작 부분에 심어진 특정 사실(예: "뉴턴, 사과, 1666")을 찾아내야 하는 사고 실험.
- 세 가지 자원의 벽 (Three Resource Walls): 저자들은 고정된 예산 하에서 순수 아키텍처가 이 문제를 해결하지 못하게 만드는 세 가지 이론적 장벽을 정의한다.
  - 섀넌의 벽 (Shannon Wall, 무조건적): 순수 압축 모델(예: SSM)은 $O(1)$ 의 상태 용량을 갖는다. 정보 이론(데이터 처리 부등식)에 따라 이들은 $O(Nb)$ 비트의 독립적인 바인딩을 저장할 수 없으며, 이는 하드 에러 플로어(hard error floor)로 이어진다.
  - 지평선의 벽 (Horizon Wall, 무조건적): 고정된 윈도우를 가진 순수 어텐션 모델은 윈도우 외부의 토큰에 접근할 수 없으므로, 긴 스트림에서의 정밀한 복구에 실패한다.
  - 회로의 벽 (Circuit Wall, $TC_0 \neq NC_1$ 조건부): 고정된 깊이의 어텐션 스택은 복잡한 추론 체인에 필요한 연속적인 상태 업데이트(예: $S_5$ 군 작용)의 직렬 구성을 수행할 수 없다.
- 액세스 완전 하이브리드 (The Access-Complete Hybrid): 제안된 해결책은 압축 상태 채널(연속적 구성을 위한 $O(1)$ 용도)과 정밀 인덱스 채널(정밀 복구를 위한 $\Theta(L)$ 용도)을 모두 보유한 아키텍처이다.
형식적 증명:
- 본 논문은 어떤 아키텍처라도 쿼리 시점의 상태가 $o(Nb)$라면 고엔트로피 독립 바인딩에 대한 정밀 복구에 실패한다는 것을 입증하는 정보 이론적 하한선을 설정한다.
- 저자들은 **능력 폐쇄성(Capability Closure, $C_\infty$ )**을 정의하여, 하이브리드 모델의 해결 가능한 과제 집합이 순수 모델 집합의 합집합을 엄격히 초과함( $C_\infty(T \sqcup S) \supsetneq C_\infty(T) \cup C_\infty(S)$ )을 형식적으로 입증한다.
실증적 증거:
- 센서스 분석 (Census Analysis): 2023~2026년 사이 출시된 140개 아키텍처를 조사한 결과, 특정 글로벌 어텐션 점유율( $\rho$ )이 $[1/12, 1/4]$ 범위에 있는 "액세스 완전(access-complete)" 설계로의 수렴을 보여준다.
- 사전 등록된 소규모 테스트: 고정된 프로토콜 하에서 특정 예측(P1–P3)을 테스트하는 0.2M–1.1M 파라미터 규모의 통제된 실험. 이 테스트들은 아키텍처를 규모 및 데이터로부터 분리한다.

주요 기여

능력 수렴 가설 (The Capability Convergence Hypothesis, CCH): 고정된 추론 예산 하에서, 능력은 단일 아키텍처가 아니라 압축 상태 채널과 확장 가능한 정밀 인덱스 채널을 결합한 형태인 **액세스 완전 클래스(access-complete class)**로 수렴한다는 공식 가설을 제시한다.
"가위 갭(Scissors Gap)"과 정보 플로어: 본 논문은 "가위 갭"에 대한 최초의 사전 등록된 측정치를 제공한다. 즉, 순수 상태 모델은 정보 이론적 한계에 의해 결정되는 높은 에러 플로어에 도달하는 반면, 동일한 상태 크기에 인덱스를 더한 하이브리드 모델은 거의 제로에 가까운 에러를 달성한다.
표현과 능력의 형식적 분리: 저자들은 표현적 정렬(CKA)이 능력의 수렴을 예측하지 못함을 입증한다. 매칭된 규모의 실험에서, 높은 표현적 정렬을 보인 모델들도 액세스 구조에 따라 서로 다른 복구 능력을 보였다.
초가법성(Super-additivity)의 존재 증명: 상태 채널과 인덱스 채널의 결합이, 특히 연속적 구성과 정밀 복구가 모두 필요한 과제에서 부분의 합보다 엄격히 큰 능력을 창출함을 증명한다.

결과

이론적 결과: 세 가지 벽(Shannon, Horizon, Circuit)은 순수 모델 계열에 대한 무조건적 또는 조건부 장벽으로 확립된다. 하이브리드 아키텍처는 인덱스 채널을 통해 경계를 회피하는 것이 아니라, 인덱스 채널에 비용을 지불함으로써 이 벽들을 넘어서는 것으로 나타난다.
센서스 (R1–R4): 산업 데이터는 글로벌 어텐션 점유율( $\rho$ )이 0.167(중앙값) 근처에 군집을 이루는 하이브리드 아키텍처로의 일관된 경향성을 보여주며, 이는 경제적 및 능력 중심의 액세스 완전 클래스로의 수렴을 시사한다.
실험 (P1–P3):
- P1 (가위 갭): 지지됨. 순수 SSM은 정보 플로어(에러 $\approx 0.994$ )에 도달하는 반면, 동일한 상태에 하나의 글로벌 어텐션 레이어를 더한 하이브리드는 에러 $\approx 0.000$ 을 달성했다.
- P2 (분기): 부분적으로 지지됨. 충분한 상태 표현력(예: $\beta \in (0,2)$ )을 가진 하이브리드는 $S_5$ 추적을 해결했으나, 표현력이 낮은 변형은 실패했다. 그러나 경계에서의 신뢰할 수 있는 학습 가능성은 시드(seed) 의존적임이 관찰되었다.
- P3 (채널 상호 호환성): 실패. 하이브리드 모델이 더 높은 교차 채널 정렬을 보일 것이라는 예측과 달리, 오히려 낮은 정렬을 보였다. 이는 채널의 수렴이 아닌 차별화를 나타낸다.
- 결합 증거 (Conjunction Witness): 하이브리드는 모든 시드에서 복합 과제(주소 구성 + 복구)를 통과했으나, 다른 순수 아키텍처는 기준을 충족하지 못했다. 하나의 순수 재귀 시드가 이를 해결하기도 했는데, 이는 현재의 규모에서 이 구분이 학습 신뢰성의 문제임을 시사한다.

의의 및 주장

본 논문은 모델 스케일링을 이해하기 위한 새로운 경계를 설정한다고 주장한다: 능력은 규모에 의해 거저 주어지는 것이 아니라, 액세스 구조에 의해 구매되는 것이다.

제한적 범위: 저자들은 하이브리드 아키텍처를 발명했다거나 자연 코퍼스가 필요한 분리 가정을 충족한다고 주장하지 않는다. "증거"는 최악의 경우를 가정한 구성이며, 핵심 주장은 액세스 구조가 결정적일 수 있다는 것이지, 모든 자연스러운 워크로드에서 결정적이라는 것이 아니다.
반증 가능성: 본 논문은 CCH를 반증 가능한 가설로 위치시킨다. 핵심 주장(액세스 완전 원칙)은 하한선과 사전 등록된 실험에 의해 뒷받침된다. "수렴" 측면은 직접적인 시연보다는 일관성(센서스 데이터)에 의해 뒷받침되는 경제적 동기에 기반한 추측으로 프레임화된다.
시사점: 저자들은 향-미래의 벤치마킹과 모델 설계가 액세스 구조를 일급 변수로 취급해야 한다고 주장한다. 이들은 산업계가 특정 설계 패턴(액세스 완전 하이브리드)으로 수렴하고 있다고 보는데, 이는 고정된 추론 예산 하에서 장기 추론과 정밀 복구라는 두 가지 요구 사항을 동시에 만족시키는 유일한 방법이기 때문이다.

요약하자면, 본 논문은 표현이 공유된 현실로 수렴하더라도(PRH), 능력은 압축된 상태와 정밀 인덱스를 모두 보유하는 능력으로 정의되는 특정 아키텍처의 끌개(attractor)로 수렴한다(CCH)고 주장한다. 이러한 수렴은 추론의 경제성과 액세스 용량에 대한 정보 이론적 필요성에 의해 추진된다.