기술 요약: Intern-S2-Mobius: 지식과 추론이 분리된 파운데이션 모델

1. 문제 정의

파운데이션 모델의 개발은 현재 이중적인 병목 현상에 직면해 있다. 첫째, 기존의 **스케일링 법칙(Scaling Law)**이 한계 효용 체감의 법칙에 도달하고 있다. 단순히 모델 파라미터, 학습 데이터, 또는 추론 체인(reasoning chain)의 길이를 늘리는 것만으로는 기하급수적으로 높아지는 비용 대비 성능 향상 폭이 점차 줄어들고 있다. 둘째, 사고의 사슬(Chain of Thought, CoT)은 수학이나 코드와 같은 영역에서 성능을 개선했지만, 종종 지나치게 장황하고 중복된 출력을 생성하여 추론 효율성을 저하시킨다.

반대로, 효율성을 높이기 위해 아키텍처 복잡도(예: 선형 어텐션, SSM)를 줄이려는 시도는 종종 상당한 능력 저하를 초래하여 상업적 배포에 부적합한 결과를 낳았다. 식별된 핵심 문제는 트랜스포머(Transformer)의 계층적이고 단방향적인 구조 내에서 **지식 저장(Feed-Forward Networks)과 추론 연산자(Self-Attention)가 밀접하게 결합(tight coupling)**되어 있다는 점이다. 이러한 결합은 모델이 심층 레이어의 지식에 접근하기 위해 토큰 매개 방식의 반복적인 생성을 의존하게 만들며, 이는 비효율적인 계산과 과도한 토큰 중복을 야기한다.

2. 방법론: Mobius 아키텍처

이러한 한계를 해결하기 위해 저자들은 지식과 추론을 분리하는 아키텍처인 Mobius를 제안한다. 이 설계는 두 가지 주요 혁신을 기반으로 한다.

2.1. 지식과 추론의 분리

FFN이 특정 레이어에 묶여 있는 트랜스포머와 달리, Mobius는 다음과 같은 구조를 도입한다.

• 전역 공유 메모리 (FFN): 지식 벡터들을 수평적으로 결합(및 대규모 MoE와 유사한 블록 단위 분할)하여 구축된, 모든 레이어가 공유하는 하나의 거대한 지식 벡터 데이터베이스이다. 이는 지식 벡터의 저장소 역할을 한다.
• 다중 추론기 (Self-Attention): 공유 메모리를 반복적으로 쿼리하는 여러 개의 셀프 어텐션 모듈이다.
• 메커니즘: 추론기는 은닉 상태(hidden states)를 캐시 및 전달체로 사용하여, 필요한 지식 벡터를 메모리로부터 반복적으로 쿼리한다. 지식은 추론 연산자로 전달되어, 트랜스포머의 경직된 레이어별 제약 없이 구성적 추론(compositional reasoning)을 가능하게 한다.

2.2. 내재된 아키텍처적 재능

이러한 분리는 두 가지 구체적인 능력을 가능하게 한다.

1. 역방향 잔차 연결 (Backward Residual Connection): 표준 트랜스포머에서 잔차 연결은 단방향(얕은 레이어에서 깊은 레이어로)이다. Mobius의 공유 메모리는 순방향 전파 과정에서 깊은 레이어가 얕은 레이어의 지식에 접근하고(그 반대도 마찬가지), 이를 통해 간접적으로 정보를 활용할 수 있게 한다. 이는 모든 레이어에 동일한 글로벌 저장소에 대한 접근 권한을 부여함으로써 구성적 일반화 능력을 높이고 정보 합성을 가속화한다.
2. 동적 잠재 추론 (Dynamic Latent Reasoning): Mobius는 연속적인 벡터의 최적화를 통해 숙고, 시행착오, 정교화 과정을 내부화한다.
   • 높은 루프 빈도: 전통적인 잠재 추론에 비해 훨씬 적은 수의 레이어 내에서 반복이 일어난다.
   • 고밀도 잠재 표현 (High-Density Latents): 모델은 압축된 연속 벡터를 통해 여러 토큰의 결합 표현을 동시에 획득한다.
   • 동적 할당: 계산 예산이 서로 다른 토큰에 동적으로 할당되어, 고정보 밀도 잠재 표현을 정교화한 후 단 한 번의 버스트(burst)로 여러 토큰을 디코딩할 수 있다.

2.3. 구현 세부 사항

• 지식 저장소 구축: FFN은 지식 벡터의 수평적 결합을 통해 구축된다. 파라미터 규모와 활성화 효율성을 관리하기 위해, 저자들은 순방향 전파 시 희소 활성화(sparse activation)를 사용하는 블록 단위 분할 기술(MoE와 유사)을 채택한다.
• 학습 전략: 저자들은 두 가지 경로로 Mobius를 평가하였다.
  1. 처음부터 학습 (Training-from-Scratch, TFS): 1TB 토큰으로 학습된 7B 모델.
  2. 연속 사전 학습 (Continual Pre-Training, CPT): Qwen3.5-35B 체크포인트에서 시작하여 1TB 토큰으로 연속 사전 학습을 진행한 후, 지도 미세 조정(SFT) 및 강화 학습(RL)을 수행.

3. 주요 결과

3.1. 데이터 효율성 (처음부터 학습)

• 처음부터 학습된 7B Mobius 모델은 7B 트랜스포머 베이스라인과 대등한 MMLU 점수를 달성했다.
• 결정적으로, Mobius는 트랜스포머 베이스라인이 요구하는 학습 데이터의 62.6%만을 사용하여 이 성능에 도달했으며, 이는 1.6배의 데이터 효율성 향상을 입증한다.

3.2. 추론 효율성 및 성능 (연속 사전 학습)

• 성능 동등성: (Qwen3.5-35B로부터 연속 사전 학습된) Intern-S2-Mobius-35B는 일반 및 과학 벤치마크(예: MMLU Pro, GPQA Diamond, IMO Bench, AIME 2026)에서 Qwen3.5-35B 베이스라인과 비슷하거나 더 우수한 점수를 기록했다.
• 추론 속도 향상: Intern-S2-Mobius는 동일한 파라미터 수를 가진 트랜스포머 베이스라인 대비 거의 4배의 엔드 투 엔드(end-to-end) 추론 속도 향상을 제공했다.
• 출력 길이 감소: 이러한 속도 향상은 현저히 짧아진 추론 체인에 의해 주도된다. 다양한 벤치마크에서 Mobius는 트랜스포머 베이스라인보다 평균적으로 1.2배에서 5.0배 적은 토큰을 생성했다 (예: MMLU Pro에서 4.6배 짧음).
• 토큰 효율성: 선형 대수 문제에 대한 단계별 비교에서, Mobius는 반복적인 유도와 중복 검사를 제거함으로써 트랜스포머가 2,364개의 토큰을 사용하는 동안 516개의 토큰만으로 동일한 추론 단계를 완료했다.

4. 의의 및 주장

본 논문은 Mobius가 AI 스케일링의 대안적 경로를 제시한다고 주장한다. 즉, 아키텍처의 복잡성을 높여 모델 지능의 상한선을 높임으로써, 엔드 투 엔드 오버헤드를 줄이는 것이다.

• 밀도를 통한 효율성: 추론을 토큰 기반에서 잠재 기반의 고밀도 추론으로 전환함으로써, Mobusia는 역량을 희생하지 않고 상당한 효율성 이득을 얻는다.
• 양방향 지식 접근: 공유 메모리를 통한 "역방향 잔차 연결"의 도입은 트랜스포머의 단방향 정보 흐름 제한을 해결하여, 더 유연하고 효율적인 지식 검색을 가능하게 한다.
• 미래 잠재력: 저자들은 지식과 추론의 분리가 다음과 같은 특성을 지원할 수 있다고 가정한다.
  • 자기 진화 시스템 (Self-Evolving Systems): 이전 지식의 파괴적 망각 없이 새로운 기술을 습득할 수 있게 함 (단, 파운데이션 모델, 에이전트 시스템, 환경 피드백의 공동 설계가 검증을 위해 필요함).
  • 월드 모델 (World Models): 트랜스포머에 비해 연속 공간 입력을 모델링하는 데 더 강력한 사전 지식(prior)을 제공함 (단, 잠재 추론의 사전 지식은 "충분치 않을 수 있으며" 어텐션 메커니즘의 재설계가 필요할 수 있음).
  • 과학적 발견 (Scientific Discovery): 지식의 구성 및 일반화를 촉진하여 혁신적인 가설을 생성함 (단, 실제 성능을 위해서는 데이터, 인프라, 알고리즘의 공동 최적화가 필요함).
  • 하드웨어-소프트웨어 공동 설계 (Hardware-Software Co-Design): 추론 파라미터는 GPU 메모리에 두고 지식 파라미터는 SSD에 저장하여 필요할 때 로드하는 배포 전략의 가능성을 열어줌 (단, 저자들은 이 비전이 "실현되기 위해 많은 노력이 필요하다"고 언급함).

결론적으로, Mobius는 효율성과 역량 측면에서 유망한 결과를 보여주지만, 실세계 시나리오(자기 진화, 월드 모델링, 과학적 발견)에서의 완전한 잠재력을 발휘하기 위해서는 데이터, 인프라, 학습 알고리즘의 추가적인 공동 최적화가 필요하다.