SAGE Celer 2.6 기술 요약

1. 문제 정의 (Problem)

기존 대규모 언어 모델 (LLM) 의 발전은 주로 파라미터 수와 데이터셋의 무조건적인 확장 (Scaling) 에 의존해 왔습니다. 그러나 엣지 컴퓨팅 환경과 개발도상국 (특히 네팔과 같은 지역) 의 인프라 제약 조건 하에서는 파라미터 확장보다는 **구조적 효율성 (Structural Efficiency)**이 필수적입니다. 또한, 다음과 같은 주요 기술적 한계들이 존재했습니다:

• 소규모 모델의 추론 한계: 30B 미만 파라미터의 모델은 복잡한 다단계 추론에서 오류가 누적되는 (Hallucination Cascade) 문제가 있었습니다.
• 멀티모달 통합의 비효율: 기존 오픈 가중치 모델들은 텍스트와 비전을 별도의 어댑터 (Adapter) 로 연결하는 이분법적 구조를 사용하여, 공간적/기하학적 관계 이해와 시각적 환각 (Visual Hallucination) 에 취약했습니다.
• 남아시아 언어 처리의 비효율: 데바나가리 (Devanagari) 스크립트 (네팔어, 힌디어 등) 를 처리할 때 기존 토크나이저는 토큰 수를 과도하게 증가시켜 (Token Inflation) 지연 시간을 늘리고 컨텍스트 효율을 떨어뜨렸습니다.

2. 방법론 (Methodology)

SAGE Celer 2.6 은 미공개 기반 모델 (Undisclosed Foundation Model) 을 바탕으로 한 **지속적인 사전 학습 (Continued Pre-training)**과 심층 구조 수정을 통해 개발되었습니다. 주요 방법론은 다음과 같습니다.

2.1. 역추론 (Inverse Reasoning, IR) 파이프라인

• 개념: 기존 자기회귀 (Autoregressive) 모델이 다음 토큰을 확률적으로만 예측하는 한계를 극복하기 위해, 모델 내부에 **암시적 검증 벡터 (Implicit Verification Vector)**를 통합했습니다.
• 작동 원리: 모델은 다음 단계를 생성하기 전에 내부적으로 'Look-Ahead Simulation'을 수행하여 논리적 경로를 검증합니다. 신뢰도 임계값 ($\tau_{uncertainty}$) 을 하회할 경우, 모델은 <thought> 태그를 사용하여 대안적 경로 (Counterfactual Trajectories) 를 탐색하고 논리적 모순을 감지하면 생성을 되돌립니다 (Backtracking).
• 효과: 이는 별도의 메타인지 헤드를 거치는 것이 아니라, 사전 학습 단계에서 파라미터 그라디언트 자체에 통합되어 오류 누적과 환각을 최소화합니다.

2.2. 네이티브 멀티모달 통합 (Native Multimodal Integration)

• 아키텍처: 비전 인코더 (Vision Encoder) 를 어댑터가 아닌 **트랜스포머 네트워크의 1 순위 구성 요소 (First-class citizen)**로 통합했습니다.
• 장점: 이미지 패치 임베딩이 텍스트 토큰과 동일한 잠재 공간 (Latent Space) 에서 동시에 인코딩되어, 공간적 관계와 기하학적 추론 능력이 향상되고 시각적 환각이 감소했습니다.

2.3. 네이티브 남아시아 토크나이저 (Native South Asian Tokenization)

• 커스텀 토크나이저: 데바나가리 스크립트 (네팔어, 힌디어) 에 최적화된 서브워드 토크나이저를 개발했습니다.
• 효율성: 기존 오픈 가중치 모델 (Llama 3 등) 대비 네팔어와 힌디어 텍스트 처리 시 약 2.86 배의 압축률을 달성하여 토큰 수를 획기적으로 줄이고, 수학적/논리적 성능을 저하시키지 않으면서 언어적 포용성을 높였습니다.

2.4. 모델 라인업

• Celer 2.6 Low (5B): 엣지 디바이스 및 모바일 최적화.
• Celer 2.6 Mid (10B): 일반 서버 및 엔터프라이즈용 균형 모델.
• Celer 2.6 High (27B): 복잡한 수학적 문제 해결 및 심층 분석용 프런티어 모델.

3. 주요 기여 (Key Contributions)

1. 소규모 파라미터에서의 고성능 추론: 27B 파라미터 모델이 32B 이상 규모의 전문 추론 모델 (SAGE Actus 2.4) 과 70B 모델 (Llama 3.3) 을 능가하는 성능을 보여주며, 구조적 최적화가 파라미터 확장보다 효과적임을 입증했습니다.
2. 내재화된 검증 메커니즘: 추론 과정에서 실시간으로 논리적 오류를 감지하고 수정하는 IR 파이프라인을 모델 내부에 완전히 통합하여, 외부 프롬프트 (Chain-of-Thought) 에 의존하지 않는 자발적 검증 능력을 구현했습니다.
3. 언어적 포용성과 효율성: 남아시아 언어 (네팔어, 힌디어) 에 대한 토큰 효율성을 극대화하여, 해당 언어권 사용자에게 동등한 수준의 추론 능력을 제공하면서도 지연 시간을 줄였습니다.
4. 단일 엔드 - 투 - 엔드 멀티모달 아키텍처: 어댑터 없이 비전과 텍스트를 통합하여 복잡한 도면, 차트, 수식 포함 문서의 이해도를 높였습니다.

4. 결과 (Results)

벤치마크 평가 (2026 년 3 월 기준) 에서 Celer 2.6 High (27B) 는 다음과 같은 성과를 보였습니다:

• 일반 추론 및 수학:
  • MMLU-Pro: 78.4 점 (Llama 3.3 70B 의 68.9 점보다 우위).
  • MATH-500: 83.2 점 (DeepSeek-R1-Distill-32B 에 이어 높은 점수).
  • HumanEval: 88.6 점 (코딩 능력 우수).
  • ACUMEN: 71.8 점 (전문 에이전트 모델인 Actus 2.4 와 동점).
• 멀티모달 벤치마크:
  • MathVista: 62.1 점 (InternVL2 26B 모델보다 우위).
  • DocVQA: 91.2 점.
  • 45B 파라미터 부족 (Qwen2-VL 72B 대비) 이 있음에도 불구하고 경쟁력 있는 성능을 보였습니다.
• 긴 컨텍스트 (Long-Context):
  • 256k 토큰 컨텍스트 윈도우를 지원하며, 256k 길이에서도 94% 이상의 바늘 찾기 (Needle-in-a-Haystack) 정확도를 유지했습니다.
• 소규모 모델 성능:
  • 5B 모델: 9B 모델 (Qwen 3.5) 을 능가하는 MMLU-Pro 및 ACUMEN 점수를 기록하며 엣지 디바이스에서의 성능을 입증했습니다.

5. 의의 및 결론 (Significance)

SAGE Celer 2.6 은 단순한 파라미터 효율화 (PEFT) 를 넘어 구조적 혁신을 통해 소규모 모델이 대형 모델의 추론 능력을 달성할 수 있음을 증명했습니다.

• 기술적 의의: '역추론 (IR)' 메커니즘을 모델의 기본 학습 과정에 내재화함으로써, 작은 모델에서도 복잡한 논리적 오류를 스스로 교정할 수 있는 능력을 부여했습니다.
• 사회적 의의: 남아시아 언어 (특히 네팔어, 힌디어) 에 대한 체계적인 최적화를 통해, 기존 LLM 이 소외시켰던 지역 언어 사용자에게 고품질의 AI 서비스를 제공하며 디지털 포용성을 높였습니다.
• 실용적 가치: 엣지 디바이스 (5B) 에서부터 고도 분석 (27B) 까지 다양한 규모로 제공되어, 제한된 컴퓨팅 자원을 가진 환경에서도 고성능 AI 를 배포할 수 있는 길을 열었습니다.

이 모델은 추론 검증, 멀티모달 통합, 언어적 포용성을 결합한 차세대 경량화 LLM 의 새로운 표준을 제시합니다.