GLM-5: Vibe Coding 에서 Agentic Engineering 으로

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 이 수동적인 지식 저장소에서 능동적인 문제 해결사로 진화함에 따라, 기존 모델들은 다음과 같은 주요 병목 현상에 직면했습니다.

• 계산 비용과 효율성: 복잡한 소프트웨어 엔지니어링 및 장기적 (long-horizon) 에이전트 작업을 수행하기 위한 추론 및 학습 비용이 과도하게 높습니다.
• 실제 적용성 부족: 정적 벤치마크 (SWE-bench 등) 에서는 좋은 성능을 내지만, 실제 복잡한 소프트웨어 개발 환경 (End-to-End) 에서의 적응력과 장기적인 일관성이 부족합니다.
• 동기화 병목: 에이전트 롤아웃 (rollout) 중 발생하는 긴 대기 시간으로 인해 강화 학습 (RL) 파이프라인의 GPU 활용도가 낮아집니다.

이러한 한계를 극복하고, 'Vibe Coding'(사용자가 프롬프트를 입력하면 AI 가 코드를 작성) 을 넘어 'Agentic Engineering'(AI 에이전트가 스스로 계획, 구현, 반복하는 엔지니어링) 패러다임으로 전환하기 위해 GLM-5 가 개발되었습니다.

2. 방법론 (Methodology)

GLM-5 는 아키텍처, 학습 인프라, 정렬 (Alignment) 전략, 그리고 환경 구축 측면에서 혁신적인 방법론을 도입했습니다.

2.1. 아키텍처: DSA (DeepSeek Sparse Attention)

• 핵심 기술: 기존의 밀집형 (Dense) 어텐션 $O(L^2)$ 을 동적이고 세분화된 선택 메커니즘인 DSA로 대체했습니다.
• 작동 원리: 토큰의 중요도에 따라 어텐션 리소스를 동적으로 할당하여 긴 컨텍스트 (128K 이상) 에서도 어텐션 연산을 1.5~2 배 줄입니다.
• 효율성: 744B 파라미터 (활성 파라미터 40B) 규모를 유지하면서 학습 및 추론 비용을 대폭 절감하며, 긴 컨텍스트의 충실도 (fidelity) 를 유지합니다.
• 기타 최적화: Multi-latent Attention (MLA) 과 Muon Split 옵티마이저를 결합하여 긴 시퀀스 처리 성능을 극대화하고, 멀티 토큰 예측 (MTP) 시 파라미터 공유를 통해 추론 수용률 (acceptance rate) 을 높였습니다.

2.2. 학습 파이프라인 및 인프라

• 비동기 강화 학습 (Asynchronous RL) 인프라:
  • 생성 (Inference) 과 학습 (Training) 엔진을 완전히 분리하여 GPU 유휴 시간을 제거했습니다.
  • Slime Framework: 서버 기반의 멀티 태스크 롤아웃 오케스트레이터를 통해 다양한 에이전트 작업 (코드, 검색 등) 을 병렬로 처리하며, 하트비트 기반의 장애 복구 기능을 통해 대규모 학습의 안정성을 보장합니다.
  • Tail-Latency 최적화: FP8 정밀도, MTP, Prefill-Decode 분리를 통해 긴 에이전트 롤아웃에서의 지연 시간을 최소화했습니다.
• 학습 단계:
  1. Pre-training: 27 조 (T) 토큰 규모의 코퍼스 (코드 및 추론 우선) 로 기본 모델 학습.
  2. Mid-training: 컨텍스트 길이를 4K 에서 200K 로 점진적 확장 (32K, 128K, 200K 단계).
  3. Post-training:
     • SFT: 교차 단계 증류 (Cross-Stage Distillation) 를 통해 이전 단계의 능력을 유지하며 복잡한 사고 모드 (Interleaved Thinking, Preserved Thinking) 도입.
     • RL: Reasoning RL, Agentic RL, General RL 단계를 거치며, 비동기 에이전트 RL 알고리즘을 통해 복잡한 환경에서의 장기적 상호작용 학습을 최적화했습니다.

2.3. 에이전트 환경 구축 (Agentic Engineering)

• 실제 환경 시뮬레이션: 10,000 개 이상의 검증 가능한 소프트웨어 엔지니어링 (SWE) 이슈, 터미널 태스크, 슬라이드 생성 환경을 구축했습니다.
• 데이터 합성: 웹 코퍼스와 LLM 을 활용한 자동화된 파이프라인을 통해 복잡한 멀티 홉 (multi-hop) 검색 및 코딩 태스크 데이터를 대량 생성했습니다.
• 컨텍스트 관리: 긴 대화에서 성능 저하를 막기 위해 'Keep-recent-k' 및 'Discard-all'을 결합한 계층적 컨텍스트 관리 전략을 적용했습니다.

3. 주요 기여 (Key Contributions)

1. DSA 아키텍처 도입: 긴 컨텍스트 이해도를 해치지 않으면서 학습 및 추론 비용을 획기적으로 줄인 새로운 어텐션 메커니즘.
2. 비동기 RL 인프라: 생성과 학습을 분리하여 대규모 에이전트 롤아웃을 효율적으로 처리하는 새로운 RL 파이프라인.
3. 비동기 에이전트 RL 알고리즘: 다양한 장기 상호작용에서 모델의 계획 및 자기 수정 능력을 향상시키는 알고리즘.
4. 중국 칩 생태계 전 스택 최적화: Huawei Ascend, Moore Threads 등 7 가지 주요 국산 칩 플랫폼에 맞춰 W4A8 양자화, 커널 퓨전, 추론 엔진 최적화를 수행하여 성능을 국제 수준으로 끌어올렸습니다.
5. 오픈 웨이트 모델의 새로운 기준 설정: 폐쇄형 모델 (Proprietary) 과 경쟁 가능한 성능을 내는 오픈 웨이트 모델의 가능성을 입증했습니다.

4. 결과 (Results)

GLM-5 는 주요 오픈 벤치마크 및 실제 평가에서 최첨단 (SOTA) 성능을 달성했습니다.

• 일반 벤치마크:
  • Artificial Analysis Intelligence Index v4.0: 50 점 달성 (오픈 웨이트 모델 중 최초).
  • LMArena: 텍스트 및 코드 분야에서 1 위 오픈 모델로 선정되었으며, Claude Opus 4.5 및 GPT-5.2 와 유사한 성능을 보였습니다.
  • Humanity's Last Exam (HLE): 도구 사용 시 50.4 점으로 이전 버전 (GLM-4.7) 대비 약 20% 향상.
• 코딩 및 에이전트 벤치마크:
  • SWE-bench Verified: 77.8 점 (오픈 모델 중 SOTA, Gemini 3 Pro 보다 우위).
  • Terminal-Bench 2.0: 61.1 점 (Claude Code 기준) 으로 Claude Opus 4.5 와 유사한 성능.
  • BrowseComp: 컨텍스트 관리 전략 적용 시 75.9 점으로 오픈 모델 중 1 위.
  • Vending-Bench 2: 장기 비즈니스 시뮬레이션에서 $4,432 의 최종 계좌 잔고를 기록하여 장기 계획 능력을 입증했습니다.
• 실제 엔지니어링 평가 (CC-Bench-V2):
  • 프론트엔드, 백엔드, 장기 태스크에서 GLM-4.7 대비 압도적인 성능 향상.
  • 특히 백엔드 태스크에서 Pass@1 기준 Claude Opus 4.5 와 유사한 성능을 보였습니다.

5. 의의 (Significance)

GLM-5 는 단순한 모델 성능 향상을 넘어 AI 에이전트의 패러다임 전환을 의미합니다.

• 실용적 AI 에이전트: 정적 벤치마크를 넘어, 실제 소프트웨어 개발 워크플로우에서 인간 개발자를 대체하거나 보조할 수 있는 '에이전트 엔지니어링' 능력을 입증했습니다.
• 효율성과 접근성: DSA 와 비동기 RL 인프라를 통해 고비용의 대규모 모델 학습과 추론을 가능하게 하여, 오픈 소스 커뮤니티가 최첨단 에이전트 기술을 활용할 수 있는 기반을 마련했습니다.
• 지리적/하드웨어 제약 극복: 다양한 국산 칩 플랫폼에 대한 최적화를 통해 하드웨어 제약을 넘어선 유연한 배포 가능성을 보여주었습니다.

결론적으로 GLM-5 는 오픈 웨이트 모델이 폐쇄형 최상위 모델과 경쟁할 수 있음을 증명하며, 효율적이고 자율적인 일반 지능 (AGI) 에이전트 시대의 새로운 기준을 제시합니다.