IQuest-Coder-V1 Technical Report

본 보고서는 정적 코드 표현을 넘어 소프트웨어 로직의 동적 진화를 포착하는 '코드-플로우' 다단계 학습 패러다임을 도입하여, 추론 및 에이전트 능력을 강화한 IQuest-Coder-V1 시리즈를 개발하고 코드 지능 및 자율 에이전트 시스템 연구의 새로운 기준을 제시한 내용을 담고 있습니다.

핵심

IQuest-Coder-V1: 코딩을 가르치는 '초지능' 로봇의 비밀

이 논문은 **"IQuest-Coder-V1"**이라는 새로운 인공지능 (AI) 모델 시리즈에 대한 기술 보고서입니다. 쉽게 말해, 이 모델은 코딩 (프로그래밍) 을 할 수 있는 아주 똑똑한 AI입니다. 기존에 공개된 AI 들보다 훨씬 더 복잡하고 긴 작업을 스스로 해결할 수 있도록 설계되었습니다.

이 복잡한 내용을 일반인도 쉽게 이해할 수 있도록 비유와 이야기로 풀어서 설명해 드릴게요.

---

1. 이 모델은 누구인가요? (IQuest-Coder-V1 시리즈)

이 모델은 크기가 작은 것부터 거대하게까지 여러 종류가 있습니다.

• 7B, 14B, 40B: 숫자가 클수록 뇌의 크기가 더 크고 똑똑하다는 뜻입니다. (40B 는 가장 똑똑한 '수석 엔지니어'급입니다.)
• Loop 버전: 메모리나 전력이 부족한 상황에서도 효율적으로 일할 수 있도록 설계된 '스마트한' 버전입니다.

2. 어떻게 이렇게 똑똑해졌을까요? (4 단계 성장 과정)

이 모델은 단순히 책 (데이터) 을 많이 읽었다고 똑똑해진 게 아닙니다. 4 단계에 걸친 체계적인 교육 과정을 거쳤습니다.

1 단계: 기초 다지기 (Pre-training & Annealing)

• 비유: 어린아이가 만화책과 교과서를 모두 읽으며 세상을 배우는 과정입니다.
• 내용: 먼저 일반적인 언어와 코드를 폭넓게 배운 뒤, 아주高质量 (고품질) 인 코딩 자료만 골라서 집중적으로 공부했습니다. 이때 중요한 것은 **정적인 코드 (한 번 찍은 사진)**만 보지 않고, **코드가 어떻게 변해가는지 (커밋 기록, 수정 이력)**를 보며 배웠다는 점입니다. 마치 요리 레시피를 외우는 게 아니라, 요리사가 실수하고 고쳐가는 과정을 지켜보며 배운 것과 같습니다.

2 단계: 논리 훈련 (Mid-training)

• 비유: 미로 찾기 훈련과 현장 실습입니다.
• 내용:
  • 32k/128k 컨텍스트: 아주 긴 문서나 방대한 코드 파일을 한눈에 이해할 수 있도록 훈련했습니다. (책 한 권 전체를 기억하는 수준)
  • 추론과 에이전트: 단순히 코드를 짜는 게 아니라, "왜 이 코드가 안 될까?", "어떻게 고쳐야 할까?"라고 **스스로 생각 (Reasoning)**하고, 컴퓨터 명령어를 입력해 보고 결과를 확인하는 **실제 행동 (Agentic)**을 반복하며 훈련했습니다.

3 단계: 전문화 (Post-training)

이제 두 가지 다른 성격의 전문가로 나뉩니다.

• Instruct (지시형): 사용자의 명령을 정확히 따르는 명령형 비서. "이거 만들어줘"라고 하면 바로 만들어줍니다.
• Thinking (사고형): 스스로 생각하고 고민하는 연구원. 문제가 생기면 "아, 이 부분이 틀렸네. 다시 생각해보자"라고 스스로 오류를 찾고 해결책을 모색합니다.

4 단계: 효율화 (Loop Architecture)

• 비유: 한 번에 모든 일을 처리하는 거인이 아니라, 작은 방에서 반복해서 정교하게 작업하는 장인.
• 내용: 'Loop' 버전은 코드를 한 번에 다 읽지 않고, 중요한 부분을 반복해서 확인하며 작업합니다. 이렇게 하면 컴퓨터 성능이 낮아도 아주 복잡한 작업을 할 수 있습니다.

3. 이 모델은 얼마나 잘하나요? (성적표)

이 모델은 전 세계의 유명한 코딩 시험 (벤치마크) 에서 최고의 점수를 받았습니다.

• 실전 프로젝트 (SWE-Bench): 실제 회사에서 발생하는 복잡한 버그를 고치는 능력에서 Sonnet-4.5, GPT-5.1 같은 유명 상용 모델들을 앞섰습니다.
• 경쟁 코딩 (LiveCodeBench): 어려운 알고리즘 문제를 풀 때 87.0 점으로 1 위를 차지했습니다.
• 도구 사용 (Tool Use): 컴퓨터 명령어, 웹 검색, 데이터베이스 등을 스스로 활용하여 문제를 해결하는 능력도 탁월합니다.

4. 왜 이 모델이 특별한가요? (핵심 통찰)

연구팀은 이 모델을 만들면서 세 가지 중요한 사실을 발견했습니다.

1. 코드 변화의 흐름을 봐야 한다: 완성된 코드만 보면 안 되고, 코드가 어떻게 수정되고 발전해 왔는지 (커밋 이력) 를 보면 문제 해결 능력이 훨씬 좋아집니다.
2. 생각하는 시간을 주면 더 잘한다: 코딩을 가르치기 전에, 논리적으로 추론하는 훈련을 먼저 시키면 나중에 코딩 실력이 훨씬 안정적으로 향상됩니다.
3. 스스로 고치는 능력 (Self-Healing): 'Thinking' 모델을 훈련시키니, 실수가 났을 때 스스로 "아, 내가 틀렸네"라고 깨닫고 다시 시도하는 자율적인 오류 수정 능력이 생겼습니다.

5. 결론: 이 모델이 가져올 변화

IQuest-Coder-V1 은 단순히 코드를 짜주는 도구를 넘어, **실제 소프트웨어 개발 현장에서 일할 수 있는 '자율 에이전트 (Autonomous Agent)'**로 발전하고 있습니다.

• 오픈소스 공개: 이 모델의 모든 학습 과정과 데이터를 공개하여, 누구나 이 기술을 연구하고 발전시킬 수 있게 했습니다.
• 미래 전망: 앞으로 이 모델은 복잡한 소프트웨어를 혼자서 기획하고, 코딩하고, 버그를 수정하는 완전한 개발자 파트너가 될 것입니다.

한 줄 요약:

"이 모델은 코딩의 '역사'와 '논리'를 깊이 있게 배우고, 스스로 생각하고 고칠 줄 아는 초고수 개발자 AI로 태어났습니다."

기술 요약

IQuest-Coder-V1 기술 요약

1. 문제 정의 (Problem)

현재 대규모 언어 모델 (LLM) 은 일반 지능 분야에서 큰 진전을 이루었으나, 코드 지능 (Code Intelligence) 분야에서는 여전히 한계가 존재합니다. 특히 오픈 가중치 (open-weights) 모델과 Claude 4.5 Sonnet, GPT-5.1 과 같은 독점적 최상위 모델 간에는 다음과 같은 격차가 큽니다:

• 장기적 추론 (Long-horizon Reasoning): 복잡한 논리 흐름을 가진 긴 작업 수행 능력 부족.
• 다중 파일 코드베이스 탐색: 방대하고 복잡한 프로젝트 구조를 이해하고 수정하는 능력의 부재.
• 정적 표현의 한계: 기존 모델들이 정적인 코드 스냅샷에 의존하여 소프트웨어의 동적인 진화 과정을 충분히 반영하지 못함.

이러한 격차를 해소하고, 오픈 소스 모델이 독점 모델과 경쟁할 수 있는 수준의 자율적 코드 지능을 달성하기 위해 IQuest-Coder-V1 시리즈가 개발되었습니다.

2. 방법론 (Methodology)

IQuest-Coder-V1 은 정적인 코드 학습을 넘어 코드 플로우 (Code-Flow) 다단계 훈련 패러다임을 도입했습니다. 이는 소프트웨어 로직의 동적 진화를 포착하는 데 중점을 둡니다. 훈련 파이프라인은 크게 4 가지 핵심 단계로 구성됩니다.

2.1. 4 단계 훈련 파이프라인 (Code-Flow Pipeline)

1. Pre-training & Annealing (사전 학습 및 어닐링):
   • Stage 1: 일반 데이터와 코드 데이터의 혼합으로 초기 학습.
   • Stage 2 (Annealing): 고품질 큐레이션된 코드로 어닐링하여 모델의 기본 표현을 복잡한 논리 작업에 최적화.
   • 데이터 전략: 정적 파일뿐만 아니라 커밋 흐름 (Commit Flow) 을 기반으로 한 (R_old, P, R_new) 형태의 트립렛 데이터를 활용하여 프로젝트의 진화 패턴을 학습시킴.
2. Dual-Phase Mid-training (이중 단계 중간 훈련):
   • Phase 1 (32k Context): 추론 (Reasoning), 에이전트 행동 궤적 (Agentic Trajectories), 코드 데이터를 학습.
   • Phase 2 (128k Context): 컨텍스트 길이를 확장하여 리포지토리 규모의 복잡한 작업과 장기적 계획을 학습.
   • 이 단계는 정적 지식과 에이전트 행동 사이의 간극을 메우는 논리적 발판 (Scaffold) 역할을 합니다.
3. Bifurcated Post-training (이분화된 사후 학습):
   • Thinking Path: 명시적 추론 궤적 (Reasoning traces) 을 포함한 SFT 와 강화 학습 (RL) 을 통해 자율적 오류 복구 및 복잡한 문제 해결 능력을 강화.
   • Instruct Path: 일반 지시 및 코드 생성에 최적화된 SFT 와 RL 을 통해 범용 어시스턴트 능력을 강화.
4. Efficient Architectures (효율적 아키텍처 - LoopCoder):
   • Loop Mechanism: 제한된 배포 환경에서도 복잡한 코드 세그먼트를 반복적으로 계산할 수 있도록 공유 파라미터를 가진 트랜스포머 블록을 2 회 반복 실행하는 구조를 도입.
   • Attention Mechanism: 1 회 반복의 전역 컨텍스트와 2 회 반복의 국소 인과 관계를 결합하는 게이트드 어텐션 (Gated Attention) 을 사용하여 메모리 대역폭 오버헤드를 줄임.

2.2. 데이터 및 인프라

• 데이터: 수백억 토큰 규모의 공개 리포지토리, 기술 문서, 웹 콘텐츠를 정제. AST(추상 구문 트리) 분석을 통한 문법적 무결성 검증 및 고도화된 프록시 분류기를 활용한 품질 필터링 수행.
• 인프라: 수백만 GPU 시간 규모의 훈련을 지원하며, 컨텍스트 병렬성, 결정론적 재계산을 통한 오류 감지, 그리고 GRPO(Group Relative Policy Optimization) 알고리즘을 활용한 강화 학습을 구현.

3. 주요 기여 (Key Contributions)

• Code-Flow 훈련 패러다임: 정적 코드 스냅샷 대신 커밋 흐름과 프로젝트 진화 데이터를 활용하여 모델이 소프트웨어 개발의 동적 특성을 학습하도록 함.
• 중간 훈련 (Mid-training) 의 중요성 입증: 고품질 코드 어닐링 후, 사후 학습 전에 32k/128k 컨텍스트의 추론 및 에이전트 궤적 데이터를 주입하는 것이 모델의 안정성과 장기적 작업 수행 능력에 결정적임을 발견.
• Think vs. Instruct 분기 전략: 복잡한 논리적 추론이 필요한 작업 (Thinking) 과 일반적인 코드 생성/지시 수행 (Instruct) 에 대해 서로 다른 최적화 경로를 제공하여 각 시나리오에 맞는 성능 극대화.
• LoopCoder 아키텍처: 모델 용량과 배포 효율성 사이의 균형을 맞추기 위해 반복적 계산 구조를 도입하여 리소스 제약 환경에서도 고성능을 유지.
• 완전한 화이트박스 공개: 사전 학습 베이스부터 최종 Thinking/Instruct 모델에 이르는 전체 체인 (Chain of Checkpoints) 을 오픈하여 연구 커뮤니티의 재현과 추가 연구를 지원.

4. 결과 (Results)

IQuest-Coder-V1 은 다양한 벤치마크에서 경쟁력 있는 독점 모델 (Sonnet-4.5, GPT-5.1 등) 을 능가하거나 대등한 성능을 기록했습니다.

• 소프트웨어 엔지니어링 (SWE-Bench Verified): 77.2% (Top 1) 달성. 이는 Sonnet-4.5(76.3%) 와 GPT-5.1(76.2%) 보다 높은 점수로, 실제 리포지토리 수정 작업에서 최상위 성능을 보임.
• 코드 생성 (BigCodeBench, FullStackBench): BigCodeBench 에서 49.9%, FullStackBench 에서 68.3% 를 기록하여 Kimi-K2, Qwen3-Coder 등을 상회.
• 코드 추론 (LiveCodeBench v6): 87.0% 의 점수로 경쟁 모델들을 압도하며, 복잡한 알고리즘 문제 해결 능력을 입증.
• 에이전트 작업 (Terminal-Bench, Mind2Web): 터미널 작업 및 웹 에이전트 태스크에서도 최상위권 성능을 보이며, 도구 사용 및 장기 계획 수립 능력이 뛰어남.
• 모델 크기별 성능: 7B, 14B, 40B 모델 모두 각기 다른 리소스 제약 환경 (에지 디바이스부터 클라우드까지) 에서 최적의 성능을 발휘하도록 설계됨. 특히 40B-Loop-Thinking 모델은 LiveCodeBench v6 에서 87.0% 의 최고 점수를 기록.

5. 의의 (Significance)

• 오픈 소스 코드 LLM 의 새로운 기준 설정: IQuest-Coder-V1 은 오픈 가중치 모델이 독점 모델의 성능을 따라잡거나 능가할 수 있음을 입증하며, 코드 지능 분야의 오픈 소스 생태계를 활성화함.
• 자율적 에이전트 시스템의 발전: 단순한 코드 생성을 넘어, 오류를 스스로 복구하고 (Self-debugging), 복잡한 리포지토리를 탐색하며 실제 소프트웨어 엔지니어링 작업을 수행하는 자율 에이전트 개발의 기반을 마련함.
• 연구 및 산업 적용 가속화: 전체 훈련 파이프라인과 체크포인트를 공개함으로써, 연구자들은 모델의 진화 과정을 분석하고 더 나은 에이전트 시스템을 구축하는 데 활용할 수 있음.
• 효율성과 성능의 균형: Loop 아키텍처를 통해 고사양 모델의 성능을 유지하면서도 배포 비용을 최적화하는 방법을 제시하여 실용적인 적용 가능성을 높임.

결론적으로, IQuest-Coder-V1 은 정적 코드 학습을 넘어 동적인 소프트웨어 개발 과정을 학습하는 새로운 패러다임을 제시하며, 차세대 자율적 코드 지능 시스템의 핵심 기술로 자리매김할 것으로 기대됩니다.