InCoder-32B: Code Foundation Model for Industrial Scenarios

이 논문은 칩 설계, GPU 커널 최적화, 임베디드 시스템 등 다양한 산업 시나리오에서 하드웨어 의미론과 엄격한 제약 조건을 고려한 추론 능력을 갖춘 최초의 320 억 파라미터 코드 기반 모델인 'InCoder-32B'를 소개하고, 일반 코딩 태스크와 9 개 산업 벤치마크에서 뛰어난 성능을 입증합니다.

핵심

🚀 인코더-32B: 산업 현장의 '초능력' 코딩 비서

이 논문은 **'인코더 -32B(InCoder-32B)'**라는 새로운 인공지능 모델을 소개합니다. 기존 AI 가 일상적인 프로그래밍은 잘하지만, 반도체 칩 설계나 고성능 그래픽 처리 같은 '전문가급' 산업 현장에서는 막히곤 했다는 문제점을 해결하기 위해 만들었습니다.

이 모델을 쉽게 이해할 수 있도록 일상적인 비유로 설명해 드릴게요.

---

1. 왜 이 모델이 필요했을까? (문제 상황)

기존의 유명한 코딩 AI 들은 **'일반적인 요리사'**와 같습니다.

• 잘하는 일: 햄버거, 파스타, 스테이크 같은 대중적인 요리 (웹 개발, 앱 만들기, 일반 스크립트) 는 아주 맛있게 해냅니다.
• 못하는 일: 하지만 원자력 발전소 제어 시스템이나 우주선 엔진을 설계하라고 하면? "죄송합니다, 제가 그건 못 해요"라고 합니다.

왜냐하면 산업 현장 (반도체, GPU 최적화, 임베디드 시스템 등) 은 엄격한 규칙, 하드웨어의 물리적 한계, 그리고 실패하면 치명적인 결과를 초래하기 때문입니다. 기존 AI 는 이 '물리 법칙'을 모르고 코드를 짜서, 실제 기계에 넣으면 터지거나 작동하지 않는 경우가 많았습니다.

2. 인코더 -32B 는 누구인가? (해결책)

인코더 -32B 는 단순한 요리사가 아니라, '산업용 특수 장비 전문가'이자 '엔지니어'가 된 AI입니다.

• 320 억 개의 파라미터: 머릿속에 방대한 지식 (320 억 개의 지식 조각) 을 담고 있습니다.
• 범용 + 전문성: 일반 요리도 잘하지만, 반도체 회로 설계 (Verilog), 그래픽 카드 최적화 (CUDA), 로봇 제어 (임베디드) 같은 고난이도 작업도 척척 해냅니다.

3. 어떻게 훈련시켰을까? (교육 과정)

이 AI 를 만들기 위해 3 단계의 '특수 훈련'을 시켰습니다.

1. 1 단계: 기초 체력 단련 (Pre-training)
   • 인터넷의 모든 코드를 읽으며 기초 지식을 쌓았습니다. 하지만 여기서 멈추지 않고, 전문가들이 쓴 기술 문서와 실제 산업용 코드를 집중적으로 공부시켰습니다.
2. 2 단계: 시뮬레이션 훈련 (Mid-training)
   • 가상 공장을 만들었습니다. AI 가 코드를 짤 때, 실제 컴퓨터나 칩에서 실행해보고 "오류가 났다"는 피드백을 받도록 훈련했습니다.
   • 마치 비행 시뮬레이터를 타고 실제 비행기 조종사처럼 훈련한 것과 같습니다. "이 코드를 넣으면 전기가 과부하가 걸려서 칩이 타버려요"라는 피드백을 받으며 학습했습니다.
3. 3 단계: 실전 실습 (Post-training)
   • 실제 엔지니어들이 겪는 버그 수정, 성능 최적화 상황을 시뮬레이션했습니다. 코드가 실패했을 때, 에러 로그를 보고 "아, 이 부분이 문제구나"라고 스스로 고쳐내는 능력을 길렀습니다.

4. 어떤 일을 잘할까? (활용 분야)

이 모델은 4 가지 주요 분야에서 세계 최고 수준의 성능을 보여줍니다.

• 🔌 칩 설계 (Chip Design): 반도체 회로를 그리는 언어 (Verilog) 로 복잡한 칩을 설계합니다. 마치 마이크로 칩의 청사진을 그리는 건축가입니다.
• ⚡ GPU 최적화 (GPU Optimization): 그래픽 카드가 더 빠르고 효율적으로 작동하도록 코드를 다듬습니다. 레이스카의 엔진을 튜닝하는 메커닉 같습니다.
• 🤖 임베디드 시스템 (Embedded Systems): 로봇이나 가전제품의 작은 컴퓨터 (마이크로컨트롤러) 를 제어하는 코드를 씁니다. 작은 뇌를 가진 로봇을 조종하는 조련사입니다.
• 🏗️ 3D 모델링 (3D Modeling): 텍스트로 설명하면 3D 프린팅이 가능한 3D 도면을 만들어냅니다. 상상력을 3D 객체로 변환하는 마법사입니다.

5. 실제 성과 (결과)

• 일반적인 코딩: 기존에 유명한 AI 들과 거의 비슷하거나 더 좋은 점수를 받았습니다. (햄버거도 잘 만들어요!)
• 산업용 코딩: 기존 AI 들이 30~40% 만 성공하던 복잡한 칩 설계나 GPU 최적화 작업에서 압도적인 1 위를 차지했습니다.
• 오픈소스: 이 모델은 누구나 무료로 사용할 수 있게 공개되었습니다. (기존에 이런 전문 모델은 대기업만 쓸 수 있었거든요.)

📝 한 줄 요약

"인코더 -32B 는 일반 코딩도 잘하지만, 반도체와 고성능 하드웨어를 다루는 '산업 현장의 베테랑 엔지니어'처럼 일할 수 있는 최초의 AI 비서입니다."

이 모델은 앞으로 우리가 스마트폰, 자율주행차, AI 서버 등을 더 빠르고 효율적으로 만드는 데 큰 역할을 할 것으로 기대됩니다. 마치 초능력을 가진 엔지니어가 우리 곁에 온 것과 같습니다!

기술 요약

1. 문제 정의 (Problem)

최근 코드 LLM 은 범용 프로그래밍 태스크에서 뛰어난 성과를 보였으나, 실제 산업 환경에서는 다음과 같은 심각한 한계를 겪고 있습니다:

• 하드웨어 시맨틱스 부재: Verilog, CUDA, Triton 등 하드웨어 관련 언어의 특수한 문법과 제약 (타이밍, 리소스, 합성 가능성) 을 이해하지 못함.
• 엄격한 제약 조건: 임베디드 펌웨어의 실시간성, GPU 메모리 한계, CAD 모델의 기하학적 정확도 등 산업별 고유한 제약 조건을 충족하지 못함.
• 검증의 어려움: 일반 소프트웨어와 달리 산업용 코드는 실행 환경 (시뮬레이터, 실제 하드웨어) 에서만 정확성이 검증 가능함.
• 성능 저하: 기존 모델들은 산업용 벤치마크 (예: Triton 연산 생성, Verilog 합성) 에서 낮은 성공률을 보임 (예: Triton 생성 성공률 28.80%, Verilog 시뮬레이션 통과 33.3%).

2. 방법론 (Methodology)

InCoder-32B 는 32B 파라미터 규모의 모델로, 3 단계의 'Code-Flow' 훈련 파이프라인을 통해 산업 지능을 습득합니다.

2.1. 데이터 수집 및 정제 (Pre-training & Annealing)

• 데이터 소스: 공개 저장소, 기술 문헌 (OCR 활용), 도메인별 웹 데이터를 수집.
• 3 단계 회수 전략: 규칙 기반 필터링, FastText 분류기, 도메인 적응형 시맨틱 인코더를 통해 산업 코드 커버리지를 극대화.
• 정제: 라이선스 필터링, PII 제거, AST 비교 및 재컴파일을 통한 정확성 검증.

2.2. 중기 훈련 (Mid-training)

• 컨텍스트 확장: 8K 토큰에서 128K 토큰으로 점진적으로 확장 (8K → 32K → 128K).
• 산업적 추론 데이터:
  • Synthetic QA: 실제 엔지니어와 협력하여 하드웨어 시나리오를 정의하고, 시드 코드를 생성한 후 자동 검증을 통해 QA 쌍을 생성.
  • Agent Trajectories: 하드웨어 시뮬레이터, 합성 도구, 컴파일러의 피드백을 활용한 Thought-Action-Observation 루프 데이터 포함.
  • Industrial Artifacts: 테스트벤치, 타이밍 제약 (SDC), 합성 스크립트 등 실제 개발 환경의 아티팩트 포함.

2.3. 후기 훈련 (Post-training)

• 실행 기반 검증 (Execution-Grounded Verification): 실제 산업 환경 (EDA 도구, GPU 하드웨어, 임베디드 시뮬레이터) 에서 코드를 실행하여 검증.
• 피드백 기반 수리 (Feedback-Driven Repair): 실패한 코드에 컴파일러 에러, 런타임 로그, 파형 차이 등을 피드백으로 주어 수정된 코드를 생성하는 폐루프 (Closed-loop) 학습 수행.
• 데이터 구성: 직접 해결 (Direct Solution), 결함 수리 (Defect Repair), 성능 최적화 (Optimization) 세 가지 유형으로 구성.

2.4. 산업 환경 시뮬레이션

훈련 데이터의 신뢰성을 위해 실제 배포 환경과 동일한 4 가지 시뮬레이션 환경을 구축:

1. 칩 설계: Icarus Verilog, Verilator, Yosys 를 활용한 RTL 시뮬레이션 및 합성.
2. GPU 최적화: NVIDIA A100 하드웨어에서 CUDA/Triton 커널 실행 및 성능 측정.
3. 3D 모델링: OpenCascade 기반 CadQuery 환경에서 기하학적 정확도 검증.
4. 코드 최적화: STM32F407 마이크로컨트롤러 (Renode 시뮬레이터) 및 x86-64 어셈블리 최적화 환경.

3. 주요 기여 (Key Contributions)

1. 최초의 통합 산업 코드 LLM: 칩 설계, GPU, 임베디드, 컴파일러, 3D 모델링 등 여러 산업 도메인을 하나의 모델로 통합한 최초의 32B 파라미터 모델.
2. 포괄적인 벤치마크 구축: 14 개의 범용 코드 벤치마크와 4 개 전문 도메인에 걸친 9 개의 산업 벤치마크 (VeriScope, RealBench, KernelBench, CAD-Coder 등) 를 포함하는 가장 방대한 평가 체계 제시.
3. 학습 전략의 효과 입증:
   • 정적 스냅샷보다 **저장소 전환 데이터 (Repository Transition Data)**가 계획 수립에 더 효과적.
   • 중기 훈련의 **추론 궤적 (Reasoning Trajectories)**이 분포 이동 (Distribution Shift) 하에서 강건성을 향상.
   • **생각의 경로 (Thinking Paths)**가 표준 지시 미세 조정 (SFT) 에서는 나타나지 않는 새로운 능력을 unlocked.

4. 결과 (Results)

InCoder-32B 는 14 개 범용 벤치마크와 9 개 산업 벤치마크에서 광범위한 평가를 받았습니다.

• 범용 코드 태스크: 32B 모델임에도 불구하고 DeepSeek-V3.2, Qwen3-Coder 등 더 큰 모델들과 경쟁력 있는 성능을 보임.
  • SWE-bench Verified: 74.8%
  • LiveCodeBench: 49.14%
  • BFCL: 60.99%
• 산업 코드 태스크: 모든 평가된 산업 도메인에서 오픈소스 모델 중 최고 성능을 기록.
  • 칩 설계 (Chip Design): RealBench 모듈 레벨 태스크에서 83.3% (Syn@5) 의 합성 성공률로 기존 모델들을 압도.
  • GPU 최적화: KernelBench 에서 모든 레벨 (L1, L2, L3) 에서 오픈소스 모델 중 1 위, 심지어 폐쇄형 모델인 Claude-Sonnet-4.6 보다 높은 성능을 보임.
  • 3D 모델링: CAD-Coder 에서 IoU(기하학적 정확도) **53.5%**로 오픈소스 기준 1 위.
  • 임베디드/컴파일러: EmbedCGen 및 SuperCoder 에서도 강력한 성능을 입증.

5. 의의 및 결론 (Significance)

• 학문과 산업의 간극 해소: 기존 코드 LLM 이 다루지 못했던 하드웨어 제약, 타이밍, 리소스 최적화 등 실제 산업 공학의 요구사항을 충족하는 모델을 제공.
• 실용성: 단순한 코드 생성을 넘어, 실제 하드웨어 시뮬레이션과 실행을 기반으로 한 검증 데이터를 통해 '실제 작동하는 코드'를 생성하는 능력을 함양.
• 미래 방향: 산업용 소프트웨어 개발의 자동화 수준을 높이고, 하드웨어 설계부터 임베디드 시스템까지 전 스펙트럼의 코드 지능을 가능하게 하는 새로운 기준 (Baseline) 을 제시함.

InCoder-32B 는 범용 코딩 능력과 산업 특화 능력을 동시에 갖춘 최초의 통합 기반 모델로서, 산업 현장의 코드 생성 및 최적화 작업에 혁신적인 가능성을 제시합니다.