SiliconMind-V1: Multi-Agent Distillation and Debug-Reasoning Workflows for Verilog Code Generation

이 논문은 비용과 데이터 프라이버시 문제를 해결하고 기능적 정확성을 보장하기 위해 테스트벤치 기반 검증이 통합된 다중 에이전트 프레임워크를 제안하여, 로컬 파인튜닝 LLM 인 'SiliconMind-V1'이 테스트 시간 확장 방식을 통해 Verilog RTL 설계를 생성, 테스트, 디버깅할 수 있도록 함으로써 기존 최첨단 모델보다 우수한 성능을 달성했다고 설명합니다.

핵심

1. 문제 상황: "완벽한 답만 외우는 학생" vs "스스로 생각하는 학생"

지금까지 베릴로그 코드를 만드는 AI 들은 마치 시험 문제의 정답만 달달 외운 학생과 같았습니다.

• 기존 방식: "이 문제가 나오면 정답은 A야"라고만 외웠습니다. 하지만 시험지 (실제 설계) 가 조금만 달라지거나, 정답이 틀렸을 때 (데이터 오류) 스스로 고칠 줄 모릅니다.
• 한계: 이 방식은 비싼 상용 AI 를 써야 하거나, 외부 검증 도구에 의존해야 해서 비용이 많이 들고, 데이터 유출 우려도 있었습니다.

2. 실리콘마인드-V1 의 해결책: "스스로 시험 보고, 오답 노트 만드는 학생"

이 연구팀은 AI 에게 단순히 정답을 외우게 하지 않았습니다. 대신 세 명의 전문가가 팀을 이루어 학습시키는 방식을 도입했습니다.

🎬 비유: "드라마 제작 팀"

이 AI 학습 과정은 마치 드라마를 만드는 과정과 같습니다.

1. 시나리오 작가 (Revision Agent):
   • 기존에 있던 엉성한 대본 (문제) 을 다듬어서, 배우들이 오해하지 않도록 명확하게 수정합니다.
2. 주연 배우 (Solution Agent):
   • 다듬어진 대본을 보고 대본을 읽습니다. 그리고 **"왜 이렇게 연기해야 할지" (추론 과정)**를 먼저 생각한 뒤, 대본을 씁니다.
3. 감독 & 스텝 (Testbench Agent):
   • 배우가 쓴 대본이 실제로 무대에서 잘 통할지, 관객이 웃을지 (기능이 제대로 작동할지) 시뮬레이션 (테스트) 을 합니다.
4. 오류 수정 팀 (Debug Agent):
   • 만약 배우가 실수하면, 감독이 "여기 대사가 틀렸어"라고 알려줍니다. 배우는 그 피드백을 받고 스스로 대사를 고쳐서 다시 연기합니다.

이 과정을 통해 AI 는 **"정답을 맞추는 것"뿐만 아니라, "왜 틀렸는지 이해하고 고치는 법"**을 배웁니다.

3. 핵심 기술: "스스로를 가르치는 마법"

이 시스템의 가장 놀라운 점은 외부 도구나 비싼 AI 를 쓰지 않고도 스스로 학습한다는 것입니다.

• 교사 모델 (Teacher): 가장 똑똑한 오픈소스 AI 가 먼저 문제를 풀고, 그 과정을 설명해 줍니다.
• 학생 모델 (Student): 이 설명을 보고 학습합니다.
• 스스로 교정 (Self-Correction): 학생이 문제를 풀었을 때 틀리면, AI 가 스스로 "내가 왜 틀렸지?"라고 분석하고, "다음엔 이렇게 해야지"라고 오답 노트를 만듭니다.

이 과정을 반복하면, AI 는 작은 컴퓨터 (일반적인 그래픽카드) 에도 설치할 수 있을 정도로 가볍고 똑똑한 모델이 됩니다.

4. 결과: "작은 체구, 큰 실력"

연구팀은 이 방식을 통해 기존에 가장 잘하던 AI(코드V-R1) 보다 더 적은 비용과 데이터로 더 좋은 결과를 냈습니다.

• 비용 절감: 기존 방식보다 학습에 걸리는 시간과 전력이 약 9 배나 줄었습니다. (비유하자면, 같은 실력을 내기 위해 9 배 더 적은 연료를 쓴 자동차입니다.)
• 정확도 향상: 베릴로그 코드가 실제로 작동하는지 (기능적 정확성) 를 검증하는 테스트에서 기존 최고 성능 모델을 능가했습니다.
• 유연성: 사용자가 요구사항을 주면, AI 는 한 번에 끝내는 게 아니라, **"생각 -> 작성 -> 테스트 -> 수정"**을 반복하며 가장 완벽한 코드를 만들어냅니다.

5. 요약: 왜 이것이 중요한가요?

이 논문은 **"하드웨어 설계도 이제 AI 가 혼자서 고민하고, 실수하고, 고쳐가며 만들 수 있다"**는 것을 증명했습니다.

• 과거: 비싼 전문가나 비싼 AI 를 불러와서 코드를 짜고, 외부 도구를 써서 검증해야 함.
• 현재 (SiliconMind-V1): 작은 AI 가 스스로 문제를 이해하고, 테스트를 만들어 실행해 보며, 실패하면 스스로 고쳐서 완벽한 코드를 만들어냄.

마치 초보 요리사가 비싼 셰프의 도움을 받지 않고도, 직접 재료를 보고 레시피를 수정하며 맛있는 요리를 만들어내는 것과 같습니다. 이제 하드웨어 설계의 문턱이 훨씬 낮아지고, 누구나 쉽게 혁신적인 칩을 설계할 수 있는 시대가 열린 것입니다.

기술 요약

1. 문제 정의 (Problem)

하드웨어 설계의 복잡도가 증가함에 따라 Verilog/SystemVerilog 코드 생성을 자동화하려는 시도가 늘고 있으나, 기존 방법론에는 다음과 같은 한계가 존재합니다.

• 상용 모델 및 도구에 대한 의존성: 대부분의 기존 연구는 GPT-4, Claude 등 상용 LLM 이나 Synopsys VCS 같은 유료 EDA 도구에 의존하여 훈련 및 검증을 수행합니다. 이는 높은 비용, 데이터 프라이버시 문제, 그리고 재현성 부족을 초래합니다.
• 기능적 정확성 부재: 기존 방법들은 주로 문법적 정확성 (Syntax) 에 초점을 맞추거나, 최종 결과 (Outcome) 만을 보상하는 강화학습 (RLVR) 을 사용합니다. 이는 모델이 "왜" 코드가 틀렸는지, 어떻게 디버깅해야 하는지에 대한 추론 능력을 배양하지 못하게 하여 일반화 능력을 저하시킵니다.
• 데이터 부족 및 품질 문제: 하드웨어 도메인 특화 고품질 데이터 (기능 검증이 된 테스트벤치 포함) 가 부족하며, 공개된 데이터셋에는 문법 오류나 기능적 불일치가 포함된 경우가 많습니다.

2. 제안된 방법론 (Methodology)

이 논문은 SiliconMind-V1이라는 이름의 통합 멀티 에이전트 프레임워크를 제안합니다. 이 프레임워크는 상용 도구나 외부 검증기 없이 로컬에서 파인튜닝된 LLM 이 Verilog 코드를 생성, 테스트, 디버깅할 수 있도록 설계되었습니다.

A. 훈련 데이터 파이프라인 (Training Data Pipeline)

고품질의 추론 중심 훈련 데이터를 생성하기 위해 두 단계의 멀티 에이전트 워크플로우를 사용합니다.

1. 훈련 코드 생성 (Training Code Generation):

   • 리비전 에이전트 (Revision Agent): 공개된 소스 (GitHub 등) 의 문제와 코드를 분석하여 모듈명, 포트, 동작을 명확히 정의한 정제된 문제 ($p'$) 를 생성합니다.
   • 솔루션 에이전트 (Solution Agent): 정제된 문제 ($p'$) 를 바탕으로 심층 추론 ($r$) 을 거쳐 Verilog 코드 ($c'$) 를 생성합니다.
   • 테스트벤치 에이전트 (Testbench Agent): 생성된 코드를 검증할 테스트벤치 ($tb$) 를 생성합니다.
   • 검증 에이전트 (Verification Agent): 오픈소스 EDA 도구 (Icarus Verilog) 를 사용하여 시뮬레이션을 수행합니다. 통과하면 데이터셋에 추가하고, 실패 시 오류 보고서를 생성하여 솔루션 또는 테스트벤치 에이전트에게 디버깅을 요청합니다.
   • 결과: 36,000 개의 기능 검증된 $(p', r, c', tb)$ 튜플이 생성됩니다.

2. 자기 수정 (Self-Correction):

   • 1 단계에서 훈련된 SiliconMind-dev 모델을 사용하여 기존 데이터의 약점을 파악합니다.
   • 테스트 에이전트 (Test Agent): 모델이 실패한 사례를 분석하여 테스트 리포트를 작성합니다.
   • 디버깅 에이전트 (Debug Agent): 테스트 리포트를 바탕으로 오류를 수정한 새로운 코드 ($d$) 를 생성합니다.
   • 결과: 실패 사례와 디버깅 과정을 포함한 확장된 데이터셋 ($D'$) 이 생성되어 모델이 스스로 테스트하고 디버깅하는 능력을 학습합니다.

B. 모델 훈련 (Model Training)

• SiliconMind-dev: 1 단계 데이터로 SFT (Supervised Fine-Tuning) 를 수행하여 추론 능력을 배양합니다.
• SiliconMind-V1: 2 단계 (자기 수정) 데이터를 추가로 활용하여, 코드를 생성하는 것뿐만 아니라 테스트 리포트 작성 및 디버깅을 수행하는 능력을 학습시킵니다.
• 기반 모델: Qwen2.5-Coder-7B, Qwen3-4B/8B, Olmo-3-7B 등 다양한 오픈소스 모델을 기반으로 훈련되었습니다.

C. 추론 엔진 (Inference Engine)

훈련된 모델이 문제를 해결할 때 사용할 세 가지 전략을 제공합니다.

1. Regular: 문제 해결 전 추론을 수행한 후 코드를 생성.
2. Deep Thinking: 초기 솔루션 생성, 테스트, 디버깅을 하나의 긴 추론 과정으로 수행.
3. Agentic: 생성, 테스트, 디버깅을 별도의 에이전트 요청으로 분리하여 반복적으로 수행 (테스트/디버깅 에이전트 간 상호작용 횟수 제한 가능).

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크: 멀티 에이전트 증류 (Distillation) 와 테스트 기반 추론 워크플로우를 결합하여, 외부 도구 없이 로컬 LLM 이 Verilog 를 생성/테스트/디버깅할 수 있는 최초의 프레임워크를 제안했습니다.
2. 데이터 파이프라인: 하드웨어 도메인의 데이터 부족 문제를 해결하기 위해, 추론 중심의 훈련 데이터와 테스트벤치를 자동 생성하는 멀티 에이전트 파이프라인을 개발했습니다.
3. 효율적인 훈련: 상용 모델이나 고비용 RLVR 없이도, 소규모 데이터 (36k) 와 제한된 GPU 리소스로 SOTA(최고 성능) 모델을 능가하는 성능을 달성했습니다.
4. 일반화 능력: 훈련 데이터의 분포 편향을 줄이고, 다양한 오픈소스 모델 (Qwen, Olmo 등) 에 적용 가능한 범용적인 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크: VerilogEval-v2, RTLLM-v2, CVDP 등 주요 벤치마크에서 평가되었습니다.
• 성능 비교:
  • 기존 SOTA 인 QiMeng-CodeV-R1을 기능적 정확도 (Functional Correctness) 에서 능가했습니다. 특히 VerilogEval-v2-NTU 와 CVDP 벤치마크에서 우세한 성능을 보였습니다.
  • **SiliconMind-V1 (Qwen2.5-Coder-7B 기반)**은 CodeV-R1 과 유사하거나 더 나은 성능을 보이면서, 훈련에 소요된 GPU 시간을 약 9 배 단축했습니다 (CodeV-R1: 2,656 A100 시간 vs SiliconMind: 294.4 A100 시간 환산).
  • Olmo-3-7B-Think와 같이 Verilog 능력이 거의 없는 모델에 적용했을 때도 CodeV-R1 을 능가하는 성능을 보여주어 프레임워크의 효과성을 입증했습니다.
• 추론 전략: 'Agentic' 전략 (반복적 테스트/디버깅) 을 사용할 때 성능이 가장 높았으나, 토큰 비용도 증가했습니다. 'Deep Thinking' 전략은 비용 대비 효율적인 성능 향상을 제공했습니다.

5. 의의 및 결론 (Significance)

• 비용 및 프라이버시 해결: 고비용의 상용 LLM 과 유료 EDA 도구 없이도, 오픈소스 모델과 오픈소스 EDA 도구만으로 고품질의 하드웨어 코드를 생성할 수 있는 경로를 제시했습니다.
• 추론 능력의 중요성 강조: 단순한 결과물 (코드) 이 아닌, "왜 실패했는지"를 분석하고 "어떻게 고칠지" 추론하는 과정이 하드웨어 코드 생성의 정확성과 일반화 능력을 결정한다는 것을 입증했습니다.
• 확장성: 소규모 모델 (4B~8B) 이 대규모 모델 (DeepSeek-R1 등) 에 필적하는 성능을 낼 수 있음을 보여주어, 개인 및 중소기업 수준의 하드웨어 설계 자동화 가능성을 열었습니다.

이 연구는 LLM 기반 하드웨어 설계 자동화 분야에서 데이터 품질, 추론 과정, 그리고 비용 효율성을 모두 충족시키는 새로운 표준을 제시한다는 점에서 의의가 큽니다.