ChatNeuroSim: An LLM Agent Framework for Automated Compute-in-Memory Accelerator Deployment and Optimization

이 논문은 메모리-연산 간 데이터 전송 오버헤드를 줄이는 컴퓨트 인 메모리 (CIM) 아키텍처의 설계 공간 탐색 (DSE) 주기를 단축하고 최적 설계를 자동화하기 위해, 대규모 언어 모델 (LLM) 기반 에이전트 프레임워크인 ChatNeuroSim 과 설계 공간 가지치기 기법을 제안합니다.

핵심

🏗️ 1. 문제 상황: "미친 듯이 복잡한 레고 조립"

과거에 AI 칩 (CIM, 메모리 안에서 계산하는 칩) 을 설계하려면, 엔지니어들은 엄청나게 두꺼운 설명서를 읽어야 했습니다.

• 비유: 마치 수천 개의 레고 조각이 있는데, 어떤 조각을 어디에 붙여야 가장 튼튼하고 빠른 성이 만들어지는지, 설명서 (매뉴얼) 를 뒤적거리며 일일이 찾아봐야 하는 상황입니다.
• 문제점:
  1. 설명서가 너무 어렵고 복잡해서 이해하는 데 시간이 오래 걸립니다.
  2. "이렇게 해볼까?"라고 시도해보고, 실패하면 다시 설명서를 보고, 다시 시도하는 과정을 반복해야 합니다.
  3. 최적의 조합을 찾느라 몇 달씩 걸리기도 합니다.

🤖 2. 해결책: "ChatNeuroSim (챗뉴로심)"이라는 똑똑한 비서

이 논문은 이 문제를 해결하기 위해 **거대 언어 모델 (LLM)**을 기반으로 한 '에이전트 (AI 비서)'를 만들었습니다.

• 어떻게 작동하나요?
  • 사용자: "22 나노 공정으로 만든 레고 성을 만들 건데, 전력은 200mW 이하로, 면적은 25cm² 이내로 하면서 가장 빠르게 작동하게 해줘."라고 자연스러운 말로 요청합니다.
  • ChatNeuroSim (비서):
    1. 이해: 사용자의 말을 듣고 무엇을 원하는지 파악합니다.
    2. 검토: 레고 설명서 (시뮬레이션 도구) 를 자동으로 찾아보며, "이 부품은 전력을 너무 많이 써요"라고 경고하거나 "이 부품은 면적 제한을 넘어요"라고 알려줍니다.
    3. 자동 조립: 사용자가 직접 코드를 짜거나 파라미터를 입력할 필요 없이, 비서가 자동으로 실행 스크립트를 만들어 시뮬레이션을 돌립니다.
    4. 결과 보고: "이렇게 조립하면 가장 빠르고 효율적이에요!"라고 최적의设计方案을 알려줍니다.

✂️ 3. 핵심 기술: "나쁜 레고 조각은 미리 버리기 (Design Space Pruning)"

하지만 단순히 비서가 있다고 해서 모든 문제가 해결되는 건 아닙니다. 레고 조각의 조합이 우주만큼 많기 때문에, 하나하나 다 테스트하려면 시간이 너무 오래 걸립니다.

그래서 연구팀은 **'디자인 공간 가지치기 (Design Space Pruning)'**라는 기술을 추가했습니다.

• 비유:
  • 과거 방식: 모든 레고 조각 (약 10,000 개) 을 다 섞어보며 가장 좋은 조합을 찾습니다. (시간이 매우 오래 걸림)
  • ChatNeuroSim 방식:
    1. 경험 활용: "이전에 비슷한 모양의 성 (예: ResNet) 을 만들 때, 이런 색상의 벽돌과 이런 모양의 지붕이 잘 어울렸던 기억이 나."라고 기억합니다.
    2. 미리 걸러내기: "그럼 이번에도 전혀 어울리지 않을 것 같은 나쁜 조합들은 아예 처음부터 버려버리자!"라고 결정합니다.
    3. 안전 장치: "혹시 그 나쁜 조합 중 진짜 보물이 숨어있을 수도 있으니, 나중에 다시 한 번 확인해볼 기회도 주자."라고 유연하게 대처합니다.

이 기술을 통해 불필요한 시뮬레이션을 50%~80% 이상 줄여서 훨씬 빠르게 최적의 답을 찾아냅니다.

📊 4. 실제 성과: "기존보다 2 배 이상 빨라진 설계"

연구팀은 이 시스템을 다양한 AI 모델 (ResNet, Swin Transformer 등) 에 적용해 보았습니다.

• 결과:
  • 정확도: 사용자가 요청한 대로 100% 정확한 스크립트를 만들어냈습니다. (실수 없음)
  • 속도: 기존에 최적의 조합을 찾는 데 걸리던 시간을 약 0.42 배~0.79 배로 줄였습니다. (예: 10 시간 걸리던 일이 4~7 시간으로 단축)
  • 특히 복잡한 모델: '비전 트랜스포머' 같은 복잡한 AI 모델일수록 이 시스템의 효과가 더 컸습니다.

🎯 5. 요약: 왜 이 기술이 중요한가요?

이 논문은 **"AI 칩 설계라는 어렵고 지루한 일"**을 "친구와 대화하듯" 쉽게 만들고, **"불필요한 시행착오"**를 AI 가 미리 예측해서 제거해 줍니다.

• 엔지니어에게: 설명서를 읽을 필요가 없어지고, 설계 시간이 획기적으로 단축됩니다.
• 일반인에게: 더 빠르고 효율적인 AI 칩이 더 빨리 개발되어, 우리 스마트폰이나 자율주행차가 더 똑똑해지고 배터리도 더 오래 가는 효과를 가져옵니다.

한 줄 요약:

"ChatNeuroSim 은 AI 칩 설계라는 거대한 미로에서, 과거의 경험을 바탕으로 '가장 좋은 길'만 골라주는 초고속 내비게이션입니다."

기술 요약

ChatNeuroSim: 자동화된 Compute-in-Memory (CIM) 가속기 배포 및 최적화를 위한 LLM 에이전트 프레임워크

이 논문은 Georgia Institute of Technology 의 Ming-Yen Lee 와 Shimeng Yu 가 제안한 ChatNeuroSim에 대해 다룹니다. 이는 대규모 언어 모델 (LLM) 기반 에이전트 프레임워크를 활용하여 Compute-in-Memory(CIM) 가속기의 배포와 최적화 과정을 자동화하고, 설계 공간 탐색 (DSE) 효율을 극대화하는 새로운 접근법입니다.

1. 문제 정의 (Problem)

기존의 CIM 설계 워크플로는 다음과 같은 심각한 한계점을 가지고 있습니다:

• 복잡한 파라미터 의존성: NeuroSim 과 같은 시스템 수준 CIM 시뮬레이터는 다양한 하드웨어 구성과 DNN 워크로드를 지원하지만, 설계자는 방대한 매뉴얼을 숙지하고 복잡한 파라미터 간의 의존성을 이해하는 데 많은 노력을 기울여야 합니다.
• 수동 개입의 필요성: 고수준 설계 의도를 시뮬레이터 입력 파라미터로 변환하고, 스크립트를 작성하며, 결과를 파싱하는 과정에 상당한 수동 개입이 필요합니다.
• 비효율적인 설계 공간 탐색 (DSE): 최적의 CIM 구성을 찾기 위해 반복적인 설계 - 시뮬레이션 주기가 필요하며, 이는 설계 주기를 길게 만들고 인건비를 증가시킵니다. 특히 비전 트랜스포머 (Vision Transformer) 와 같은 복잡한 워크로드의 경우 설계 공간이 매우 크고 시뮬레이션 시간이 길어 기존 휴리스틱 알고리즘만으로는 최적화에 시간이 많이 소요됩니다.

2. 방법론 (Methodology)

ChatNeuroSim 은 LLM 기반의 다중 에이전트 (Multi-agent) 프레임워크와 설계 공간 가지치기 (Pruning) 기법을 결합하여 문제를 해결합니다.

2.1 LLM 기반 에이전트 프레임워크

ChatNeuroSim 은 NeuroSim 시뮬레이터 위에 구축되었으며, 사용자의 자연어 요청을 처리하여 자동화된 워크플로를 수행합니다. 주요 구성 요소는 다음과 같습니다:

• 작업 파싱 에이전트 (Task Parsing Agent): 사용자의 요청을 4 가지 카테고리 (단일 호출, 다중 호출, 테스트벤치 자동 설계, PPA 최적화) 로 분류합니다.
• 파라미터 파싱 에이전트 (Parameter Parsing Agent): 분류된 작업 유형에 따라 시뮬레이터 또는 최적화기 입력을 위한 구조화된 파라미터를 추출합니다. NeuroSim 스키마를 참조하여 유효한 값과 단위, 기술 노드 등을 확인합니다.
• 파라미터 조정 에이전트 (Parameter Adjustment Agent): 누락된 파라미터를 스키마 기반의 기본값이나 사용자의 추가 입력으로 채우고, 유효하지 않은 값을 수정합니다.
• 자동화 워크플로우: 사용자의 자연어 요청을 받아 스크립트 생성, 시뮬레이션 실행 (NeuroSim V1.5), 결과 (정확도, PPA: 성능, 전력, 면적) 반환까지 전 과정을 자동화합니다.

2.2 설계 공간 가지치기 (Design Space Pruning) 기반 CIM 최적화

기존 휴리스틱 알고리즘 (Simulated Annealing, Genetic Algorithm, TPE 등) 의 탐색 효율을 높이기 위해 전이 학습 (Transfer Learning) 기반의 설계 공간 가지치기를 도입했습니다.

• 교차 공간 제약 투영 (Cross-space Constraint Projection): 기존 워크로드 (Base Model, 예: ResNet-50) 에서 얻은 성능 데이터를 바탕으로, 새로운 타겟 워크로드 (Target Model, 예: Swin-T) 의 하드웨어 제약 조건 (전력, 면적) 을 통계적 모델 (멱법칙 스케일링) 을 통해 투영합니다.
• Top-K 가지치기: 투영된 데이터를 기반으로 타겟 설계 공간에서 비효율적인 영역을 제거하고, 고성과 영역 (Top-K) 에 집중하여 탐색 공간을 축소합니다.
• 확률적 가지치기 해제 (Stochastic De-pruning): 최적해가 잘라낸 공간에 포함되지 않을 위험을 mitigating 하기 위해, 최적화 과정에서 주기적으로 제거된 파라미터 값을 확률적으로 복원하여 전역 최적해를 탐색합니다.

3. 주요 기여 (Key Contributions)

1. 자동화된 CIM 배포 및 최적화 LLM 에이전트 프레임워크: 사용자의 자연어 요청을端到端 (End-to-End) 으로 처리하여 시뮬레이션 스크립트 생성, 실행, 결과 반환을 자동화합니다.
2. 효율적인 CIM 최적화를 위한 설계 공간 가지치기: 이전 워크로드의 지식을 전이하여 탐색 공간을 초기화하고 최적화 중에 정제하는 휴리스틱 ML 기반 최적화기를 제안합니다. 이는 탐색 효율을 높이고 최적화 런타임을 단축합니다.
3. 포괄적인 에이전트 평가 및 최적화 분석:
   • 40 개의 테스트 케이스로 구성된 커스텀 요청 데이터셋에서 100% 의 스크립트 생성 및 시뮬레이션 정확도를 달성했습니다.
   • Swin Transformer Tiny (22nm 공정) 를 대상으로 한 최적화에서, 가지치기 기법을 적용한 경우 가지치기를 적용하지 않은 베이스라인 대비 평균 런타임 0.42 배~0.79 배 단축 및 P95 런타임 0.29 배~0.69 배 단축을 달성했습니다.

4. 실험 결과 (Results)

• 에이전트 정확도: GPT-5.1 을 백엔드로 사용할 때 모든 40 개의 요청 (단일/다중 호출, 자동 설계, 최적화) 에서 100% 정확도를 보였습니다. 다른 모델 (DeepSeek 등) 에 비해 GPT-5.1 이 복잡한 파라미터 추출 및 규칙 준수에서 가장 우수한 성능을 발휘했습니다.
• 최적화 성능 비교:
  • 비트래픽 (Baseline): 기존 휴리스틱 알고리즘은 CNN (ResNet-50) 에서는 효과적이지만, 비전 트랜스포머 (Swin-T) 의 큰 설계 공간과 긴 시뮬레이션 시간으로 인해 최적화에 수 시간이 소요되었습니다.
  • 가지치기 적용 효과: ViT-B 를 베이스 모델로 사용한 가지치기 기법은 다양한 하드웨어 제약 조건과 최적화 목표 (FoM, 에너지 효율 등) 에서 일관되게 런타임을 단축시켰습니다. 특히 Simulated Annealing 알고리즘과 결합 시 가장 빠른 수렴 속도를 보였습니다.
  • 해의 질: 가지치기를 적용하더라도 제한된 반복 횟수 내에서 베이스라인보다 더 높은 평균 FoM 및 P5 FoM 을 달성하여 해의 질이 저하되지 않음을 입증했습니다.

5. 의의 및 결론 (Significance)

• 설계 생산성 향상: ChatNeuroSim 은 CIM 설계자가 시뮬레이터 매뉴얼을 직접 해석하고 복잡한 파라미터를 수동으로 설정하는 번거로움을 제거하여, 설계 시간과 인력을 대폭 절감합니다.
• 빠른 CIM 배포: 자동화된 에이전트 워크플로우와 효율적인 설계 공간 탐색 기법을 통해, 고성능 CIM 가속기의 빠른 프로토타이핑과 최적화가 가능해졌습니다.
• 확장성: 이 프레임워크는 다양한 DNN 워크로드 (CNN, Transformer) 와 하드웨어 제약 조건에 적용 가능하며, 가지치기 전략을 통해 복잡한 트랜스포머 기반 아키텍처의 최적화 문제를 해결하는 새로운 패러다임을 제시합니다.

이 연구는 EDA(전자 설계 자동화) 분야에서 LLM 기반 에이전트와 기계 학습 최적화 기법의 융합을 통해 하드웨어 설계의 자동화와 효율성을 획기적으로 개선한 사례로 평가받습니다. 관련 코드와 UI 는 GitHub 를 통해 오픈 소스로 제공됩니다.