기술 요약: QUARCH: 컴퓨터 아키텍처에서의 LLM 추론 평가를 위한 벤치마크

문제 정의

고수준 소프트웨어 추상화와 저수준 하드웨어 구현 사이를 잇는 컴퓨터 아키텍처 분야는 현재의 대규모 언어 모델(LLM) 평가에서 누락되어 있습니다. 코드 생성, 레지스터 전송 레벨(RTL) 합성, 시스템 온 칩(SoC) 통합, 칩 검증과 같은 기술적 구현 작업을 대상으로 하는 기존 벤치마크들은 주로 모델이 프로그래밍적 산출물을 생성하는 능력을 평가합니다. 이들은 모델이 다중 목적 최적화 공간 내에서 전력, 성능, 면적(PPA)의 트레이드오프와 같이 설계 결정을 가이드하는 근본적인 원리에 대해 추론할 수 있는지 여부를 평가하는 데 실패합니다.

GSM8K, AIME, SWE-bench와 같은 기존 벤치마크는 수학, 소프트웨어 엔지니어링 및 일반 과학에서의 추론을 측정하지만, 컴퓨터 아키텍처를 위해 요구되는 개념적 및 분석적 추론 능력을 평가하기 위한 전용 벤치마크는 존재하지 않습니다. 이러한 격차는 컴퓨팅 시스템 설계를 가속화할 수 있는 AI 에이전트 개발을 저해합니다.

방법론

벤치마크 구축 (QUARCH v1.0)

저자들은 컴퓨터 아키텍처 분야에 특화된 LLM의 지식 및 추론 능력을 개발하고 평가하기 위해 설계된 최초의 벤치마크인 QUARCH(‘쿼크’로 발음)를 소개합니다. 이 벤치마크는 2,671개의 전문가 검증 질문-답변(QA) 쌍으로 구성됩니다. 품질과 관련성을 보장하기 위해 구축 과정에는 세 가지 전략이 사용되었습니다:

1. 합성 데이터 생성: LLM이 기술 매뉴얼, 학술 출판물 및 온라인 리소스를 기반으로 클로즈 스타일(cloze-style) 객관식 문제(MCQ)를 생성했습니다. 이는 LLM-as-a-judge를 통한 1차 필터링과 3명의 인간 전문가에 의한 독립적 검토라는 2단계 검증을 거쳤습니다.
2. 전문가 크라우드소싱 및 경진대회: 기술적 배경을 가진 개인들로부터 고급 분석, 설계 및 구현 문제를 요청하기 위한 웹 기반 포털이 개발되었습니다. 제출된 내용은 모호성과 정확성에 대해 검토되었습니다.
3. 학술 시험: 웹 스크래핑과 텍스트 및 다이어그램을 추출하여 독립적인 QA 쌍으로 변환하는 커스텀 파이프라인을 통해 대학 컴퓨터 아키텍처 시험에서 문제를 큐레이션했습니다.

기술 프레임워크

QUARCH는 아키텍트들이 실제 업무에서 추론하는 방식에 맞춰 네 가지 기초 역량을 평가합니다:

• 회상 (Recall): 도메인 지식, 정의 및 사실을 검색함 (예: 다이어그램에서 구성 요소 식별).
• 분석 (Analyze): 워크로드의 영향 및 시스템 동작을 추론하기 위해 데이터를 연역, 추론 또는 해석함 (예: 병목 현상 식별).
• 설계 (Design): 제약 조건을 충족하고 트레이드오프를 균형 있게 조절하면서 아키텍처 특징을 제안하거나 개선함 (예: 동적 분기 예측 시스템 제안).
• 구현 (Implement): 솔루션을 검증하기 위해 설계를 실행 가능한 산출물(코드/RTL/시뮬레이션 스크립트)로 변환함.

데이터셋은 1,547개의 MCQ와 1,124개의 자유 응답형 질문(FRQ)을 포함하며, 텍ming 텍스트와 함께 이미지(다이어그램, 회로도, 플롯)를 포함하는 548개의 멀티모달 질문이 포함되어 있습니다.

평가 프로토콜

저자들은 10개의 프런티어 모델(Anthropic, DeepSeek, Google, Meta, Mistral, OpenAI 제품)을 제로샷 설정에서 평가했습니다.

• 채점: MCQ의 경우 최종 선택지에 의해 정답 여부가 결정됩니다. FRQ의 경우, 정답(ground truth)에 대한 정확성을 평가하기 위해 LLM-as-a-judge(CLAUDE-3.7-SONNET-THINKING)가 채택되었습니다.
• 검증: LLM-as-a-judge의 충실도는 인간 도메인 전문가와 비교하여 검증되었습니다. LLM 심사위원과 인간 전문가 간의 일치율은 **85.48%**였으며, 이는 인간 간의 일치율인 **90.75%**와 유사한 수준입니다.
• 지표: 성능은 "per-generation accuracy" (3세대 생성에 대한 pass@k=1 추정치)로 보고됩니다.

주요 기여

1. 최초의 특화된 벤치마크: QUARCH v1.0은 전문가가 검증한 2,671개의 QA로 구성된, LLM의 고급 컴퓨터 아키텍처 지식 및 추론을 명시적으로 평가하기 위해 설계된 최초의 벤치마크입니다.
2. 정형화된 기술 프레임워크: 본 논문은 네 가지 별도의 기술(회상, 분석, 설계, 구현)에 따라 LLM을 체계적으로 평가하는 프레임워크를 구축하여, 모델이 도메인 지식은 보유할 수 있으나 고차원적 추론에는 어려움을 겪는다는 점을 밝혀냈습니다.
3. 포괄적인 분석: 저자들은 코드 실행의 아키텍처 의미론, 비전형적인 아키텍처 속성에 대한 가정, 시스템 상태 모델링의 어려움, 주제별 전문성의 이질성 등을 포함한 모델의 트렌드와 실패 지점에 대한 심층적인 분석을 제공합니다.
4. 확장 가능한 평가 방법론: 자유 형식의 응답을 평가하기 위해 인간 전문가와 높은 일치도를 보이는 LLM-as-a-judge를 사용하는 신뢰할 수 있는 방법론을 입증했습니다.
5. 지식 전이 시연: QUARCH QA를 통해 오픈 소스 모델을 미세 조정(fine-tuning)하는 것이 실제적인 메모리 계층 구조 설계 작업의 성능 향상으로 이어진다는 것을 보여주었으며, 결과적으로 더 면적 효율적이고 실행 가능한 솔루션을 도출했습니다.

결과

모델 성능

• 회상 vs. 추론: 프런티어 모델들은 회상 질문(정확도 84%–91%)에서 강력한 성능을 보여, 기초적인 도메인 지식을 보유하고 있음을 나타냅니다. 그러나 추론 기술(분석, 설계, 구현)에서는 성능이 크게 하락합니다.
• 성능 격차: 회상과 추론 사이의 격차는 상당합니다. 예를 들어, GPT-5.2는 회상에서 88.4%를 달성했지만 추론에서는 73.2%로 떨어집니다. 다른 모델들은 더 큰 격차를 보이며, 일부 모델은 높은 회상 점수에도 불구하고 고차원 기술에서 35% 미만의 성적을 기록하기도 합니다.
• 기술적 편차: 구현 기술은 가장 넓은 성능 격차(24%–72%)를 보이며, 이는 설계 개념을 실행 가능한 산출물로 변환하는 것이 여전히 큰 과제임을 시사합니다.
• 모달리티 민감도: 멀티모달 모델은 텍스트 전용 질문에 비해 이미지가 포함된 질문에서 약 5% 낮은 성능을 보였으며, 이는 아키텍처 다이어그램 및 회로도를 해석하는 데 어려움이 있음을 나타냅니다.

실패 모드

분석을 통해 다음과 같은 특정 실패 모드가 확인되었습니다:

• 코드 실행 의미론: 모델은 고수준 코드가 하드웨어와 어떻게 상호작용하는지(예: 메모리 액세스 패턴, 인스트럭션 스케줄링) 이해하는 데 어려움을 겪습니다.
• 비전형적인 가정: 프롬프트에 표준 관례가 명시되지 않은 경우, 모델은 종로는 비전형적인 아키텍처 속성(예: 워드 단위 주소 지정)을 기본값으로 설정하는 경향이 있습니다.
• 시스템 상태 추적: 모델은 일관된 시스템 상태를 유지하는 데 자주 실패하며, 이로 인해 진화하는 시나리오에서 레이턴시 및 처리량에 대한 잘못된 추론을 내립니다.
• 주제 이질성: 전문성은 주제에 따라 크게 다릅니다. "신흥 아키텍처"에 강한 모델이 "IP 설계"에서는 어려움을 겪을 수 있습니다.

지식 전이 사례 연구

ML 하드웨어 가속기를 위한 메모리 계층 구조 설계와 관련된 사례 연구에서:

• QUARCH QA를 사용하여 오픈 소스 모델(GEMMA-3-27B-IT 및 LLAMA-3.3-70B-INSTRUCT)을 미세 조정했을 때, 엄격한 면적 및 에너지 예산을 만족하는 설계를 제안하는 실험 비율이 크게 증가했습니다 (예: Gemma의 경우 성공률이 30%에서 70%로 증가).
• 미세 조정된 모델은 베이스 모델에 비해 최대 1.99배 더 면적 효율적인 설계를 발견했습니다.

의의 및 주장

본 논문은 QUARCH가 컴퓨팅 시스템의 혁신을 가속화할 수 있는 LLM의 능력을 구축하고 측정하기 위한 토대를 제공한다고 주장합니다. 아키텍처적 사실을 "아는 것"과 아키텍처적 트레이드오프에 대해 "추론하는 것" 사이의 핵심적인 격차를 해결함으로써, QUARCH는 근본적인 기술을 총체적으로 평가합니다.

저자들은 프런티어 모델들이 도메인 특화 지식은 갖추고 있으나, 아키텍처 추론에 필요한 고차원적 사고에는 어려움을 겪는다는 점을 강조합니다. 이 벤치마크는 이러한 격차를 진단하는 도구이자, 실제 설계 작업에서 모델의 성능을 향 향상시키기 위한 훈련장 역할을 합니다. 미세 조정된 모델이 더 효율적인 하드웨어 설계를 생성할 수 있다는 점은 QUARCH가 LLM의 발전을 시스템 설계 분야의 에이전트 방법론으로 효과적으로 전환할 수 있음을 시사합니다.

본 연구의 범위는 전체 에이전트 도구 체인보다는 개념적 추론과 QA 패러다임에 집중하고 있으나, 이러한 추론 능력을 격리하여 측정하는 것이 견고한 컴퓨터 아키텍처용 AI 에이전트를 개발하기 위한 필수적인 선행 단계라고 주장합니다. 벤치마크와 리더보드는 추가적인 연구와 개발을 촉진하기 위해 공개되어 있습니다.