기술 요약: 현대 마이크로아키텍처 정책에 대한 머신러닝 기반 랭킹의 한계에 관하여

문제 정의

사이클 단위 시뮬레이션은 마이크로아키텍처 설계 공간 탐색(DSE)의 골드 스탠다드로 남아 있지만, 그 계산 비용으로 인해 탐색의 폭이 제한된다. 머신러닝(ML) 예측기는 시뮬레이션보다 빠르게 프로세서 성능을 근사하기 위해 등장했다. 그러나 기존 문헌은 주로 회귀 지표(예: 평균 오차, 사이클 정확도)나 집계된 랭킹을 사용하여 이러한 예측기를 평가한다.

본 논문은 DSE를 위해 중요한 과업이 단순히 집계된 성능이나 평균적인 하드웨어 순위를 재현하는 것이 아니라, 특히 다음과 같은 상황에서 **개별 프로그램 단계(instruction windows)**에 대해 후보 설계들을 신뢰성 있게 랭킹하는 것이라고 주장한다:

1. 구조적 역전(Structural Reversals) 발생 시: 자원 우선순위에 따라 더 느릴 것으로 예상되었던 구성이 특정 윈도우에서는 실제로 더 빠른 경우.
2. 행동 정책(Behavioral Policies)이 매우 유사할 때: 현대적인 프리페칭 및 교체 정책들은 종종 단 몇 사이클 차이로 구분되며, 그 결과는 명령어 스트림에는 존재하지 않는 숨겨진 마이크로아키텍처 상태에 의존한다.

핵한 질문은 ML 예측기가 이러한 "어려운" 사례들에서 올바른 순서를 복구할 수 있는지, 아니면 단순히 지배적인 경향만을 학습하고 건축적 통찰력을 이끌어내는 국소적 역전 현상에는 실패하는지 여부이다.

방법론

실험 설정

저자들은 29개의 SPEC CPU2006 트레이스를 사용하여 통일된 프로토콜 하에 네 가지 서로 다른 ML 예측기 제품군을 평가한다. 입력 피처는 엄격하게 마이크로아키텍처 독립적(프로그램 카운터, opcode 클래스, 메모리 주소, 소스/대상 레지스터)이며, 이는 시뮬레이터 전용 상태(캐시 히트, 프리페치 신뢰도, 교체 이력 등)를 사용할 수 없는 가볍고 "실제 환경(in-the-wild)"에서의 배포를 시뮬레이션한다.

평가는 두 가지 설계 레짐(regime)에 초점을 맞춘다:

1. 구조적 파라미터 (SP): 이슈 폭, ROB 크기, LSQ 용량, 캐시 크기와 같은 자원을 변화시킨 다섯 가지 프로세서 구성. 이 레짐은 **역설적 윈도우(Counter-Intuitive Windows, CIWs)**를 탐지하는 능력을 테스트한다. 즉, 자원 우선순위에 따라 더 느릴 것으로 예상되는 구성이 실제로 더 빠른 윈도우를 의미한다.
2. 행동 정책 (BP): 최첨단 데이터 프리페처, 명령어 프리페처, 교체 정책을 결합한 9가지 경쟁적인 정책 스택. 이 레짐은 그라운드 트루스(ground-truth) 상의 동률(tie)이 빈번하고 격차가 미세한 고도로 최적화된 설계들을 구별하는 능력을 테스트한다.

평가된 예측기

연구는 전문화를 극대화하기 위해 각 구성별로 독립적으로 학습된 네 가지 대표 모델 제품군을 인스턴스화한다:

• NeuroScalar 스타일: BiLSTM 시퀀스 예측기.
• SimNet 스타일: MLP/CNN 레이턴시 예측기.
• Concorde 스타일: 윈도우 요약(distributional features) 예측기.
• OneDSE 스타일: 트랜스포머 시퀀스 예측기.

지표

평가는 회귀 오차보다 랭킹 품질을 우선시한다:

• 쌍별 일치(Pairwise Match): 동률이 아닌 윈도우에 대해 사이클 수의 엄격한 순서를 보존하는 정확도.
• CIW 일치(CIW Match): 기대되는 하드웨어 우선순위가 역전되는 특정 윈도우에서의 정확도.
• 베이스라인 비교: 모델이 문맥 의존적 순서를 학습하는지 아니면 단순히 정적 우선순위를 학습하는지 결정하기 위해, 피처가 없는 다수결 베이스라인(학습 시 더 빈번한 승자를 예측)과 성능을 비교한다.
• 마진 분석(Margin Analysis): 정책 간의 그라운드 트루스 사이클 차이(마진)와 관련하여 정확도를 분석한다.

주요 결과

1. 행동 정책 (BP) 레짐: 제한된 신호

BP 레짐에서 ML 예측기는 단순한 베이스라인을 능가하는 데 어려움을 겪는다:

• 동률 및 마진: 쌍-윈도우의 37.8%가 그라운드 트루스 상의 동률이다. 엄격한 쌍들 중 50.8%는 마진이 ≤25 사이클이다.
• 베이스라인 성능: 네 가지 모델 제품군 중 세 가지(LSTM, SimNet, Concorde)가 피처가 없는 다수결 베이스라인과 같거나 그 이하의 성능을 보인다.
• 미미한 이득: 가장 성능이 좋은 모델(OneDSE)은 다수결 베이스라인보다 단 2.1 퍼센트 포인트 개선된 성능(57.51% vs 55.42%)을 보인다.
• 마진 의존성: 이득은 랭킹이 이미 쉬운 큰 마진 윈도우(>50 사이클)에 거의 전적으로 집중되어 있다. 작은 마진 윈도우(1–5 사이클)에서 모든 모델은 무작위 확률에 가까운 성능을 보인다.
• 워크로드 이질성: lbm, povray와 같이 일관된 메모리 페이즈로 인해 학습 가능한 패턴을 보이는 벤치마크도 있지만, 다른 벤치마크들은 신호가 없다. 글로벌 평균 정확도는 이러한 불확실성을 은폐한다.

2. 구조적 파라미터 (SP) 레짐: CIW 실패

SP 레짐에서 집계된 랭킹은 강력하지만(전체 윈도우 합의율 77–89%), 이는 결정적인 실패를 가린다:

• 역설적 윈도우 (CIWs): 명확한 아키텍처 우선순위가 존재하는 다섯 가지 쌍에서 CIW는 비동률 윈도우의 22.4%를 차지한다.
• 역전 탐지 실패: 네 가지 모델 제품군 모두 CIW에서 50% 무작위 엄격 순서 참조치 미만의 성능을 보인다 (23.3% ~ 39.9%).
• 시사점: 모델은 지배적인 하드웨어 트렌드(예: "더 넓은 이슈 폭이 일반적으로 더 빠르다")는 성공적으로 학습하지만, 복잡한 상호작용으로 인해 이 트렌드가 역전되는 특정 윈도우를 식별하는 데는 실패한다.

3. 회귀 vs 랭킹의 괴리

높은 회로 정확도(예: 1 사이클 이내 정확도 >95%)가 랭킹의 신뢰성을 보장하지는 않는다. 모델은 절대 오차는 낮지만, 실제 마진이 예측 노이즈보다 작을 때 순서를 바꾸는 데 실패할 수 있다.

이론적 분석: 왜 랭킹이 실패하는가

논문은 이러한 한계에 대해 정보 이론적 설명을 제공하며, 실패의 원인이 모델 용량의 부족이 아니라 **부분적 관측 가능성(partial observability)**에 있다고 주장한다:

• 숨겨진 상태: 행동 정책의 결과는 종종 명령어 트레이스에는 존재하지 않는 숨겨진 마이크로아키텍처 상태(캐시 내용, 프리페치 큐 상태, 교체 이력 등)에 의존한다.
• 베이즈 한계(Bayes Limit): 랭킹 라벨 $S$가 입력 $X$에 존재하지 않는 숨겨진 상태 $H$에 의존할 때, 베이즈 정확도는 $I(S; X)$에 의해 제한된다. 만약 $H$가 $X$에 대해 모호함을 생성한다면, 어떤 모델의 표현력도 관측 가능한 입력만으로 결정되는 정확도를 초과할 수 없다.
• 마진 증폭: 좁은 마진 시나리오에서는 작은 예측 오차조차 랭킹을 뒤집는다. 정책 차별화의 신호는 희소하며 종종 관측 불가능한 상태와 연결되어 있기 때문에, 명목상의 데이터셋 크기에 비해 실질적인 감독(supervision) 수준은 훨씬 낮다.

의의 및 주장

이 논문의 주요 기여는 새로운 예측 아키텍처가 아니라 **한계 결과(limitation result)**를 제시하는 것이다. 저자들은 ML 기반 마이크로아키텍처 예측의 경계 조건을 확립한다:

1. 유용성은 레짐에 따라 다름: ML은 거친 구조적 프루닝(명확히 열등한 구성을 제거하는 것) 및 단일 구성 페이즈 분석에 진정으로 유용하다.
2. 트레이스 기반 예측의 한계: ML 예측기는 밀접하게 매칭된 행동 정책의 미세한 랭킹이나 **국소적 구조적 역전(CIWs)**을 탐지하기 위해 사이클 단위 시뮬레이션을 확실히 대체할 수 없다.
3. 평가 방식의 전환: 표준 회귀 지표는 DSE에 부적절하다. 평가는 반드시 동률 비율, 마진 분포, 그리고 역설적 역전 현상을 명시적으로 고려해야 한다.
4. 정보 이론적 천장: 밀접하게 매칭된 정책을 랭킹하는 능력의 부재는 현재의 모델 아키텍처(LSTM, Transformer 등)의 실패가 아니라, 입력 트레이스에 의한 숨겨진 상태의 부재라는 근본적인 한계에 의한 것이다.

저자들은 ML이 DSE의 초기 단계를 가속화할 수는 있지만, 깊이 있는 마이크로아키텍처 통찰과 단 몇 사이클 차이의 설계를 결정하기 위해서는 사이클 단위 시뮬레이션이 여전히 필수적이라고 결론짓는다.