기술 요약: RulePlanner

문제 정의

플로어플랜링은 현대의 응용 특화 집적 회로 (ASIC) 설계에서 기능 모듈의 좌표와 형태를 결정하는 중요한 NP-난제 단계입니다. 기술 노드가 확장됨에 따라 (예: 5 나노미터) 그리고 설계가 여러 개의 적층된 레이어를 가진 3 차원 시나리오로 이동함에 따라, 하드웨어 설계 규칙을 준수하는 복잡성이 크게 증가했습니다. 이러한 규칙에는 경계 제약 (특정 단자와 블록 정렬), 그룹화 제약 (전압 섬을 위해 물리적으로 인접한 블록), 다이 간 블록 정렬, 사전 배치 요구 사항, 중첩 금지, 윤곽선 적합성, 그리고 형태 제약이 포함됩니다.

현재 최첨단 방법들, 즉 분석적 방법, 휴리스틱 기반 방법, 그리고 기존 강화 학습 (RL) 접근법들은 이러한 제약들을 동시에 처리하는 데 어려움을 겪고 있습니다. 대부분의 방법은 특정 규칙 (예: 중첩 금지 또는 정렬) 에 맞춰져 있으며, 종종 다른 규칙들을 동시에 만족시키지 못합니다. 결과적으로, 처리되지 않은 규칙의 위반은 숙련된 엔지니어들이 노동 집약적이고 시간이 많이 소요되는 수동 사후 처리를 필요로 합니다. 기존 RL 방법들은 일반적으로 보상 함수에 페널티를 통합하는 데 의존하는데, 이는 광범위한 미세 조정 없이는 복잡한 하드 제약 조건을 정확하게 해결하기에 종종 불충분하거나 유효한 해에 수렴하지 못합니다.

방법론

본 논문은 3 차원 플로어플랜링에서 다양한 하드웨어 설계 규칙의 처리를 통합하도록 설계된 심층 강화 학습 프레임워크인 RulePlanner를 제안합니다. 이 접근법은 문제를 액터-크리틱 에이전트에 의해 해결되는 에피소드적 마르코프 결정 과정 (MDP) 으로 형식화합니다. 핵심 혁신은 세 가지 주요 구성 요소를 포함하는 통합 프레임워크에 있습니다:

1. 설계 규칙을 위한 새로운 행렬 표현

RulePlanner 는 제약 조건을 단순한 소프트 페널티로만 취급하는 대신, 설계 규칙을 모델링하기 위한 명시적인 행렬 표현을 도입합니다:

• 인접 단자 마스크 (Adjacent Terminal Mask): 각 요소가 잠재적 블록 위치와 필요한 인접 단자 사이의 맨해튼 거리를 나타내는 행렬 $T \in \mathbb{R}^{W \times H}$입니다. 이는 경계 제약 조건을 모델링합니다.
• 인접 블록 마스크 (Adjacent Block Mask): 이동 가능한 블록과 이미 배치된 블록 사이의 인접 길이를 나타내는 행렬 $B \in \mathbb{R}^{W \times H}$입니다. 이는 그룹화 제약 조건 (예: 전압 섬) 을 모델링합니다.
• 정렬 마스크 (Alignment Mask): 다이 간 블록 정렬 제약 조건을 모델링하는 데 사용됩니다.

이러한 마스크는 모든 가능한 위치를 평가하는 계산 비용을 처리하기 위해 GPU 병렬화 (예: meshgrid 연산) 를 사용하여 효율적으로 계산됩니다.

2. 행동 공간 제약

RulePlanner 는 무효한 이동을 억제하기 위해 보상 페널티에만 의존하는 대신, 행동 공간에 직접 하드 제약 조건을 적용하여 샘플링되기 전에 무효한 행동을 필터링합니다.

• 위치 필터링: 정책 네트워크는 블록 위치에 대한 로짓을 생성합니다. 이진화된 인접 단자, 인접 블록, 정렬, 그리고 위치 마스크를 결합하여 이진 가용성 마스크 (Availability Mask)($M$) 가 구성됩니다. 이 마스크는 정책의 출력 분포에 적용되어 (원소별 곱셈 및 소프트맥스를 통해) 무효한 위치의 확률을 0 으로 만들어, 에이전트가 경계, 그룹화, 그리고 정렬 규칙을 만족하는 배치만 샘플링하도록 보장합니다.
• 종횡비 클리핑: 종횡비는 가우시안 분포로 모델링되지만, 형태 제약 조건을 만족시키기 위해 유효 범위 $[AR_{min}, AR_{max}]$로 클리핑됩니다.

3. 정량적 분석 및 보상 형성

이 프레임워크는 제약 조건 준수를 평가하기 위해 정량적 지표를 사용하며, 이를 보상 함수에 통합합니다:

• 지표: 블록 - 단자 거리 (최소화 대상), 블록 - 블록 인접 길이 (최대화 대상), 정렬 점수 (최대화 대상), 반둘레 와이어 길이 (HPWL), 그리고 중첩.
• 보상 함수: 다양한 지표의 서로 다른 크기 (예: HPWL 대 정렬 점수) 를 처리하기 위해 자기 적응 정규화를 포함하는 밀집 보상 체계가 사용됩니다. 보상에는 이러한 지표에 대한 가중 항이 포함되어, 정책이 여러 규칙을 동시에 만족하도록 유도합니다.

모델 아키텍처

• 입력: 상태는 중첩된 설계 규칙 행렬 (마스크, 캔버스, 와이어 마스크) 과 네트리스트 그래프로 구성됩니다.
• 인코더: Transformer 기반 인코더가 네트리스트 그래프를 처리하는 반면, CNN 은 공간 행렬을 처리합니다.
• 하이브리드 행동 공간: 에이전트는 이산적 위치 $(x, y)$와 연속적 종횡비 $AR$을 출력합니다.
• 훈련: 시스템은 하이브리드 행동 공간을 가진 근접 정책 최적화 (PPO) 를 사용합니다.

주요 기여

1. 다양한 규칙을 위한 통합 프레임워크: RulePlanner 는 3 차원 플로어플랜링에서 7 개 이상의 산업 설계 규칙 (경계, 그룹화, 다이 간 정렬, 사전 배치, 중첩 금지, 윤곽선, 그리고 형태) 을 동시에 만족시킬 수 있는 최초의 프레임워크로 제시됩니다. 이 프레임워크는 모듈화되어 있으며 새로운 규칙으로 확장 가능합니다.
2. 새로운 표현: 복잡한 제약 조건을 명시적으로 모델링하기 위한 인접 단자 및 인접 블록 마스크의 도입으로, 단순한 페널티 기반 접근법을 넘어섰습니다.
3. 행동 공간 가지치기: 이 방법은 이진 마스크를 통해 행동 공간을 필터링함으로써 하드 제약 조건을 강제하여, 샘플링된 행동이 본질적으로 중요한 설계 규칙을 만족하도록 보장함으로써 검색 공간을 줄이고 훈련을 가속화합니다.
4. 정량적 지표: 복잡한 제약 조건을 정량적으로 평가하고 최적화하기 위한 특정 지표 (예: 블록 - 블록 인접 거리) 의 제안.

실험 결과

저자들은 RulePlanner 를 다양한 설계 제약 조건의 조합을 가진 세 가지 작업에 걸쳐 공개 벤치마크 (MCNC 및 GSRC) 에서 평가했습니다.

• 제약 조건 준수: RulePlanner 는 작업 1 에서 테스트된 모든 회로에서 블록 - 단자 거리를 0.000으로 달성하여 단자와의 완벽한 정렬을 나타냈습니다. 작업 2 에서 평균 블록 - 블록 인접 길이는 0.223으로, 최상의 베이스라인 (0.082) 을 크게 능가했습니다.
• 베이스라인과의 비교: 분석적, 휴리스틱 (B*-3D-SA, WireMask-BBO), 그리고 RL 기반 베이스라인 (GraphPlace, DeepPlace, MaskPlace, FlexPlanner) 과 비교했을 때, RulePlanner 는 일관되게 모든 설계 규칙을 동시에 만족시켰습니다. 일부 베이스라인 (예: Analytical, WireMask-BBO) 은 특정 대형 회로에서 더 낮은 HPWL 을 달성했지만, 경계, 그룹화, 또는 정렬 제약 조건을 만족시키지 못해 종종 심각한 위반을 초래했습니다.
• 일반화 및 전이성:
  • 제로샷: n100 회로로 훈련된 모델은 미세 조정 없이도 보이지 않는 회로 (n10 에서 n300) 로 강력한 제로샷 일반화를 보여주며, 제약 조건 준수 지표에서 높은 성능을 유지했습니다.
  • 미세 조정: 더 큰 회로 (n200, n300) 에서 사전 훈련된 가중치를 미세 조정하는 것은 처음부터 훈련하는 것과 비교하여 계산 비용을 크게 줄이면서 동등하거나 더 우수한 성능을 달성했습니다.

중요성 및 주장

본 논문은 RulePlanner 가 현대 칩 설계의 중요한 병목 현상, 즉 3 차원 IC 설계의 다면적이고 동시에 발생하는 제약 조건을 처리할 수 있는 현재 자동화 도구의 무능력을 해결한다고 주장합니다. 새로운 행렬 표현과 행동 공간 제약을 통해 다양한 규칙을 단일 프레임워크로 통합함으로써, 이 방법은 광범위한 수동 사후 처리의 필요성을 제거합니다.

저자들은 그들의 접근 방식이 우선순위의 전략적 전환을 나타낸다고 강조합니다: 복잡한 설계 규칙에 대한 완전한 준수를 달성하는 것이 고립된 상태에서 절대적으로 가장 낮은 HPWL 을 달성하는 것보다 더 중요하다고 간주됩니다. 프레임워크의 확장성은 열 최적화 (미래 방향으로 제안됨) 와 기타 암시적 제약 조건과 같은 미래 칩 설계의 새로운 과제를 해결하기 위한 핵심 기능으로 강조됩니다. 이 연구는 도메인 특유의 구조적 제약 조건과 표현으로 강화된 심층 강화 학습이 제약이 있는 3 차원 플로어플랜링이라는 NP-난제 문제를 효과적으로 해결할 수 있음을 보여줍니다.