반도체 칩 설계는 수백 개의 부품 (블록) 을 아주 좁은 공간에 배치하는 일입니다. 이때 배선 길이, 열 발생, 전류 흐름 등을 최적화해야 합니다.
기존 방식 (이산적 그리드): 기존 AI 는 칩을 **거대한 격자 (바둑판)**로 나누고, 각 칸에 번호를 매겨서 "이 칸에 부품 A 를 놓아라"라고 선택했습니다.
한계: 칩이 커지면 격자 수가 기하급수적으로 늘어납니다. 예를 들어, 3D(입체) 칩을 설계하려면 격자 수가 수만 개가 됩니다. AI 가 매번 "1 번 칸, 2 번 칸, ..., 10,000 번 칸 중 어디가 좋을까?"라고 일일이 계산해야 하므로 속도가 매우 느리고, 학습이 어렵습니다. 마치 수만 개의 문이 있는 방에서 하나하나 문을 열어보며 정답을 찾는 것과 같습니다.
2. 해결책: "연속적인 공간 감각" (SGF)
이 논문은 AI 에게 격자 번호 대신 **연속적인 좌표 (x, y, z)**를 가르치는 방식을 제안합니다.
새로운 방식 (연속적 표현): AI 는 "1 번 칸"이 아니라 "이곳에서 조금만 오른쪽으로, 위로 살짝 이동한 곳"처럼 정밀한 위치를 생각합니다.
핵심 아이디어 (L-Action Similarity): 저자들은 **"가까운 곳에 부품을 놓으면 결과도 비슷하다"**는 인간의 직관을 AI 에게 심어주었습니다.
비유: 만약 당신이 책상 위에 컵을 놓을 때, "정중앙"에 놓는 것과 "정중앙에서 1mm 왼쪽"에 놓는 것의 결과가 크게 다르지 않다는 것을 알고 있습니다. 기존 AI 는 이 두 위치를 완전히 다른 문제로 보았지만, 이 새로운 AI 는 **"가까운 위치는 비슷한 결과를 낸다"**는 규칙을 학습합니다.
효과: AI 는 한 번의 실수나 성공에서 주변 영역까지 함께 학습할 수 있게 되어, 훨씬 적은 데이터로도 빠르게 배울 수 있습니다.
3. 실험: "무작위 낙서"에서도 배울 수 있을까?
이 연구의 가장 놀라운 점은 전문가 데이터 없이도 학습이 가능하다는 것을 증명했다는 것입니다.
기존 방식: 보통 AI 는 훌륭한 설계자 (전문가) 가 만든 '정답 예시'를 보고 학습해야 합니다.
이 연구: AI 에게 완전 무작위로 부품을 배치하는 데이터 (엉망진창인 설계도) 만 주었습니다.
결과: 놀랍게도 AI 는 이 무작위 데이터 속에서 "어떤 배치가 배선 길이를 줄이는지", "어떤 배치가 열을 잘 방출하는지"라는 패턴을 스스로 찾아냈습니다.
비유: 마치 무작위로 그림을 그리는 아이에게 "이 그림은 예쁘다/예쁘지 않다"라고만 알려주면, 아이는 결국 아름다운 그림을 그리는 법을 스스로 터득하는 것과 같습니다. AI 는 "가까운 위치는 비슷한 점수를 준다"는 규칙을 통해 엉망진창 데이터에서도 의미를 찾아냈습니다.
4. 작동 원리: "예상가 (Critic) 와 제안자 (Actor)"
이 시스템은 두 명의 AI 가 팀을 이루어 작동합니다.
제안자 (Actor): "부품을 이 좌표 (x, y, z) 에 놓아보자!"라고 연속적인 좌표를 제안합니다.
예상가 (Critic): 제안된 좌표 주변의 몇 가지 실제 가능한 위치 (격자점) 를 찾아서, "이곳에 놓으면 최종 점수가 얼마나 나올까?"를 예측합니다.
최종 결정: 예상가가 가장 좋은 점수를 줄 것 같은 위치를 최종 선택합니다.
이 방식 덕분에 AI 는 거대한 격자 전체를 계산할 필요 없이, 가장 유망한 지역만 집중적으로 탐색할 수 있어 속도가 빨라지고 정확도가 높아집니다.
5. 결론: 왜 이것이 중요한가?
확장성: 칩이 3D 로 발전하고 더 복잡해져도, 격자 수가 늘어나는 것에 따라 AI 모델 크기가 폭발하지 않습니다. (출력 크기가 격자 수와 무관함)
효율성: 전문가 데이터가 없어도, 혹은 데이터가 부족해도 공간적 패턴을 학습하여 훌륭한 설계를 만들어냅니다.
인간적 직관: 인간의 설계자가 "이 근처에 두면 비슷할 거야"라고 직관적으로 판단하는 방식을 AI 가 수학적으로 구현했습니다.
한 줄 요약:
"이 논문은 반도체 칩 설계 AI 에게 수만 개의 문이 있는 방을 일일이 열어보게 하지 않고, 주변의 문을 열어보면 결과가 비슷하다는 '공간 감각'을 가르쳐서, 엉망진창 데이터에서도 훌륭한 설계도를 그릴 수 있게 만들었습니다."
1. 문제 정의 (Problem Definition)
배경: 집적회로 (IC) 설계에서 플로어플래닝 (Floorplanning) 은 기능 블록의 배치를 최적화하여 전력, 성능, 면적, 열적 특성을 결정하는 핵심 단계입니다. 이는 NP-hard 문제이며, 블록 수가 증가함에 따라 탐색 공간이 기하급수적으로 커집니다.
기존 접근법의 한계: 최근 머신러닝 (특히 강화학습, RL) 기반 플로어플래닝 방법들 (CircuitTraining, Chipformer 등) 은 대부분 이산적 (Discrete) 그리드 좌표를 사용하여 배치를 표현합니다.
확장성 병목 현상: 캔버스 (배치 영역) 의 해상도가 높아지거나 3D 배치로 확장될 때, 가능한 행동 (Action) 의 수가 급증합니다. 예를 들어, 100×100 그리드에서 3D 레이어 2 개를 추가하면 행동 공간 크기가 $20,000$배 이상 증가하여 모델의 출력 차원이 캔버스 해상도에 선형적으로 비례하게 됩니다.
학습 비효율성: 이산적 분류 방식에서는 선택된 그리드 위치에만 보상 (Gradient) 이 전달되며, 인접한 위치들에 대한 학습 신호가 없습니다. 이로 인해 대규모 행동 공간에서 일반화 (Generalization) 가 어렵고 샘플 효율성이 떨어집니다.
2. 제안 방법론: 공간 일반화 (Spatial Generalization for Floorplanning, SGF)
저자들은 플로어플래닝 문제를 **구조화된 대규모 이산 행동 공간 (Structured Large Discrete Action Space, SLDAS)**으로 재정의하고, 이를 해결하기 위해 **연속적 행동 표현 (Continuous Action Representation)**을 도입했습니다.
핵심 아이디어: L-Action Similarity
개념: 배치 공간에서 서로 인접한 행동 (위치) 은 유사한 보상 (Return) 을 산출한다는 가정입니다. 즉, 모듈의 위치를 미세하게 변경해도 설계 목표 (와이어 길이, 혼잡도 등) 에 미치는 영향이 제한적입니다.
수식적 정의: 행동 가치 함수 Qπ(s,a)가 행동 공간 거리 ∥a−a′∥에 대해 L-Lipschitz 연속성을 가진다고 가정합니다. 이는 인간 설계자가 물리적 공간에서 "작은 위치 변화는 유사한 결과를 낳는다"는 직관을 수학적으로 형식화한 것입니다.
SGF 아키텍처
SGF 는 Wolpertinger 에이전트 구조를 **Decision Transformer (DT)**와 결합하여 구현했습니다.
Actor (연속 예측):
현재 상태 (배치된 모듈, 회로 그래프, 와이어 길이 증가량 등) 를 입력받아 다음 모듈의 배치 위치를 연속적인 정규화 좌표 (α^t∈[0,1]3) 로 예측합니다.
이산 그리드와 달리, 모델의 출력 차원은 캔버스 해상도와 무관하게 3 차원 벡터로 고정됩니다.
k-NN (이산화):
Actor 가 예측한 연속 좌표를 기반으로, 실제 배치 가능한 가장 가까운 k개의 이산적 행동을 탐색합니다.
Critic (선택 및 평가):
k개의 후보 행동 각각에 대해 "나머지 경로에서 기대되는 보상 (Return-to-Go, RTG)"을 예측합니다.
목표 보상 (Target RTG) 에 가장 근접한 행동을 최종 선택합니다.
학습 전략: 무작위 궤적 기반 학습
전문가 데이터 불필요: 기존 방법들은 최적의 전문가 데이터 (Expert Trajectories) 를 필요로 하지만, SGF 는 완전히 무작위로 생성된 플로어플래닝 궤적만으로 학습합니다.
이유: SLDAS 의 구조적 특성 (L-Action Similarity) 과 공간 일반화 능력을 활용하면, 최적의 데이터가 없어도 모델이 배치 패턴과 보상 간의 인과관계를 학습할 수 있음을 증명하기 위함입니다. 이는 Hindsight Experience Replay (HER) 및 Goal-Conditioned Supervised Learning (GCSL) 개념을 연속 공간에 적용한 변형입니다.
3. 주요 기여 (Key Contributions)
SLDAS 형식화: 칩 레이아웃 문제를 SLDAS 로 처음 수학적으로 형식화하고, 이를 해결하기 위한 연속적 행동 표현의 타당성을 입증했습니다.
해상도 독립적 출력: 모델의 출력 차원을 캔버스 해상도에서 해방시켜, 고해상도 및 3D 배치 환경에서도 확장 가능한 (Scalable) 학습을 가능하게 했습니다.
공간 일반화 효과: 이산적 그리드 기반 모델이 인접한 행동에 대한 학습 신호를 받지 못하는 반면, 연속적 표현은 공간적 인접성을 통해 노이즈가 있거나 비최적의 데이터에서도 효과적인 학습이 가능함을 보였습니다.
무작위 데이터 학습 가능성: 전문가 데이터 없이 무작위 배치 데이터만으로 유의미한 플로어플래닝을 생성할 수 있음을 실험적으로 증명했습니다.
4. 실험 결과 (Results)
벤치마크: MCNC, IBM, GSRC 벤치마크 (ami33, ami49, n50, n100, ibm6 등) 에서 Chipformer (최신 이산적 그리드 기반 모델) 와 비교 평가했습니다.
성능:
와이어 길이 (Wirelength): SGF 는 Chipformer 대비 모든 벤치마크에서 더 낮은 와이어 길이를 달성했습니다 (예: ami49 에서 37,530 vs 32,304).
온라인 미세 조정 (Fine-tuning) 비교: Chipformer 는 추가적인 온라인 학습 (Rollout) 을 통해 성능이 개선되지 않거나 오히려 변동성이 큰 반면, SGF 는 오프라인 학습만으로도 Chipformer 의 온라인 학습 결과보다 우수한 성능을 보였습니다.
확장성: 3D 환경에서 행동 공간이 커질수록 이산적 모델의 학습이 어려워지는 반면, SGF 는 일관된 성능을 유지했습니다.
Critic 분석: Critic 모델은 배치 과정이 진행될수록 최종 결과에 대한 예측 오차가 감소하는 경향을 보였으며, 이는 모델이 공간적 맥락을 효과적으로 학습하고 있음을 시사합니다.
5. 의의 및 결론 (Significance)
이 논문은 강화학습 기반의 IC 설계 자동화 (EDA) 분야에서 **행동 표현 (Action Representation)**의 중요성을 재조명했습니다.
이론적 통찰: 플로어플래닝과 같은 물리적 배치 문제는 본질적으로 "인접한 행동이 유사한 결과를 낳는" 구조를 가지므로, 이를 반영한 연속적 표현이 학습 효율성과 일반화 능력을 극대화한다는 것을 증명했습니다.
실용적 가치: 고해상도 3D 칩 설계와 같이 행동 공간이 거대해지는 미래 설계 과제에서, 그리드 기반 접근법의 한계를 극복할 수 있는 새로운 패러다임을 제시했습니다.
데이터 효율성: 고품질의 전문가 데이터 수집이 어렵거나 비용이 많이 드는 상황에서도, 무작위 데이터와 구조적 인덕티브 바이어스 (Inductive Bias) 만으로 유의미한 설계 솔루션을 도출할 수 있음을 보여주었습니다.
결론적으로, SGF 는 대규모 행동 공간 문제를 해결하기 위해 **공간적 일반화 (Spatial Generalization)**와 연속적 의사결정을 결합함으로써, 차세대 3D 플로어플래닝을 위한 강력한 프레임워크를 제시합니다.