🤖 machine learning

AttentionCap: Transformer Based Capacitance Matrix Learning Toward Full-Chip Extraction

이 논문은 Gram 표현 프레임워크와 물리 정렬 어텐션 메커니즘을 특징으로 하는 트랜스포머 기반 모델인 AttentionCap을 소개하며, 이는 강력한 전이성을 바탕으로 여러 공정 노드에 걸친 풀칩 커패시턴스 추출에 있어 기존 CNN 방식보다 우수한 정확도와 현저히 빠른 추론 속도를 달성한다.

원저자: Jiechen Huang, Hector R. Rodriguez, Dingcheng Yang, Zuochang Ye, Yibo Lin, Wenjian Yu

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiechen Huang, Hector R. Rodriguez, Dingcheng Yang, Zuochang Ye, Yibo Lin, Wenjian Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 마이크로칩 안에 흐르는 수천 개의 미세한 전선들 사이에서 전기가 얼마나 "새어 나가거나(leak)" "결합(couple)"하는지 알아내려고 노력 중이라고 상상해 보세요. 컴퓨터 칩의 세계에서는 이를 **커패시턴스 추출(capacitance extraction)**이라고 부릅니다. 만약 이를 잘못 계산하면, 칩이 너무 느려지거나, 과열되거나, 완전히 고장 날 수도 있습니다.

오랫동안 엔지니어들은 이를 "패턴 매칭" 게임을 통해 해결해 왔습니다. 칩의 작은 조각을 살펴보고, 이를 이미 만들어진 거대한 형태 사전과 비교하여 답을 추측하는 방식이었습니다. 하지만 칩이 더 작아지고 복잡해짐에 따라(첨단 기술 노드 단계), 이 사전은 관리하기에 너무 방대해졌고 추측의 정확도 또한 떨어졌습니다.

여기에 등장한 AttentionCap은 칩의 전선을 추적하는 초스마트 탐정 역할을 하는 새로운 AI 도구입니다. 이 논문에 기술된 작동 원리를 쉬운 비유를 통해 설명해 드리겠습니다.

1. 옛날 방식 vs 새로운 방식

옛날 방식 (CNN-Cap): 사람들이 대화하는 모습을 저해상도의 흐릿한 사진으로 이해하려고 노력하는 것과 같습니다. 두 사람의 대화를 이해하기 위해 사진을 잘라서 집중해서 봐야 합니다. 만약 10명의 그룹 전체를 이해해야 한다면, 모든 쌍(pair)에 대해 100개의 서로 다른 사진을 찍어야 하므로 느리고 번거롭습니다. 또한, 방의 환경이 바뀌면(새로운 칩 설계 프로세스), 기존의 사진 사전을 버리고 처음부터 다시 시작해야 합니다.
새로운 방식 (AttentionCap): 전체 그룹을 한꺼번에 볼 수 있는 탐정을 상상해 보세요. 사진을 찍는 대신, 그들은 모두의 말을 동시에 들으며 사람들이 서로 어떻게 연관되어 있는지 즉각적으로 이해합니다. 그들은 미리 만들어진 사전이 필요하지 않습니다. 대화의 규칙을 실시간으로 학습하기 때문입니다.

2. 핵심 비결: "트랜스포머(Transformer)"

이 논문은 트랜스포머라고 불리는 유형의 AI를 사용합니다(현대적인 챗봇의 기반이 되는 기술과 동일합니다).

"어텐션(Attention)" 메커니즘: 일반적인 대화에서는 말하고 있는 사람에게 주의를 기울입니다. 칩에서도 모든 전선은 근처에 있는 다른 모든 전선에 "주의(attention)"를 기울입니다. 논문은 전선들이 서로에게 미치는 영향을 계산하는 수학적 방식이 트랜스포머가 "어텐션"을 계산하는 방식과 거의 동일하다는 점을 발견했습니다.
"그램 표현(Gram Representation)": 이것은 각 전선에 고유한 "ID 카드" 또는 "지문"(임베딩이라고 불림)을 부여하는 것과 같습니다. 전선 A와 전선 B의 관계를 직접 계산하는 대신, AI는 이러한 ID 카드를 생성한 다음 이들을 비교합니다. 만약 ID 카드가 유사하다면, 두 전선은 강하게 결합되어 있는 것입니다. 이를 통해 AI는 한 쌍씩 계산하는 대신, 단 한 번의 단계로 모든 전선의 관계를 계산할 수 있습니다.

3. "가짜" 데이터로부터의 학습

실제 칩 설계는 종종 기밀(독점적 자산)이며 입수하기 어렵습니다. AI를 훈련시키기 위해 연구자들은 실제 칩을 사용하지 않았습니다. 대신 **가상 공장(합성 데이터 생성기)**을 구축했습니다.

그들은 컴퓨터를 프로그래밍하여 물리 법칙의 기본 규칙을 따르면서도 무작위로 수백만 개의 가짜 전선 레이아웃을 생성했습니다.
그 후, 매우 정확하지만 속도가 매우 느린 물리 시뮬레이터를 사용하여 이 가짜 전선들에 대한 "정답"을 계산했습니다.
그리고 AI에게 이 가짜 전선 레이아웃을 보고 정답을 예측하도록 가르쳤습니다.

4. "만능 번역기" (멀티 노드 학습)

칩 설계에서 가장 골치 아픈 문제 중 하나는 칩의 세대마다(예: 7nm, 65nm) 규칙이 조금씩 다르다는 점입니다. 보통은 각 세대마다 별도의 AI 모델이 필요합니다.

AttentionCap의 비결: 연구자들은 AI에게 특별한 "프로세스 노드 배지"(임베딩)를 부여했습니다. AI가 전선을 볼 때, 그 전선이 어떤 "배지"에 속하는지도 함께 보게 됩니다.
결과: AI는 모든 칩에 적용되는 일반적인 전기 법칙을 학습하는 동시에, 각 칩 유형의 특이한 점들도 함께 학습했습니다. 이는 만약 여러분이 한 번도 본 적 없는 새로운 칩 유형에 이 모델을 사용하고 싶다면, 아주 적은 양의 새로운 데이터(5,000개의 예시)만으로도 "미세 조정(fine-tuning)"할 수 있음을 의미합니다. 이는 마치 다국어 능력자에게 새로운 언어를 가르치는 것과 같습니다. 그들은 이미 문법을 알고 있으므로, 새로운 단어 몇 개만 배우면 되는 것입니다.

5. 결과: 빠르고 정확함

논문에 따르면, 이 AI를 실제 보지 못한 칩 설계에 테스트했을 때 다음과 같은 결과가 나타났습니다.

정확도: 매우 정밀하여 전선 간의 상호작용을 계산할 때 실수가 거의 없었습니다. 이전의 최고 방법(CNN-Cap)보다 4.6배에서 5.7배 더 정확했습니다.
속도: 예측 속도가 192배 더 빨랐습니다. 기존 방식은 수천 번의 작은 계산을 수행해야 했지만, AttentionCap은 한 번의 큰 흐름으로 처리했습니다.
효율성: 여러 층의 전선이 있는 복잡한 시나리오를 한꺼번에 처리할 수 있었던 반면, 기존 방식은 어려움을 겪거나 모든 조합에 대해 별도의 모델을 요구했습니다.

요약

AttentionCap은 칩의 전선을 방 안의 사람들처럼 취급하며, "듣는" 메커니즘(트랜스포머)을 사용하여 그들이 서로에게 어떻게 영향을 미치는지 즉각적으로 이해하는 새로운 AI입니다. 수백만 개의 가짜 예시로부터 학습하고 다양한 칩 제조 공정의 "방언"을 이해함으로써, 이 모델은 높은 속도와 정확도로 전기적 동작을 예측하여 현대 칩 설계의 주요 병목 현상을 해결합니다.

기술 요약: AttentionCap: 풀칩 추출을 위한 트랜스포머 기반 커패시턴스 행렬 학습

문제 정의

집적 회로(IC) 설계가 더 미세한 공정 노드로 진보함에 따라, 기생 커패시턴스 추출을 위한 기존의 규칙 기반 패턴 매칭 방식은 정확도를 유지하기가 점점 더 어려워지고 있습니다. 정확한 필드 솔버(field solver)가 존재하지만, 이는 설계 규모가 커짐에 따라 확장성 문제에 직면하여 풀칩 추출에는 실용적이지 못합니다. 결과적으로, 딥러닝 기반의 2D 커패시턴스 모델이 유망한 대안으로 등장했습니다. 그러나 주로 다층 퍼셉트론(MLP) 및 합성곱 신경망(CNN)에 기반한 기존 접근 방식들은 다음과 같은 결정적인 한계를 가집니다:

고정된 입력 제약: 대부분의 모델은 고정된 도체 수 또는 고정된 금속 레이어 조합(일반적으로 3개 레이어)으로 제한되어, 복잡하고 가변적인 레이아웃 설계에 대한 적용성을 저해합니다.
비효연적인 추론: 밀도 그리드(density-grid) 기반의 CNN 방식(예: CNN-Cap)은 $n$ 개의 도체 레이아웃에 대해 전체 커패시턴스 행렬을 추출하기 위해 $n^2$ 번의 추론 패스를 수행해야 합니다. 이는 단일 쌍별 커패시턴스만을 예측하기 때문입니다.
낮은 일반화 능력: 기존 모델은 특정 공정 노드 및 레이어 조합에 맞춰 학습되는 경점이 있어, $m$ 개의 레이어를 가진 단일 공정 노드를 커버하기 위해 수많은 데이터셋 생성과 모델 재학습( $\binom{m}{3}$ 개의 모델 필요)이 요구됩니다.

방법론

저자들은 AttentionCap을 제안합니다. 이는 전체 $n \times n$ 커패시턴스 행렬을 학습하도록 특별히 설계된 맞춤형 트랜스포머 아키텍처입니다. 이 방법론은 커패시턴스 행렬과 셀프 어텐션(self-attention) 메커니즘 사이의 구조적 유사성, 즉 둘 다 $n$ -to- $n$ 상호작용을 모델링한다는 점을 활용합니다.

1. 그램 표현 프레임워크 (Gram Representation Framework)

커패시턴스 행렬 $C$ 가 대칭(symmetric)이며 양의 준정부호(positive semi-definite)라는 점을 인식하여, 저자들은 $C = GG^\top$ 인 그램 표현을 활용합니다. 모델은 개별 행렬 원소를 예측하는 대신, 각 도체가 "커패시턴스 임베딩"(행 벡터 $G$ 의 한 행)으로 변환되는 시퀀스-투-시퀀스 매핑을 학습합니다. 전체 커패시턴스 행렬은 이후 이 임베딩들의 내적을 통해 재구성됩니다.

2. 모델 아키텍처

AttentionCap은 물리적 특성에 맞춰 조정된 몇 가지 특화된 기능을 갖춘 표준 트랜스포머 아키텍처를 수정하였습니다:

입력 표현: 모델은 도체 좌표 $(x, y, w, h)$ 의 시퀀스와 선택적으로 공정 노드 임베딩을 입력으로 받습니다. 언어 모델과 달리, 커패시턴스 매핑은 본질적으로 순열 불변(permutation-equivariant)이므로 위치 인코딩(positional encoding)을 사용하지 않습니다 (입력되는 도체의 순서가 물리적 결과에 영향을 미치지 않음).
대칭 어텐션 출력 (Symmetric-Attention Output): 출력 레이어는 RMSNorm과 선형 투영(linear projection)으로 구성됩니다. 최종 커패시턴스 행렬은 $\hat{C} = \frac{1}{\sqrt{d}} \hat{G}\hat{G}^\top$ 로 계산되며, 이는 효과적으로 대칭 어텐션 레이어 역할을 합니다. 대각 성분(자기 커패시턴스)이 비대각 성분(결합 커패시턴스)의 합과 같아야 한다는 물리적 성질을 강제하기 위해, 모델은 $\hat{C}_{ii} = \sum_{j \neq i} \hat{C}_{ij}$ 로 설정합니다.
공정 노드 임베딩: 멀티 노드 학습을 가능하게 하기 위해, 특정 공정 노드(유전체 스택 및 와이어 특징)를 나타내는 학습 가능한 임베딩 벡터를 도체 좌표 임베딩에 더해줍니다. 이를 통해 단일 모델이 서로 다른 기술 노드를 구분할 수 있습니다.

3. 정규화된 라플라시안 손실 (Normalized Laplacian Loss)

커패시턴스 값의 넓은 동적 범위를 처리하기 위해, 저자들은 정규화된 라플라시안 손실을 도입했습니다. ground truth와 예측 행렬은 프로베니우스 노름(Frobenius norm) 오차를 계산하기 전에 대각 성분의 제곱근( $D^{-1/2} C D^{-1/2}$ )으로 정규화됩니다. 이는 큰 커패시턴스 값이 손실 함수를 지배하는 것을 방지하고 다양한 스케일에서 안정적인 학습을 보장합니다.

4. 합성 데이터 생성

독점적인 레이아웃 데이터의 희소성을 고려하여, 저자들은 합성 교차 섹션 생성기(synthetic cross-section generator)를 개발했습니다. 이 도구는 무작위로 금속 레이어를 선택하고, 포아송 분포를 통해 도체 수를 샘플링하며, 설계 규칙을 준수하는 기하학적 파라미터(너비, 위치)를 생성함으로써 다양한 훈련 샘플을 만듭니다. 이 접근 방식을 통해 특정 레이아웃 패턴에 과적합되지 않고 수백만 개의 합성 샘플을 학습할 수 있습니다.

주요 기여

커패시턴스를 위한 트랜스포머: 가변 길이 입력과 단일 추론 패스에서의 전체 행렬 출력을 가능하게 하는, 커패시턴스 행렬 학습에 트랜스포머 아키텍처를 최초로 적용했습니다.
물리적 정렬 설계: 그램 표현, 대칭 어텐션, 정규화된 라플라시안 손실의 통합은 모델이 커패시턴스 행렬의 물리적 성질(대칭성, 양의 준정부호성, 라플라시안 구조)을 존중하도록 보장합니다.
멀티 노드 전이 가능성: 공정 노드 임베딩의 도입은 단일 모델이 여러 공정 노드 및 금속 레이어 조합을 걸쳐 학습할 수 있게 하여, 재학습의 필요성을 크게 줄였습니다.
데이터 효율성: 최소한의 미세 조정(5,000개 샘플 및 4,000 스텝)만으로도 미지의 공정 노드로 전이할 수 있는 능력을 입증했습니다.

실험 결과

모델은 합성 데이터로 학습되었으며, 7nm 및 65nm 노드의 미지의 실제 설계 교차 섹션에서 평가되었습니다.

정확도: 도전적인 멀티 레이어 및 멀티 노드 환경에서, AttentionCap은 미지의 실제 설계에 대해 자기 커패시턴스(self-capacitance) 0.67%, 결합 커패시턴스(coupling capacitance) **3.99%**의 오차를 달성했습니다. 이는 CNN-Cap 베이스라인 대비 오차를 4.6배에서 5.7배 감소시킨 결과입니다.
효율성: AttentionCap은 밀도 그리드 처리를 제거하고 단일 패스로 전체 행렬을 생성할 수 있기 때문에, CNN-Cap 대비 추론 속도에서 192배 빠른 성능을 보였습니다. 학습 속도 또한 18.5배 빨랐습니다.
전이 가능성: 15nm, 28nm, 65nm 노드가 혼합된 데이터로 사전 학습된 모델은 단 5,000개의 샘플만 사용하여 새로운 7nm 노드에 성공적으로 미세 조정되었습니다. 이 미세 조정된 모델은 7nm 가용 학습 데이터의 90%를 사용했음에도 불구하고, 7nm 데이터로 처음부터 학습된 모델보다 우수한 성능을 보였습니다.
절제 연구 (Ablation Studies): 실험을 통해 정규화된 라플라시안 손실과 SwiGLU 활성화 함수가 높은 정확도를 달-성하는 데 결정적임을 확인했으며, 어텐션 메커니즘 자체가 복잡한 다중 도체 상호작용을 포착하는 데 필수적임을 확인했습니다 (MLP 베이스라인은 유효한 예측을 제공하지 못했습니다).

의의

본 논문은 AttentionCap이 현대 EDA 워크플로우에 매우 실용적인 가치를 제공한다고 주장합니다. 고정된 레이어 및 고정된 도체 모델의 한계를 극복함으로써, 풀칩 추출을 위한 통합되고 전이 가능한 솔루션을 제공합니다. 합성 데이터로 학습하고 최소한의 데이터로 새로운 공정 노드로 전이할 수 있는 능력은 첨단 공정의 커패시턴스 모델 개발에 있어 주요 병목 현상을 해결합니다. 저자들은 AttentionCap을 단순한 점진적 개선이 아니라, 진화하는 IC 설계의 복잡성에 적응할 수 있는 확장 가능한 딥러닝 기반 기생 성분 추출을 향한 근본적인 변화로 규정합니다.