🤖 AI

TRACE: Learning to Compute on Circuit Graphs

이 논문은 계산 흐름을 포착하기 위한 계층적 트랜스포머와 전역 예측을 분리하기 위한 함수 이동 학습 목적 함수를 사용하는 TRACE라는 새로운 회로 그래프 기능 학습 패러다임을 소개하며, 이는 다양한 회로 모달리티에 걸쳐 기존 아키텍처들을 크게 능가합니다.

원저자: Ziyang Zheng, Jiaying Zhu, Jingyi Zhou, Qiang Xu

게시일 2026-06-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ziyang Zheng, Jiaying Zhu, Jingyi Zhou, Qiang Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

논문 설명: TRACE: 회로 그래프 상에서의 연산 학습 (Learning to Compute on Circuit Graphs)

핵심 문제: "눈먼" 계산기

당신이 컴퓨터에게 복잡한 기계(예: 디지털 회로)가 어떻게 작동하는지 가르치려 한다고 상상해 보세요. 이 기계는 수많은 작은 부품(게이트)들이 서로 연결되어 정보를 다음 단계로 전달하며 만들어집니다.

오랫동안 컴퓨터를 가르치는 가장 좋은 방법은 MPNN(Message Passing Neural Networks)이라 불리는 방식이었습니다. 하지만 이 논문은 이 방식이 이 특정 작업에 있어서 근본적으로 결함이 있다고 주장합니다.

비유: 눈이 가려진 요리사
회로를 재료(입력값)가 요리사(연산자, 예: MUX 또는 로직 게이트)에 의해 섞이는 레시피라고 생각해 보세요.

기존 방식 (MPNNs): 요리사가 눈이 가려져 있다고 상상해 보세요. 요리사는 재료의 냄새를 하나씩 맡을 수는 있지만, 그 순서는 알 수 없습니다. 만약 당신이 "소금" 다음에 "후추"를 건네준다면, 요리사는 이를 "후추" 다음에 "소금"을 건넨 것과 똑같이 취급합니다. 하지만 회로에서는 순서가 매우 중요합니다! 스위치(MUX)는 제어선(control)과 데이터선(data) 중 어느 쪽이 무엇인지에 따라 완전히 다르게 동작합니다. 기존 방식은 재료를 특정 순서가 있는 것이 아니라 무질서한 더미로 취급하기 때문에 혼란에 빠집니다.
또 다른 기존 방식 (Transformers): 요리사가 테이블 위에 놓인 모든 재료를 한꺼번에 보기는 하지만, 레시피의 단계를 이해하지 못하는 경우입니다. 이들은 2단계가 1단계의 결과에 의존한다는 사실을 놓칩니다. 즉, 조리 과정을 따르지 않고 최종 요리를 추측하려고만 합니다.

해결책: TRACE

저자들은 TRACE라는 새로운 시스템을 만들었습니다. 이 시스템은 두 가지 핵심 요소, 즉 "주방 구조"(Architecture)와 "학습 목표"(Learning Objective)를 변경함으로써 문제를 해결합니다.

1. 새로운 주방 구조: "단계별" 요리사

TRACE는 눈이 가려진 요리사나 혼란스러워하는 요리사 대신, **계층적 트랜스포머(Hierarchical Transformer)**를 사용합니다.

작동 원리: 이 방식은 회로를 특정 순서로 쓰인 문장(예: 수학 방정식 Add(Multiply(A, B), C))처럼 취급합니다.
비유: 이제 요리사에게 명확한 지시 카드가 생겼습니다. 요리사는 단순히 재료를 보는 것이 아니라, 재료가 전달되는 순서를 봅니다.
- 먼저, "연산자"(동작, 예: "섞기")를 봅니다.
- 그다음, "입력 1"(첫 번째 재료)을 봅니다.
- 마지막으로, "입력 2"(두 번째 재료)를 봅니다.
도움이 되는 이유: 요리사가 순서를 알기 때문에 어떻게 섞어야 할지 정확히 알 수 있습니다. 만약 레시피가 "후추에 소금을 섞으라"고 한다면, "소금에 후추를 섞는 것"과는 다르게 수행할 것입니다. 이를 통해 컴퓨터는 회로의 계층 구조(누가 누구에게 의존하는지)와 모든 와이어의 위치를 존중하며 정확한 로직을 이해할 수 있습니다.

2. 새로운 학습 방법: "함수 변화 학습 (Function Shift Learning)"

훌륭한 요리사라도 거대하고 복잡한 요리의 최종 맛을 예측하는 것은 어렵습니다. 때때로 재료들이 이전 단계에서 여러 번 사용되었기 때문에(회로에서는 이를 "재결합(reconvergence)"이라고 합니다) 예상치 못한 방식으로 상호작용할 수 있습니다.

문제점: 만약 당신이 요리사에게 "최종적인 맛이 어떠냐?"라고 묻는다면, 요리사는 그 복잡함에 압도될 수 있습니다.
TRACE의 해결책: 저자들은 요리사에게 처음부터 전체 최종 맛을 예측하라고 요구하는 대신, 간단한 추측과 실제 정답 사이의 차이(변화량, "shift")를 예측하도록 가르칩니다.
- 단계 A (간단한 추측): 요리사가 모든 재료가 독립적이라고 가정하고 빠르게 추측을 내놓습니다 (예: "소금 50%, 후추 50%라면 혼합물은 50/50이다"). 이는 쉽고 빠릅니다.
- 단계 B (실제 정답): 실제 정답은 더 복잡합니다. 왜냐하면 소금과 후추가 이전 과정에서 이미 상호작용했을 수 있기 때문입니다.
- 과제: 모델은 간단한 추측과 실제 정답 사이의 격차(변화량, "shift")를 찾는 법을 배웁니다.
비유: 이것은 마치 수학 시험을 치르는 학생과 같습니다. 거대한 방정식을 처음부터 풀려고 애쓰는 대신, 다음과 같이 배웁니다: "여기 쉽고 간단한 답이 있다. 이제 정답을 맞히기 위해 이 답을 얼마나 조정해야 하는지만 말해라." 이렇게 하면 학습이 훨씬 쉬워지고 정확해집니다.

결과: 명확한 승리

저자들은 세 가지 다른 유형의 회로 "언어"(RTL, AIG, Netlist)에 대해 TRACE를 테스트하고 기존의 모든 최고 방법들과 비교했습니다.

결과: TRACE는 매번 승리했습니다. TRACE는 다음 작업에서 훨씬 뛰어난 성능을 보였습니다:
1. 쌍둥이 찾기: 모양은 다르더라도 정확히 같은 기능을 수행하는 두 회로를 식별하는 능력.
2. 동작 예측: 다양한 조건 하에서 회로가 어떻게 작동할지 정확하게 예측하는 능력.
의의: 이 논문은 기존 방식의 "맹점"을 해결하고 학습 과제를 단순화함으로써, 전자 회로를 이해하는 훨씬 더 똑똑한 도구를 구축할 수 있음을 보여줍니다.

요약

TRACE는 컴퓨터가 회로의 작동 방식을 배우는 새로운 방법입니다.

회로의 입력을 무질서한 더미로 취급하는 것을 멈추고, 이를 순서가 있는 시퀀스(문장과 같은)로 취급하여 로직의 흐름을 이해합니다.
복잡한 전체 정답을 한꺼번에 맞히려 하지 않고, 대신 간단한 추측과 진실 사이의 작은 차이를 예측하는 법을 배웁니다.

이러한 결합을 통해 TRACE는 전자 회로의 "기능적 동작(functional behavior)"을 이해하는 데 있어 현재 가장 정확한 도구가 되었습니다.

기술 요약: TRACE: 회로 그래프에서의 연산 학습 (Learning to Compute on Circuit Graphs)

1. 문제 정의

본 연구가 다루는 근본적인 과제는 **연산 학습(learning to compute)**이며, 이는 회로 그래프의 기능적 동작을 정확하게 모델링하는 능력으로 정의된다. 회로 그래프(RTL, AIG, 포스트 매핑 넷리스트 포함)는 연산과 변수를 나타내는 유향 노드를 통해 계산의 흐름을 포착한다.

저자들은 기존의 그래프 표현 학습 패러다임인 **메시지 전달 신경망(MPNNs)**과 **그래프 트랜스포머(Graph Transformers)**가 다음과 같은 세 가지 결정적인 결함으로 인해 이 특정 작업에 구조적으로 부적합하다고 주장한다:

MPNN은 입력 간의 상호작용을 모델링하지 못함: MPNN은 이웃으로부터의 메시지를 독립적으로 결합하는 순열 불변 집계기(예: sum, mean)에 의존한다. 이는 모델이 위치 인식 및 연산자 특화 상호작용을 포착하는 것을 방지한다. 예를 들어, $MUX(S, A, B) \neq MUX(A, S, B)$ 인 멀티플렉서(MUX)의 경우, 집계 과정에서 입력의 순서가 소실되기 때문에 올바르게 모델링될 수 없다.
바닐라 트랜스포머는 계층 구조를 인식하지 못함: 표준 트랜스포머는 그래프를 시퀀스로 평탄화하여, 단계별 계산을 모델링하는 데 필요한 명시적인 계층 구조와 중간 의존성을 파괴한다(예: $f(g(a,b), c)$ 가 중간 결과인 $g(a,b)$ 에 의존하는 것을 포착하지 못함).
에지 마스킹된 트랜스포머는 MPNN의 한계를 상속받음: 어텐션 마스크를 사용하여 그래프 토폴로지를 존중하는 트랜스포머들은 종종 가중 합(Graph Attention Network와 유사)으로 환원되며, 이는 여러 입력 간의 정밀하고 비선형적인 상호작용을 모델링할 수 없는 능력을 그대로 물려받게 된다.

나아가, 복잡한 토폴로지에서 발생하는 전역 함수(global functions), 특히 **재귀적 의존성(reconvergent dependencies)**을 포착하는 데 더 깊은 어려움이 존재한다. 회로에서 노드의 전역 함수는 입력의 독립성을 가정하는 단순한 국소 근사치와 크게 다를 수 있다. 전역 함수를 직접 감독하는 기존 방식들은 이러한 복잡한 맥락적 효과를 임베딩에 함께 묶어버리기 때문에, 모델이 진정한 기능적 의존성과 허구적 상관관계를 구분하기 어렵게 만든다.

2. 방법론

저자들은 두 가지 핵심 구성 요소인 구조적으로 건전한 백본과 원칙적인 학습 목적 함수로 이루어진 새로운 패러다임인 TRACE(Algebraic and Computational Expressions에 대한 추론을 위한 트랜스포머)를 제안한다.

2.1 계층적 트랜스포머 백본

기존 모델의 구조적 결함을 해결하기 위해, TRACE는 계산의 단계별 흐름을 반영하는 **계층적 트랜스포머(Hierarchical Transformer)**를 채택한다.

로직 레벨 계산: 노드들은 논리적 깊이(topological logic depth)에 따라 레벨별로 처리된다. 기본 입력(PI)은 레벨 0이다.
전위 표기법(Prefix Notation) 표현: 전위 표기법에서 영감을 받아, 특정 로직 레벨에서의 각 계산 단계는 정렬된 시퀀스 [연산자, 입력_1, 입력_2, ...]로 표현된다.
위치 인식 인코딩: 트랜스포머 인코더는 위치 인코딩과 함께 이 시퀀스들을 처리한다. 이를 통해 모델은 연산자 특화 상호작용과 위치 인식(예: MUX에서 제어 신호와 데이터 입력을 구분하는 것)을 포착할 수 있다.
재귀적 처리: 연산자 노드의 임베딩은 해당 시퀀스의 첫 번째 토큰에 대한 트랜스포머 출력에 기반하여 업데이트된다. 이 업데이트된 임베딩은 다음 로직 레벨의 후속 연산자를 위한 입력으로 사용된다.
효율성: 롱테일 차수 분포를 가진 일반적인 그래프와 달리, 회로 그래프는 차수가 작고 제한되어 있어 트랜스포머와 관련된 이차적인 메모리 오버헤드를 방지한다.

2.2 함수 시프트 학습 (Function Shift Learning, FSL)

복잡한 전역 함수를 직접 예측하는 어려움을 해결하기 위해, TRACE는 학습 문제를 분리하는 새로운 목적 함수인 **함수 시프트 학습(Function Shift Learning)**을 도입한다.

전역 함수 ( $y_{global}$ ): 모든 의존성(재귀적 의존성 포함)을 고려한 노드가 논리 1(logic-1)이 될 확률이다. 이를 직접 계산하는 것은 비용이 많이 든다( $O(2^k)$ ).
국소 함수 ( $y_{local}$ ): 입력 독립성을 가정하는 단순한 근사치이다. 계산 효율적이지만( $O(1)$ ), 재귀적 의존성이 존재하는 상황에서는 실제 동작을 포착하지 못한다.
함수 시프트 ( $y_{FSL}$ ): 모델은 전역 함수와 국소 함수 사이의 차이만을 예측하도록 학습된다:
$y_{FSL} = y_{global} - y_{local}$
학습: 모델은 L1 손실을 사용하여 함수 시프트를 회귀하도록 학습된다. 그라운드 트루스(ground truth) 시프트는 훈련 데이터로부터 사전 계산된다.
추론: 추론 시에는 전역 함수가 반복적으로 재구성된다. 각 노드에 대해 모델은 시프트를 예측하며, 이를 국소 함수(이전 노드들의 추정된 전역 함수를 사용하여 계산됨)에 더하여 최종 전역 추정치를 얻는다.

3. 주요 기여

구조적 정렬: 순열 불변 집계 대신 위치 인식 및 시퀀스 기반 처리를 사용하여 회로 그래프의 계산 흐름을 충실히 반영하는 계층적 트랜스포머를 도입하였다.
분리된 학습 목적 함수: 함수 시프트 학습을 제안하여, 재귀적 의존성의 복잡한 맥락적 효과(시프트)를 단순한 국소 근사치로부터 분리함으로써 학습 과제를 단순화하였다.
최첨단 성능(SOTA): 다양한 회로 모달리티에 걸쳐 TRACE가 기존의 MPNN 및 그래프 트랜스포머를 실질적으로 능가함을 입증하였다.

4. 실험 결과

저자들은 세 가지 회로 모달리티(RTL, AIG, PM Netlist)에 대해 두 가지 작업 유형(대조 학습 및 예측 작업)으로 TRACE를 평가하였다.

4.1 대조 학습 작업 (Contrastive Tasks)

검색 작업(기능적으로 동일한 회로 식별)에서 TRACE는 모든 베이스라인을 일관되게 능가하였다:

RTL: 94.45% Recall@1 달성 (차순위 모델의 ~88% 대비).
AIG: 92.68% Recall@1 달성 (차순위 모델의 ~88% 대비).
PM Netlist: 90.81% Recall@1 달성 (차순위 모델의 ~86% 대비).
주목할 점은, 많은 그래프 트랜스포머 베이스라인(예: GraphGPS, SGFormer)이 AIG 및 PM Netlist에서 심각한 성능 저하나 메모리 부족(OOM) 오류를 겪은 반면, TRACE는 안정성을 유지했다는 것이다.

4.2 예측 작업 (Predictive Tasks)

노드 수준의 속성(Logic-1 확률, 유사도, 전이 확률)을 예측하는 작업에서 TRACE는 가장 낮은 평균 절대 오차(MAE)와 가장 높은 $R^2$ 점수를 기록하였다:

Combinational AIG: Logic-1 확률에 대해 MAE 0.015 달성 (DeepGate4의 0.027 대비).
Sequential AIG: Logic-1 확률에 대해 MAE 0.009, 전이 확률에 대해 0.005 달성.
PM Netlists: Logic-1 확률에 대해 MAE 0.013 달성 (GraphSAGE의 0.048 대비).

4.3 절제 및 분석 (Ablation and Analysis)

함수 시프트 학습: FSL을 제거하면 성능이 크게 저하되었다. 예를 들어, PM Netlist 확률 예측에서 FSL을 제거하면 MAE가 0.013에서 0.036으로 증가하였다 (상대적 오차 63.9% 증가).
오차 누적: 로직 레벨에 따른 분석 결과, TRACE는 깊은 로직 레벨에서도 안정적인 성능을 유지하였으며, 이는 반복적 추론 과정 중의 오차 누적에 대한 견고성을 나타낸다.

5. 의의

본 논문은 TRACE가 회로 분석을 위한 **새로운 최첨단(SOTA)**을 구축하였으며, 더 넓게는 회로 그래프 학습을 위한 더 견고하고 구조적으로 건전한 패러다임을 제공한다고 주장한다. 표준 그래프 학습 아키텍처와 계산의 본질(특히 위치 인식 및 계층 구조) 사이의 근본적인 불일치를 해결함으로써, TRACE는 모델의 귀납적 편향(inductive bias)을 문제 구조와 일치시키는 것이 기능적 동작을 포착하는 데 결정적임을 보여준다. 이 연구는 국소 근사치를 맥락적 시프트로부터 분리하는 것이 다양한 전자 설계 자동화(EDA) 도메인 전반에서 우수한 일반화로 이어진다는 원리의 증거 역할을 한다.