🤖 AI

NoTB: Oracle-Free Triage of LLM-Generated RTL via Cross-Model Formal Consensus

이 논문은 테스트벤치나 골든 레퍼런스에 의존하지 않고도 기능적 정확성을 정밀하게 분류할 수 있도록, 여러 개의 LLM 생성 RTL 설계 간의 순차적 동등성 검사를 활용하여 공식적인 합의 신호를 구축하는 오라클 프리(oracle-free) 프레임워크인 NoTB를 소개한다.

원저자: Elisavet Lydia Alvanaki, Je Yang, Biruk Seyoum, Luca P. Carloni

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Elisavet Lydia Alvanaki, Je Yang, Biruk Seyoum, Luca P. Carloni

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터 칩 설계의 세계에서 엔지니어들은 전통적으로 전기가 회로를 통해 어떻게 흘러야 하는지를 설명하는 코드를 작성합니다. 레지스터 전송 레벨(RTL)이라고 알려진 이 코드는 물리적 하드웨어를 위한 청사진 역할을 합니다. 수십 년 동안 이 코드를 만드는 과정은 모든 줄이 제대로 작동하는지 확인하기 위해 신뢰할 수 있는 참조 모델과 대조하는 세심하고 인간 중심적인 과정이었습니다. 최근에는 인공지능이 우리를 대신해 이 코드를 작성하기 시작했습니다. 이야기를 쓰거나 질문에 답할 수 있는 것과 동일한 기술인 거대 언어 모델이 이제 단순한 텍스트 설명을 바탕으로 복잡한 하드웨어 청사진을 생성하도록 요청받고 있습니다. 이러한 모델은 많은 버전의 설계를 빠르게 생성할 수 있지만, 결정적인 문제가 남아 있습니다. 바로 엔지니어들이 AI가 생성한 설계 중 어떤 것이 실제로 작동하는지 어떻게 알 수 있느냐는 것입니다. 과거에는 AI의 출력물을 완벽한 인간 제작 참조 모델과 비교하거나 시뮬레이션 테스트를 실행하는 것이 답이었으나, 이러한 완벽한 참조 모델을 만드는 것은 비용과 시간이 많이 들며, 테스트 자체도 때로는 숨겨진 오류를 놓칠 수 있습니다.

컬럼비아 대학교의 연구팀은 완벽한 참조 모델이나 미리 작성된 테스트 없이도 이러한 AI 생성 설계를 분류할 수 있는 새로운 방법을 도입했습니다. 그들은 이 시스템을 NoTB라고 부릅니다. 단일 판독 모델에 의존하여 설계의 우수성을 결정하거나 오류를 놓칠 수 있는 시뮬레이션을 실행하는 대신, NoTB는 여러 서로 다른 AI 모델에게 동일한 설계를 독립적으로 작성하도록 요청합니다. 그런 다음 '순차적 등가성 검증(sequential equivalence checking)'이라는 엄격한 수학적 도구를 사용하여 서로 다른 버전들이 모든 가능한 조건 하에서 정확히 동일하게 작동하는지 확인합니다. 핵심 아이디어는 서로 다른 방식으로 학습된 여러 AI 모델이 모두 정확히 동일한 동작에 도로착했다면, 그들이 올바른 해결책을 찾아냈을 가능성이 매우 높다는 것입니다. 이 접근 방식은 엔지니어들이 실제 칩을 제작하기 위해 투입하기 전에 가장 신뢰할 수 있는 설계를 초기 단계에서 식별할 수 있게 해줌으로써 시간과 자원을 절약해 줍니다.

연구진은 78가지의 서로 다른 하드웨어 설계 과제를 대상으로 이 방법을 테스트했습니다. 그들은 네 가지 서로 다른 계열의 거대 언어 모델을 사용하여 각 설계의 여러 버전을 생성했습니다. 모든 과제에 대해, 그들은 출력을 비교하여 어떤 것들이 수학적으로 동일한지 확인했습니다. 연구 결과, 네 가지 서로 다른 AI 계열의 설계들이 동일한 동작에 대해 합의했을 때, 시스템은 거의 95%의 확률로 정확했습니다. 이러한 높은 신뢰도는 트레이드오프(trade-off)를 동반했습니다. 즉, 시스템은 과제의 약 27%에 대해서만 예측을 수행했습니다. 그러나 요구 사항을 세 개의 합의된 계열로 낮추면, 87%의 정확도를 유지하면서 과제의 33%를 처리할 수 있었습니다. 이는 설계자들에게 유연한 도구를 제공합니다. 즉, 극도로 신중하여 가장 확실한 설계만을 수용할 것인지, 아니면 약간의 위험을 감수하더라도 더 많은 설계를 추가 테스트 단계로 승인할 것인지를 선택할 수 있습니다.

이 연구는 왜 기존의 AI 설계 검증 방식이 신뢰할 수 없는지를 밝혀냈습니다. 한 가지 흔한 접근 방식은 두 번째 AI 모델에게 판사 역할을 맡겨 설계가 올바른지 예측하게 하는 것이었습니다. 연구진은 이 방법이 일관되지 않다는 것을 발견했습니다. 어떤 설계가 판사 역할을 하는 AI 모델이 무엇인지에 따라, 한 판사는 정답이라고 표시하고 다른 판사는 오답이라고 표시할 수 있었습니다. 또 다른 방법은 AI가 만든 테스트를 통해 설계를 실행하는 것이었습니다. 연구진은 결과의 품질이 전적으로 그 테스트의 품질에 달려 있다는 것을 발견했습니다. 만약 테스트가 취약하다면 오류를 잡아내지 못할 수 있으며, 이는 결함이 있는 설계가 마치 올바른 것처럼 믿게 만드는 결과를 초래합니다. 반면, 새로운 방법은 테스트나 판사에 의존하지 않습니다. 대신 설계 자체가 가능한 모든 입력 범위에서 동일하다는 사실에 근거하며, 이 합의는 검사 도구의 속성이 아니라 설계 자체의 속성입니다.

이 과정을 효율적으로 만들기 위해, 시스템은 스마트 필터링 기술을 사용합니다. 모든 설계 쌍을 일일이 비교하는 대신, 먼저 정확한 중복 항목을 제거한 다음 이미 동일하다고 증명된 설계들을 그룹화합니다. 이를 통해 필요한 비교 횟수를 크게 줄입니다. 설계를 생성하는 것부터 검증하는 것까지의 전체 과정은 생성된 버전의 수에 따라 과제당 평균 1분에서 16분이 소요됩니다. 이 시스템을 운영하는 비용 또한 관리 가능한 수준인데, 판사 역할을 하기 위해 AI 모델을 반복적으로 비싸게 호출할 필요가 없기 때문입니다. 연구진은 이 방법이 최종 검증의 필요성을 대체하는 것이 아니라고 강조합니다. 대신, 이는 AI 생성 설계 더미를 분류하는 '트리아지(triage, 우선순위 분류)' 시스템 역할을 하여, 가장 유망한 설계는 확신을 가지고 앞으로 나아가게 하고, 불확실한 설계는 더 전통적이고 철저한 검증을 위해 따로 분류하는 역할을 합니다.

연구 결과, 사용된 AI 모델의 다양성이 시스템 성공의 핵심임이 드러났습니다. 연구진은 네 가지 AI 계열 중 하나를 제외했을 때 어떤 일이 발생하는지 테스트했습니다. 그들은 하나의 모델이 빠지더라도 시스템이 여전히 견고하고 정확하다는 것을 발견했으며, 이는 신뢰의 신호가 특정 단일 모델에 의존하는 것이 아니라 집단의 집단적 합의에서 온다는 것을 입증했습니다. 이는 특정 AI 모델에 대한 접근성이 달라질 수 있는 실제 환경에서도 이 방식이 실용적임을 보여줍니다. 결론적으로, 연구진은 시뮬레이션 테스트에서 형식적인 수학적 합의 증명으로 초점을 전환함으로써, 엔지니어가 하드웨어 설계에 인공지능을 사용하는 데 있어 더 신뢰할 수 있는 파이프라인을 구축할 수 있다고 말합니다. 이를 통해 산업계는 현대 기술을 구동하는 복잡한 칩에 요구되는 엄격한 안전 표준을 유지하면서도, AI 생성의 속도를 활용할 수 있게 됩니다.

기술 요약: NoTB – 교차 모델 형식적 합의를 통한 LLM 생성 RTL의 오라클 프리 트리아지(Triage)

문제 정의
대규모 언어 모델(LLM)은 자연어 사양으로부터 합성 가능한 레지스터 전송 레벨(RTL) 설계를 생성하는 능력이 점점 향상되고 있습니다. 그러나 핵심적인 병목 현상은 설계 프로세스의 초기 단계에서 신뢰할 수 있는 "오라클"(예: 참조 테스트벤치 또는 골든 RTL 모델)에 접근할 수 없는 상황에서, 생성된 설계의 기능적 정확성을 평가하는 문제입니다. 이러한 오라클을 구축하는 것은 비용이 많이 들고 오류가 발생하기 쉬우며, 설계 작업의 시작 단계에서는 일반적으로 사용 불가능합니다.

기존의 오라클 프리(Oracle-free) 접근 방식들은 근본적인 한계를 가집니다:

LLM-as-a-Judge: 실행을 모델 기반 예측으로 대체하지만, 형식적 보증이 부족하고 모델 의존적 편향이 강하여 일관되지 않은 허위 수용률(모델에 따라 최대 45%까지 변동)을 보입니다.
시뮬레이션 기반 자기 일관성(Self-Consistency): LLM이 생성한 테스트벤치 하에서의 동작적 일치에 의존합니다. 이 방식은 테스트벤치가 관련 입력 공간을 커버한다는 가정과, 잘못된 구현들이 서로 불일치할 것이라는 가정을 전제로 합니다. 실제로 취약한 테스트벤치는 중요한 입력을 놓칠 수 있어 잘못된 설계들이 "허위 합의(False Consensus)"를 형성하게 만들 수 있으며, 공유된 오류 모드로 인해 여러 모델이 동일한 잘못된 동작으로 수렴할 수 있습니다.

방법론: NoTB 프레임워크
저자들은 휴리스틱한 합의를 **형식적 교차 모델 합의(Formal Cross-Model Consensus)**로 대체하는 NoTB 프레임워크를 소개합니다. 핵심 통찰은 독립적으로 훈련된 LLM 제품군들이 순차적 동등성 검사(Sequential Equivalence Checking, SEC)를 통해 전체 입력 공간에 대해 구현물이 동등함을 증명한다면, 그들의 합의는 유한한 테스트 벡터의 속성이 아니라 설계 자체의 속성이라는 점입니다.

NoTB 워크플로우는 네 단계로 구성됩니다:

다중 모델 RTL 생성: 주어진 사양에 대해, 시스템은 $M$ 개의 독립적으로 훈련된 LLM 제품군(예: Claude, GPT, Gemini, Qwen)으로부터 여러 RTL 구현을 샘플링합니다. 각 모델은 $K$ 개의 후보를 생성하여 다양한 후보 집합 $D(s)$ 를 만듭니다.
형식적 동등성 클러스터링: NoTB는 후보 구현들을 노드로, 증명된 동등성을 에지로 하는 그래프를 구축합니다. 이는 두 설계가 동일한 출력을 생성함을 증명하기 위해 형식적 도구(Cadigness JasperGold)를 사용하여 순차적 동등성 검사(SEC)를 수행합니다.
- 두 설계는 도구가 모든 입력 시퀀스에 대해 동일한 출력을 생성함을 증명할 때만 연결됩니다.
- 결정 불가능한 결과나 인터페이스 불일치는 에지를 생성하지 않습니다.
- 이 그래프의 연결 요소(Connected Components)는 **동등성 클러스터(Equivalence Clusters)**를 형성합니다.
점진적 가지치기(Incremental Pruning): 계산 비용( $O(|D|^2)$ $O (∣ D ∣^{2})$ )을 관리하기 위해, NoTB는 경량화된 가지치기를 수행합니다:
- 구문적으로 동일한 파일은 SEC 전에 해싱을 통해 병합됩니다.
- 유니온-파인드(Union-find) 자료구조를 사용하여 동등성 컴포넌트를 추적하며, 한 쌍이 동등함이 증명되면 해당 컴포넌트 내의 향후 비교는 건너뜁니다.
- 컴포넌트 대표자 간의 증명된 비동등성은 중복되는 교차 컴포넌트 체크를 방지합니다.
모델 다양성을 통한 신뢰도 점수 산출: 시스템은 사양에 대한 가장 큰 동등성 클러스터( $C^*$ $C^{*}$ )를 식별합니다. 신뢰도 점수는 모델 수(Model Count), 즉 해당 클러스터 내에 포함된 서로 다른 LLM 제품군의 수로 정의됩니다.
- 높은 모델 수는 서로 다른 귀납적 편향을 가진 독립적인 LLM 제품군들이 동일한 형식을 통해 증명된 동작으로 수렴했음을 나타냅니다.
- 설계자는 임계값 $\tau$ (예: $\tau=4$ )를 설정하여, 지배적인 클러스터가 최소 $\tau$ 개의 서로 다른 제품군을 포함하는 사양만을 수용하도록 할 수 있습니다. 이는 정밀도(Precision, 신뢰도)와 커버리지(Coverage, 수용되는 사양의 수) 사이의 조절 가능한 트레이드오프를 생성합니다.

주요 기여

테스트벤치 의존성 입증: 본 논문은 시뮬레이션 기반 오라클 프리 트리아지가 테스트벤트 생성기에 매우 민감함을 보여줍니다. 고정된 후보 풀에 대해, 4방향 시뮬레이션 합의의 정밀도는 테스트벤치를 생성한 LLM에 따라 43%에서 84%까지 크게 변동했습니다.
NoTB 도입: 학습된 휴리스틱이나 유한한 테스트 벡터 대신 형식적 합의를 사용하는 새로운 프레임워크를 제안합니다. 이는 후보들을 SEC로 클러스터링하고, 클러스터 내의 LLM 제품군 다양성으로 점수를 매깁니다.
교정된 정확성 신호: 모델 수가 교정된 신호임을 입증합니다. 시스템은 강력한 교차 모델 형식적 합의가 낮은 경험적 오류율과 단조적인 관계를 가짐을 보여줍니다.

실험 결과
NVIDIA CVDP 벤치마크의 78개 RTL 생성 작업에 대해 네 가지 LLM 제품군(Claude 3.7, GPT-OSS-120B, Gemini 2.5, Qwen 3)과 각 5개의 샘플을 사용하여 평가되었습니다:

4개 제품군 합의 ( $\tau=4$ ): 27% 커버리지에서 94.7% 정밀도를 달립다.
3개 제품군 합의 ( $\tau=3$ ): 33% 커버리지에서 87% 정밀도를 달립다.
베이스라인과의 비교:
- LLM-as-a-Judge: 높은 불안정성을 보였습니다. 허위 양성률(False-positive rate)은 생성기와 판정 모델에 따라 크게 달라졌습니다.
- 시뮬레이션 기반 클러스터링: 테스트벤트 생성기에 따라 정밀도가 43%~84%로 크게 요동친 반면, 형식적 SEC는 약 95%로 안정적이었습니다.
강건성(Robustness): Leave-one-out 절제 실험을 통해 높은 정밀도 신호가 특정 모델 제품군 하나에 의존하지 않음을 확인했습니다. 하나의 제품군을 제거하더라도 높은 정밀도가 유지되었습니다.
비용: SEC는 샘플 수에 따라 사양당 중간 1~16분이 소요되는 상당한 계산 시간을 필요로 하지만, 수천 번의 "판정" 호출이나 모든 후보에 대해 여러 개의 테스트벤치를 생성하는 데 드는 막대한 토큰 비용은 피할 수 있습니다.

의의 및 주장
본 논문은 NoTB가 하드웨어 설계 초기 단계에서 신뢰할 수 있는 오라클 프리 기반의 고신뢰 트리아지를 제공한다고 주장합니다. 학습된 휴리스틱이나 유한한 테스트 벡터 대신 형식적 보증을 활용함으로써, NoTB는 설계자가 생성된 RTL 중 높은 확률로 올바른 후보를 선택적으로 인증할 수 있게 하여, 초기 단계의 검증 과정을 건너뛰거나 최종 검증을 위한 우선순위를 정할 수 있게 합니다. 저자들은 NoTB가 신뢰할 수 있는 오라클이나 전체 검증 흐름을 대체하는 것이 아니라, 골든 레퍼런스가 준비되기 전 고신뢰 후보를 식별하기 위한 필터 역할을 한다는 점을 강조합니다. 이 방법은 모델 의존적인 오라클 없이도 위험-커버리지 트레이드오프에 대한 명시적인 제어를 제공하는 실용적인 솔루션으로 제시됩니다.

유사한 논문