기술 요약: DUET – 실험 및 테스트를 통한 에이전트 기반 설계 이해

문제 정의

LLM(대규모 언어 모델) 기반의 AI 에이전트들이 소프트웨어 엔지니어링 작업에서는 인간 수준의 성능을 달elle 성취했지만, 하드웨어 설계, 특히 레지스터 전송 레벨(RTL) 단계의 과제에는 현저히 어려움을 겪고 있다. 핵심적인 어려움은 RTL 코드(예: SystemVerilog)의 본질에 있다. RTL은 복잡하고 동적이며 시간에 따라 변화하는 동작을 저수준의, 매우 암시적인 구문을 통해 인코딩한다. 순차적인 라인이 대개 시간적 실행이나 명시적인 제어 흐름을 나타내는 명령형 소프트웨어 언어와 달리, RTL은 상태 머신 로직을 명시적이지 않은 제어 흐름과 함께 수백 줄에 걸쳐 분산시켜 놓는 경우가 많다. 결과적으로, 정적인 RTL 코드만을 제공받은 LLM은 깊은 행동 의미론(behavioral semantics)을 추론하는 데 실패하며, 이는 코드 완성, 문서화, 그리고 가장 결정적으로는 형식 검증(formal verification) 및 디버깅과 같은 다운스트림 작업에서 낮은 성능으로 이어진다.

현재의 하드웨어 설계자들은 단순히 RTL을 읽는 것에만 의존하지 않는다. 그들은 시뮬레이션, 파형(waveform) 검사, 그리고 포멀(formal) 도구를 사용하는 반복적인 실험을 통해 동적으로 이해를 구축한다. 그러나 기존의 AI 워크플로우는 LLM을 일회성 생성기나 정적 분석기로 취급하며, 이러한 동적이고 도구 중심적인 학습 과정을 재현할 메커니즘이 부족하다.

방법론: DUET

저자들은 DUET(Design Understanding via Experimentation and Testing)을 제안한다. 이는 AI 에이전트가 인간 하드웨어 전문가의 워크플로우를 모방하여, 반복적인 실험을 통해 설계 이해도를 발전시킬 수 있도록 하는 일반적인 방법론이다.

핵심 메커니즘

DUET은 폐쇄 루프 실험 사이클을 생성하는 서브루틴인 DOEXPERIMENTATION을 통해 작동한다:

1. 가설 생성: 에이전트는 현재 컨텍스트를 바탕으로 설계의 동작에 대한 가설을 생성한다.
2. 도구 실행: 에이전트는 가설을 테스트하기 위해 특정 전자 설계 자동화(EDA) 도구를 선택하고 실행한다.
3. 결과 분석: 에이전트는 출력값(로그, 파형, 반례/counterexample)을 분석하여 가설을 확인, 반박 또는 정교화한다.
4. 반복: 이 루프는 에이전트가 설계에 대한 더 깊은 이해를 통합한 견고한 "실험 보고서"를 합성할 때까지 계속된다.

도구 통합

DUET은 도구 불가지론적(tool-agnostic)으로 설계되었으나, 다음과 같은 특정 EDA 도구들과 함께 구현되었다:

• 시뮬레이션: 에이전트는 SystemVerilog 테스트벤치를 생성하고 이를 실행하여(예: Verilator 사용) 로그를 관찰한다. 이 방법론은 조기 종료를 피하기 위해 어설션(assertion) 대신 print 문을 사용하는 것을 권장하며, 이를 통해 더 풍부한 데이터 수집을 가능하게 한다.
• 형식 검증(Formal Verification): 속성(property)을 증명하거나 도달 가능성(reachability)을 확인하기 위해 Jasper와 같은 도구가 사용된다.
• 파형 뷰어: 에이전트는 특정 부분의 시뮬레이션 파형을 검사하기 위해 유틸리티(예: vcdcat)를 사용한다.
• 반례 재현(Counterexample Replication): 포멀 도구의 반례를 시뮬레이션 테스트벤치로 변환하여 실패를 재현하는 특화된 에이전트 도구이다. 이 도구는 특히 효과적이었는데, 타이밍과 상태 전이에 대한 이해를 심화하기 위해 종종 여러 번의 시뮬레이션 반복을 필요로 했다.

구현 세부 사항

이 프레임워크는 에이전트가 실험 루프를 완전히 제로하고, 언제 테스트를 실행하고 언제 결론을 내릴지 결정할 수 있게 한다. 시스템은 현대적인 에이전트 프로그래밍 패러다임(예: OpenAI Agents SDK)을 사용하여 구현되며, 루프는 프롬프트와 사용 가능한 도구에 따라 내부적으로 관리된다. 저자들은 에이전트가 "속임수"를 쓰거나(예: 내부 신호를 강제로 조작하여 반례를 사소하게 복제하는 것) 결과를 환각(hallucination)하는 것을 방지하기 위해 세심한 프롬프팅이 필요하다고 언급했다.

평가 및 결과

저자들은 DUET을 기존의 AI 보조 형식 검증 워크플로우에 통합하여, 실험 도구가 없는 베이스라인 플로우와 비교 평가하였다.

• 실험 설정:

  • 태스크: 단순한 라운드 로빈 아비터(round-robin arbiter) 설계의 형식 검증.
  • 범위: 검증할 10개의 서로 다른 속성.
  • 모델: LLM 쿼리를 위한 GPT-5.0; 형식 검증을 위한 Jasper; 시뮬레이션을 위한 Verilator.
  • 베이스라인: RTL을 요약하고, 속성을 생성하며, Jasper 피드백을 사용하여 테스트벤치를 반복 생성하지만 외부 실험 도구는 사용하지 않는 에이전트.
  • DUET 플로우: 동일한 워크플로우를 가지되, 실패 디버깅 시 실험(시뮬레이션, 반례 재현, 포멀 도구)을 사용하도록 명시적인 지침이 포함됨.

• 주요 결과:

  • 성능 향 향상: DUET 기반 플로우는 10개 속성 중 6개를 성공적으로 증명하였으며, 이는 단 3개만을 증명한 베이스라인의 성공률보다 두 배 높은 수치이다.
  • 질적 개선:
    • 속성 1 & 6: DUET은 베이스라인이 전혀 증명하지 못한 속성을 증명했다.
    • 속성 7: 베이스라인은 해당 속성을 증명했으나 "공허(vacuous)"했다(사소하게 참인 상태). DUET은 실험을 통해 비공허한(non-vacuous) 정교화를 찾아내어 의미 있는 버전을 증명했다.
    • 속성 2: 베이스라인은 속성 증명에 실패했다. DUET은 실험을 통해 속성을 정교화하여, 최종 증명에 도달하지 못하더라도 진전을 향한 경로를 찾아냈다.
  • 도구 사용 분석:
    • 반례 재현: 가장 결정적인 도구였다. 모든 개선된 속성은 이 도구를 활용했다. 속성 1의 경우, 에이전트는 타이밍 동작을 이해하기 위해 7개의 별도 반례를 재현했다.
    • 시뮬레이션: 헤비하게 사용되었으며, 이는 LLM이 포멀 테스트벤치보다 시뮬레이션 테스트벤치를 작성하는 데 더 능숙함을 시사한다.
    • 포멀 도구: 프롬프트 엔지니어링의 어려움이나 표준 검증 루프와 포멀 도구 간의 혼동 때문인지 드물게 사용되었다.

의의 및 주장

본 논문은 DUET이 정적 코드 분석에서 동적, 반복적 설계 이해로의 전환을 나타낸다고 주장한다. 주요 의의는 AI 에이전트가 구문만을 읽는 것이 아니라, EDA 도구에 대한 가설을 생성하고 테스트함으로써 하드웨어 설계의 복잡한 시간적 동작(예: I2C의 클록 스트레칭이나 아비터의 특정 타이밍)을 학습할 수 있음을 입증했다는 점에 있다.

저자들은 다음을 강조한다:

1. 깊은 이해의 달성 가능성: RTL의 복잡성에도 불구하고, 에이전트는 가설을 생성하고 이를 EDA 도구로 테스트함으로써 복잡한 동작을 추론할 수 있다.
2. 일반적 적용 가능성: 형식 검증에서 평가되었지만, DUET은 실험 도구가 존재하는 모든 AI 워크플로우(예: 문서 생성, 디버깅)에 적용 가능한 일반적인 전술이다.
3. 한계점: 논문은 에이전트가 "속임수"를 쓰거나 환각을 일으키는 것을 방지하기 위해 여전히 세심한 프롬프팅이 필요함을 인정한다. 또한, 현재 구현이 시뮬레이션에 크게 의존하고 있으며, 더 나은 프롬프트 엔지니어링을 통해 포멀 검증 도구를 더 효과적으로 활용할 수 있을 것이라고 언급한다.

결론적으로, LLM은 강력하지만 실행 중인 설계의 동적인 상태와 상호작용하는 능력이 없다면 하드웨어 영역에서 실패한다. DUET은 이 간극을 메우기 위한 필수적인 프레임워크를 제공하며, 인간 전문가의 반복적이고 도구 중심적인 학습 과정을 재현할 수 있게 한다.