RefEvo: Agentic Design with Co-Evolutionary Verification for Agile Reference Model Generation

"RefEvo: Agile Reference Model Generation 을 위한 공진화적 검증을 활용한 에이전트 설계" 논문에 대한 상세 기술 요약은 다음과 같습니다.

1. 문제 제기

시스템 온 칩 (SoC) 의 복잡도가 증가함에 따라, 업계의 '시프트-왼쪽 (shift-left)' 전략은 초기 아키텍처 탐색 및 검증을 위한 고충실도 참조 모델 (예: SystemC) 의 신속한 개발을 요구합니다. 대규모 언어 모델 (LLM) 이 코드 생성에서 가능성을 보여주고 있지만, 하드웨어 모델링에 적용할 때는 세 가지 치명적인 장애물에 직면해 있습니다:

• 경직된 워크플로우: 정적이고 선형적인 생성 프로세스는 다양한 설계 복잡도에 적응하지 못해, 복잡한 논리에서 비효율성과 오류를 초래합니다.
• 치명적 망각: 반복적 정제를 위해 필요한 긴 상호작용 세션이 LLM 의 컨텍스트 창을 초과하여, 모델이 초기 명세 (예: 레지스터 맵, 프로토콜) 와 같은 중요한 정보를 잃어버리게 됩니다.
• 결합된 검증 실패: LLM 이 테스트 대상 (DUT) 과 테스트벤치 (TB) 를 모두 생성할 때 발생하는 치명적인 신뢰성 문제입니다. TB 는 종종 DUT 의 환각 (hallucinations) 에 맞춰 우연히 조정되어, 모델에 결함이 있음에도 불구하고 잘못된 긍정 (false-positive) 인 'PASS'로 이어집니다. 현재의 정적 검증 흐름은 이러한 공유된 환각을 탐지할 수 없습니다.

2. 방법론: RefEvo 프레임워크

RefEvo 는 하드웨어 모델링을 정적 생성 작업이 아닌 공진화적 과정으로 취급하도록 설계된 동적 멀티 에이전트 프레임워크입니다. 이는 세 가지 핵심 혁신으로 구성됩니다:

A. 동적 설계 플래너 (에이전트 1)

고정된 워크플로우 대신, '브레인' 에이전트가 설계 명세의 의미론적 복잡성을 자율적으로 분석합니다.

• 기능: 인터페이스 프로토콜 (예: AXI 대 GPIO), 상태 공간 (예: FSM 복잡도), 그리고 동시성 (예: 멀티 클록 도메인) 의 세 가지 차원에서 설계를 평가합니다.
• 출력: 작업을 분해하고 적절한 라우팅 전략을 선택하는 구조화된 실행 계획 (JSON) 을 생성하여, 간단한 논리는 효율적으로 처리하고 복잡한 시스템에는 맞춤형 워크플로우를 제공하도록 보장합니다.

B. 공생적 검증 루프 (에이전트 2, 3, 4)

이는 '결합된 검증 실패'를 해결하는 핵심 메커니즘입니다. 생성과 검증 사이의 공생 관계를 감독하기 위해 변증법적 중재자 (Dialectical Arbiter) 를 활용합니다.

• 이중 생성기 설정: 모델러 에이전트가 SystemC 참조 모델을 생성하는 동안, 검증자 에이전트가 동시에 테스트벤치 (TB) 를 구축합니다.
• 변증법적 중재: 전용 중재 에이전트가 불변의 **명세 오라클 (Specification Oracle)**에 대한 시뮬레이션 트레이스를 비교하는 중앙 권한 역할을 수행합니다. 네 가지 라우팅 경로를 통해 불일치를 해결합니다:
  1. 구문 수정: 컴파일 오류를 수정합니다.
  2. 설계 정제 (Red Path): 모델이 명세를 위반할 경우, 중재자는 모델러에게 논리를 수정하도록 지시합니다.
  3. TB 재정렬 (Blue Path): 모델이 명세와 일치하지만 TB 가 실패하는 경우 (검증 로직의 환각을 나타냄), 중재자는 검증자에게 TB 를 수정하도록 지시합니다. 이는 공유된 환각을 깨는 핵심 메커니즘입니다.
  4. 성공: 기능적 동등성을 확인하고 골든 모델 (Golden Model) 을 출력합니다.

C. 명세 고정 컨텍스트 관리

긴 턴 상호작용 중 치명적 망각을 방지하기 위해:

• 앵커 (불변): 초기 설계 명세가 컨텍스트 창 상단에 고정되어 제거되지 않으며, 진실의 오라클 (ground-truth Oracle) 로서 기능합니다.
• 요약 (압축): 토큰을 절약하면서 추론 체인을 보존하기 위해 과거 상호작용 라운드가 요약됩니다.
• 작업 공간 (동적): 최근 오류 로그와 코드 스니펫이 여기서 처리됩니다.
  이 전략은 세션 길이와 관계없이 중요한 제약 사항에 대한 100% 회수를 보장합니다.

3. 주요 기여

1. 애자일 동적 계획: 의미론적 복잡성에 기반하여 명세를 자율적으로 분해하는 플래너를 도입하여, 경직된 선형 워크플로우를 넘어섰습니다.
2. 공진화적 검증: 모델과 테스트벤치를 모두 명세 오라클에 대해 검증하는 새로운 변증법적 메커니즘으로, 정적 흐름이 실패하는 '결합된 검증 실패' 문제를 효과적으로 해결합니다.
3. 명세 고정 전략: 명세의 손실 없는 회수를 보장하는 컨텍스트 압축 기술로, 치명적 망각 없이 장거리 추론을 가능하게 합니다.
4. 종합 벤치마킹: 5 개의 최첨단 LLM 을 사용하여 20 개의 다양한 하드웨어 모듈 (단순 논리부터 AXI DMA 및 FFT 와 같은 복잡한 프로토콜까지) 에 대한 평가가 수행되었습니다.

4. 실험 결과

RefEvo 는 5 개의 LLM(Gemini-2.5-Pro, GPT-5.1, Claude-Opus-4.1 포함) 을 대상으로 네 가지 베이스라인 (Naive, Flow Only, FixedTB, RefEvo) 과 비교 평가되었습니다.

• 성공률: RefEvo 는 벤치마크에서 95% 의 통과율을 달성하여 정적 베이스라인 (0%~35% 범위) 을 크게 능가했습니다. 특히, 베이스라인 모드에서 일관되게 실패했던 복잡한 모듈 (예: fpu_div, keccak) 을 해결했습니다.
• 어블레이션 연구:
  • 'Flow Only'에서 'FixedTB'로 전환하면 구문 오류는 제거되었으나 기능적 실패는 남아 있었습니다.
  • '공진화 (Co-Evolution)'를 활성화한 RefEvo 는 기능적 실패를 크게 줄였으며, 이는 많은 오류가 결함이 있는 모델이 아니라 잘못된 검증 로직 (TB 환각) 에 기인했음을 입증했습니다.
• 효율성: 명세 고정 전략은 토큰 소비를 평균 71.04% 감소시켰습니다. 복잡한 설계의 경우, 100% 명세 회수를 유지하면서 세션당 73,900 개 이상의 토큰을 절감했습니다.
• 견고성: 이 프레임워크는 모델 무관한 개선을 보여주어, 베이스라인 능력과 관계없이 테스트된 모든 LLM 에서 일관되게 통과율을 향상시켰습니다.

5. 의의

RefEvo 는 LLM 지원 EDA 에서의 패러다임 전환을 나타냅니다. 정적 코드 생성에서 동적 공진화 에이전트 시스템으로 전환함으로써 하드웨어 모델링의 근본적인 신뢰성 문제를 해결합니다.

• 신뢰성: LLM 이 자신의 환각을 검증하는 '아첨 (sycophantic)' 검증 문제를 해결하여, 생성된 참조 모델이 진정으로 '골든 (golden)'임을 보장합니다.
• 확장성: 컨텍스트 관리 전략은 prohibitive 한 토큰 비용 없이 복잡한 SoC 에 대한 고충실도 모델링을 가능하게 합니다.
• 영향: 이 프레임워크는 완전히 자동화된 고충실도 SoC 검증을 위한 길을 열어, '시프트-왼쪽' 시대에 더 효율적인 하드웨어 - 소프트웨어 공동 설계 워크플로우를 가능하게 합니다.