1. 문제 정의 (Problem)

현대 반도체 설계에서 기능 검증 (Functional Verification) 은 전체 개발 시간의 약 70% 를 차지하는 병목 현상이며, 설계 복잡도가 기하급수적으로 증가함에 따라 기존 방법론의 한계가 드러나고 있습니다.

• 기존 방법의 한계: 제약 기반 무작위 검증 (Constrained-random) 및 형식 검증은 설계 복잡도를 따라가지 못하며, 검증 엔지니어의 수요가 공급을 훨씬 초과하고 있습니다.
• LLM 기반 자동화의 장애물: 최근 대규모 언어 모델 (LLM) 을 활용한 자동화 시도들이 있었으나, 다음과 같은 핵심 문제들로 인해 종단 간 (End-to-End) 자동화가 실현되지 못했습니다.
  1. 생성 정확도 부족: LLM 은 Python 과 같은 소프트웨어 언어에 비해 Verilog/SystemVerilog 와 같은 하드웨어 기술 언어 (HDL) 생성 능력이 떨어집니다. (훈련 데이터의 불균형 및 복잡한 문법 오류)
  2. 복잡한 작업 수행의 어려움: 검증 워크플로우는 방대한 정보 처리가 필요하며, LLM 의 환각 (Hallucination), 컨텍스트 소실, 지시 따르기 약점 등으로 인해 오류가 누적되어 전체 검증의 신뢰성이 떨어집니다.
  3. 검증 일관성 유지의 난해함: 명세서, 커버리지 모델, 테스트 케이스 간의 의미론적 연결 (Traceability) 을 유지하는 것이 어렵습니다. LLM 은 용어를 임의로 변경하거나 설계 의도와 무관한 시나리오를 생성하여 검증 결과의 신뢰성을 훼손합니다.

2. 방법론 (Methodology)

이 논문은 이러한 문제를 해결하기 위해 UCAgent라는 종단 간 자동화 에이전트를 제안하며, 세 가지 핵심 메커니즘을 기반으로 합니다.

가. 순수 Python 기반 검증 환경 구축 (Python Verification Environment)

• 전략: LLM 이 SystemVerilog 코드를 직접 생성하는 대신, Python으로 검증 작업을 수행하도록 환경을 전환합니다.
• 구현:
  • Picker: RTL 설계를 Python 패키지 (PyDUT) 로 변환합니다.
  • Toffee: PyDUT 기반의 고수준 검증 추상화를 제공하여 클럭 제어 등 저수준 타이밍 세부 사항을 숨깁니다.
• 효과: LLM 이 가장 능숙한 Python 코딩 능력을 활용하여 테스트벤치 생성 및 테스트 케이스 실행을 안정적으로 수행하게 합니다.

나. 31 단계 세분화된 검증 워크플로우 (Configurable 31-Stage Workflow)

• 전략: 검증 과정을 기능 추출, 커버리지 모델링, 테스트 케이스 생성, 버그 분석 등으로 세분화하여 31 단계의 미세한 단계로 구성합니다.
• 자동 체커 (Automated Checkers): 각 단계가 완료될 때마다 해당 단계의 산출물을 검증하는 전용 체커가 작동합니다.
  • 오류가 발견되면 LLM 에게 구체적인 피드백을 제공하고 재시도 (Self-correction) 를 유도합니다.
  • 이는 오류의 누적 (Error Accumulation) 을 방지하고 단계별 품질을 보장합니다.
• 유연성: 모듈의 복잡도에 따라 워크플로우를 동적으로 구성할 수 있습니다 (예: 복잡한 의존성 모듈의 경우 Mock 생성 단계 추가).

다. 검증 일관성 라벨링 메커니즘 (Verification Consistency Labeling Mechanism, VCLM)

• 전략: 명세서, 커버리지 모델, 테스트 케이스 간의 끊어지지 않는 추적성을 확보하기 위해 계층적 라벨링 시스템을 도입합니다.
• 계층 구조:
  1. FG (Function Group): 설계 명세서의 상위 기능 카테고리.
  2. FC (Function Checkpoint): 구체적인 기능 포인트.
  3. CK (Check Point): 검증해야 할 구체적인 조건.
• 작동 원리: LLM 이 생성하는 모든 산출물 (명세서 분석, 커버리지 정의, 테스트 코드) 에 이 라벨들을 명시적으로 포함하도록 강제합니다. 체커는 라벨의 일치성을 검증하여, 명세서에 없는 시나리오 (환각) 나 누락된 조건을 즉시 감지하고 수정을 요구합니다.

3. 주요 기여 (Key Contributions)

1. HDL 생성 의존성 제거: LLM 의 약점인 HDL 코드 생성 대신 Python 기반 환경을 구축하여 검증 자동화의 신뢰성을 획기적으로 높였습니다.
2. 오류 제어 및 피드백 루프: 31 단계의 세분화된 워크플로우와 각 단계별 자동 체커를 통해 LLM 의 환각과 오류 누적을 효과적으로 통제합니다.
3. 형식적 일관성 보장: VCLM 을 통해 검증 목표와 구현 간의 매핑을 기계적으로 검증 가능한 형태로 강제하여, 검증 결과의 신뢰성과 추적성을 보장합니다.
4. 실제 버그 발견: 기존에 발견되지 않았던 설계 결함 (LaneFAdd 모듈의 FP16/BF16 경계 조건 버그 등) 을 자동으로 발견하여 실제 활용 가능성을 입증했습니다.

4. 실험 결과 (Results)

UART, FPU (LaneFAdd), 정수 나누기 (IntegerDivider) 등 다양한 하드웨어 모듈을 대상으로 실험을 수행했습니다.

• 커버리지 달성:
  • 코드 커버리지: 최대 98.5% 달성 (IntegerDivider 모듈).
  • 기능 커버리지: 최대 100% 달성.
• 성능 비교:
  • Claude-Sonnet-4.5: 가장 높은 코드 커버리지와 세밀한 기능 분해 능력을 보였으나, 테스트 생성 시 반복 실패 횟수가 많아 시간이 다소 소요됨.
  • GPT-5: 기능 커버리지가 100% 로 매우 안정적이며, 단계별 실패 변동이 적음.
  • Qwen3-Coder-Plus: 실행 효율이 가장 뛰어남 (평균 74 분), 하지만 커버리지 깊이가 상대적으로 낮음.
• 버그 발견: 검증되지 않았던 LaneFAdd 모듈에서 3 개의 새로운 경계 조건 버그를 자동 발견하고, VCLM 을 통해 해당 버그의 원인을 특정 기능 포인트까지 추적하여 개발자에게 보고했습니다.
• 대규모 모듈 대응: 15 만 줄 이상의 PageTableWalker 모듈은 기본 워크플로우로는 완성이 어렵지만, 인간 개입 (Human-in-the-loop) 전략을 통해 8 시간 내에 검증 완료.

5. 의의 및 결론 (Significance)

UCAgent 는 하드웨어 블록 레벨 기능 검증을 위한 완전 자동화된 에이전트 시스템의 가능성을 입증했습니다.

• 패러다임 전환: 단순한 코드 생성 도구를 넘어, 검증 워크플로우를 관리하고 품질을 통제하며 일관성을 유지하는 자율 에이전트로서의 역할을 수행합니다.
• 실용성: LLM 의 한계를 보완하는 구조적 설계 (Python 환경, 체커, 라벨링) 를 통해 실제 산업 환경에서 적용 가능한 수준의 검증 결과를 도출했습니다.
• 미래 전망: 대규모 설계에 대한 워크플로우 구성의 자동화 및 도메인 지식 주입 (Knowledge Injection) 메커니즘을 통해 향후 더 높은 수준의 자동화를 기대할 수 있습니다.

이 연구는 AI 기반 하드웨어 검증 분야에서 LLM 의 활용도를 극대화하면서도 그로 인한 신뢰성 문제를 해결하는 새로운 표준을 제시한다는 점에서 중요한 의미를 가집니다.