LLM4Cov: Execution-Aware Agentic Learning for High-coverage Testbench Generation

이 논문은 실행 피드백의 비용과 지연 문제를 해결하기 위해 오프라인 에이전트 학습 프레임워크인 LLM4Cov 를 제안하여, 실행 검증 기반 데이터 선별 및 정책 인식 합성 기법을 통해 소규모 모델로도 대규모 모델에 필적하는 높은 하드웨어 검증 커버리지를 달성함을 보여줍니다.

핵심

🏗️ 비유: "고장 난 건물을 수리하는 AI 건축가"

상상해 보세요. 거대한 건물을 짓는 중인데, 아직 실제 건물을 짓기 전이라 컴퓨터 시뮬레이션으로만 테스트를 하고 있습니다. 문제는 건물이 너무 복잡해서 어디가 고장 날지, 어디가 약한지를 사람이 일일이 찾기 어렵다는 점입니다.

기존의 AI 는 "이건 좋은 설계야, 저건 나쁜 설계야"라고 말만 할 뿐, 직접 시뮬레이션을 돌려보지 못했습니다. 하지만 이 논문은 "AI 가 직접 시뮬레이션을 돌려보고, 실패한 경험을 통해 스스로 배우게 하는" 방법을 제안합니다.

1. 문제: "비싼 실패" (Expensive Failure)

• 상황: AI 가 설계도를 고쳐서 시뮬레이션을 돌리면, "오류 발견!"이라는 피드백을 받습니다.
• 문제: 하지만 이 시뮬레이션은 시간과 돈이 엄청나게 많이 듭니다. (실제 공장에서 기계가 멈추는 것과 비슷합니다.)
• 기존 방식의 한계: AI 가 실수할 때마다 매번 비싼 시뮬레이션을 돌리며 배우는 건 (온라인 학습) 너무 비싸서 불가능합니다.

2. 해결책: "LLM4Cov"의 3 가지 전략

이 논문은 AI 가 비싼 실패를 최소화하면서, 가장 중요한 실수로부터만 배우게 하는 3 가지 지혜로운 방법을 제안합니다.

① "가장 나쁜 실수"만 골라보기 (Worst-State-Prioritized Sampling)

• 비유: 학생이 시험을 봤을 때, 90 점 맞은 문제와 0 점 맞은 문제 중 어디를 더 자세히 분석해야 할까요? 당연히 0 점 맞은 문제죠.
• 기술적 의미: AI 가 만든 설계 중 Coverage(테스트 범위) 가 가장 낮게 나온, 즉 가장 위험한 상태를 골라냅니다. 잘된 설계는 무시하고, 가장 고칠 필요가 있는 '최악의 상황'에 집중해서 학습 데이터를 만듭니다.

② "실패한 후의 성공"을 기록하기 (Coverage-Guided Rejection Fine-Tuning)

• 비유: 요리사가 실패한 요리를 버리는 게 아니라, "어떻게 고치니 맛이 좋아졌나?"를 기록하는 것과 같습니다.
• 기술적 의미: AI 가 처음에 나쁜 설계 (저점수) 를 만들었을 때, 그것을 바로 버리지 않습니다. 대신 **"이걸 어떻게 고치니 점수가 올랐나?"**라는 '수정 과정'을 기록합니다. AI 는 실패한 상태에서 어떻게 성공으로 이어졌는지를 배우는 것입니다.

③ "단계별 성장" (Progressive Learning)

• 비유: 초등학생에게 대학 수준의 미적분 문제를 바로 주면 당황합니다. 대신 초등학교 문제 → 중학교 문제 → 고등학교 문제 순서로 가르쳐야 합니다.
• 기술적 의미:
  • 1 단계: AI 가 아직 약할 때는, 더 똑똑한 '선생님 AI'가 고쳐준 데이터를 보여줍니다.
  • 2 단계: AI 가 조금 성장하면, '선생님'이 고쳐준 상태의 데이터를 보여줍니다.
  • 3 단계: AI 가 충분히 성장하면, 스스로 고쳐낸 데이터를 보여줍니다.
  • 이렇게 단계별로 데이터를 바꿔주면서 AI 가 자연스럽게 성장하도록 돕습니다.

---

🏆 결과: 작은 AI 가 거인을 이기다

이론만 좋은 게 아닙니다. 실험 결과는 놀랍습니다.

• 기존 방식: 하드웨어 검증에 특화된 거대한 AI(300 억~400 억 개의 파라미터) 를 사용해야 좋은 성적을 냈습니다.
• LLM4Cov 방식: 이 논문의 방법으로 훈련된 **작은 AI(40 억 개의 파라미터)**가, 거대한 AI 들보다 더 좋은 성적을 냈습니다.
  • 비유: "작은 체구의 천재 운동선수"가 "거구의 일반 운동선수"들을 이긴 것과 같습니다.
  • 성적: 40 억 파라미터 모델이 69.2% 의 테스트 통과율을 기록했는데, 이는 300 억 파라미터 모델보다 5.3% 더 높았습니다.

💡 핵심 요약

이 논문은 **"AI 가 하드웨어를 검증할 때, 무작정 많이 실행하는 게 아니라, '어떤 실패'를 어떻게 '수정'했는지에 집중해서, 작은 모델도 거대한 성능을 내게 한다"**는 것을 증명했습니다.

마치 **"실패 노트를 잘 정리하는 학생"**이, 단순히 많은 문제를 푸는 학생보다 더 빠르게 성장하는 것과 같은 원리입니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 하드웨어 검증 (Verification) 은 칩 제작 전 시뮬레이션을 통해 설계의 오류를 찾고 커버리지 (Coverage) 를 확보하는 과정으로, 현대 하드웨어 설계 비용의 대부분을 차지합니다.
• 도전 과제:
  • 실행 비용의 비효율성: LLM 에이전트가 도구 (시뮬레이터) 와 상호작용하며 피드백을 학습하는 '실행 인식 (Execution-aware)' 방식은 유망하지만, 산업용 시뮬레이션은 실행 시간이 길고 비용이 매우 비쌉니다. 이로 인해 온라인 강화 학습 (Online RL) 은 비현실적입니다.
  • 오프라인 학습의 한계: 기존 오프라인 학습은 정적 데이터셋에 의존하는데, 이는 학생 모델 (Student Model) 이 겪는 중간 실패 상태와 교사 모델 (Teacher Model) 이 생성한 데이터 간의 **상태 분포 편차 (State-distribution Shift)**를 유발합니다.
  • 밀집하지만 비싼 피드백: 커버리지 신호는 밀집된 (dense) 피드백을 제공하지만, 이를 효과적으로 지도 신호로 활용하기 어렵습니다. 특히 실행 비용 제약 하에서 오프라인 데이터만으로는 학습이 어렵습니다.

2. 방법론 (Methodology)

저자들은 하드웨어 검증을 시뮬레이터 피드백에 의해 안내되는 메모리리스 (Memoryless) 상태 전이로 모델링하고, 이를 통해 실행 제약 하에서 확장 가능한 학습을 가능하게 하는 LLM4COV 프레임워크를 제안합니다.

핵심 구성 요소:

1. 메모리리스 상태 전이 모델링 (Memoryless State Transition Formulation):

   • 에이전트의 모든 정보는 현재 상태 (현재 테스트벤치 코드 + 시뮬레이터 피드백) 에 명시적으로 표현된다고 가정합니다.
   • 과거 상호작용 기록을 제거하고 최신 실행 신호에 집중하여 프롬프트 길이를 줄이고 학습 효율을 높입니다.

2. 커버리지 기반 에이전트 거부 미세 조정 (Coverage-Guided Agentic Rejection Fine-Tuning):

   • 최악의 상태 우선 샘플링 (Worst-State-Prioritized Sampling): 모든 상태가 아닌, 커버리지가 가장 낮은 (실패 가능성이 높은) 중간 상태를 선택하여 교정 (Recovery) 행동을 학습합니다.
   • 실행 기반 거부 샘플링: 생성된 테스트벤치 후보 중 시뮬레이터 실행 후 커버리지가 일정 임계값 이상 향상된 경우만 데이터를 유지합니다. 이는 성공적인 경우보다 '수복 (Recovery)' 행동에 집중하여 각 시뮬레이션 호출에서 최대의 학습 신호를 추출합니다.

3. 검증 조건부 점진적 학습 (Verification-Conditioned Progressive Learning):

   • 학생 모델의 상태 분포가 학습 과정에서 진화함에 따라, 데이터 생성과 학습을 **3 단계 (Stage)**로 나누어 진행합니다.
     • Stage 0: 교사 모델이 생성한 완전한 궤적 (Full-teacher traces) 을 기반으로 기본 문법 및 실행 성공을 학습.
     • Stage 1: 학생 모델이 생성한 중간 상태 (실패 상태) 에 대해 교사 모델이 교정하는 '모방 스타일 (Imitation-style)' 학습.
     • Stage 2: 학생 모델이 스스로 실패 상태를 생성하고 스스로 교정하는 '자기 샘플링 (Self-sampling)' 학습.
   • 이 방식은 단순한 데이터 증강 (Data Augmentation) 보다 학생 모델의 현재 능력에 맞는 지도 신호를 제공하여 학습 안정성과 최종 성능을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. LLM4COV 프레임워크: 하드웨어 검증 분야에서 실행 피드백을 기반으로 한 최초의 오프라인 에이전트 학습 프레임워크를 제안했습니다.
2. 새로운 학습 패러다임:
   • 실행 검증 데이터 큐레이션: 시뮬레이터 피드백을 기반으로 저커버리지 시나리오와 그 개선안을 선별하는 메커니즘.
   • 정책 인식 에이전트 데이터 합성: 학생 모델의 현재 분포에 맞춰 데이터를 생성하는 점진적 학습 전략.
   • 최악 상태 우선 샘플링: 희소한 실행 예산 내에서 가장 학습 가치가 높은 (수복이 필요한) 시나리오에 집중하는 전략.
3. 새로운 벤치마크 (CVDP-ECov): 기존 CVDP 벤치마크를 수정하여, LLM 이 설계 소스 코드 전체를 참조하고 시뮬레이터 피드백을 기반으로 테스트벤치를 생성/수정하는 현실적인 평가 프로토콜을 도입했습니다.

4. 실험 결과 (Results)

• 성능: 제안된 파이프라인으로 학습된 4B(40 억) 파라미터 모델은 에이전트 평가에서 69.2% 의 커버리지 통과율을 달성했습니다.
• 비교 우위:
  • 이 모델은 30B 파라미터 규모의 교사 모델보다 5.3% 더 높은 성능을 보였습니다.
  • 파라미터 크기가 **50 배~100 배 큰 모델들 (예: 300B 이상)**과 경쟁력 있는 성능을 보였습니다.
  • 하드웨어 특화 모델이나 일반 코딩 특화 모델들보다 월등히 우수한 결과를 기록했습니다 (Table 2 참조).
• 분석:
  • 점진적 학습의 효과: 단계별 학습 (Stage-conditioned) 은 단순 데이터 증강보다 훨씬 우수한 성능을 보였습니다.
  • 최악 상태 샘플링: 무작위나 최상위 상태 선택보다 '최악 상태'를 우선시하는 전략이 검증 성능을 크게 향상시켰습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 규모의 한계 극복: 하드웨어 검증과 같은 복잡한 에이전트 작업에서 단순히 모델 크기를 키우는 (Scaling) 것만으로는 해결되지 않으며, **실행 기반의 지도 학습 (Execution-grounded supervision)**과 표적화된 데이터 합성이 필수적임을 증명했습니다.
• 효율성: 소규모 모델 (4B) 이도 체계적인 학습 프레임워크를 통해 대규모 모델과 경쟁할 수 있음을 보여주어, 비용 효율적인 하드웨어 검증 솔루션의 가능성을 제시했습니다.
• 실용성: 산업계에서 실제 시뮬레이션 비용이 큰 환경에서도 적용 가능한 오프라인 학습 전략을 제시하여, LLM 을 활용한 자동화된 하드웨어 검증의 실용화를 가속화할 것으로 기대됩니다.

이 논문은 LLM 에이전트가 고비용의 도구 피드백을 효과적으로 학습하여 복잡한 하드웨어 검증 과제를 해결할 수 있음을 보여주는 중요한 연구입니다.