SecureRAG-RTL: A Retrieval-Augmented, Multi-Agent, Zero-Shot LLM-Driven Framework for Hardware Vulnerability Detection

이 논문은 HDL 설계의 취약점 탐지 성능을 향상시키기 위해 도메인 특화 검색과 생성적 추론을 결합한 SecureRAG-RTL 프레임워크를 제안하고, 14 개의 HDL 디자인으로 구성된 벤치마크 데이터셋을 공개하여 LLM 기반 하드웨어 보안 검증의 정확성을 약 30% 높였음을 보여줍니다.

핵심

🏠 비유: "초보 탐정과 전문 도서관"

1. 문제: "모든 것을 다 아는 천재도 하드웨어는 모른다"

지금까지의 AI(예: GPT-4, Llama 등) 는 인터넷에 떠도는 방대한 데이터를 학습했습니다. 하지만 인터넷의 99% 는 파이썬, 자바 같은 소프트웨어 코드이고, **하드웨어 설계 (RTL)**에 대한 자료는 아주 드뭅니다.

• 상황: 마치 **세계적인 요리사 (AI)**가 있습니다. 이 요리사는 프랑스 요리, 중식, 일식 등 모든 요리를 완벽하게 할 줄 압니다. 하지만 이 요리사가 **"전통 한약재 (하드웨어)"**를 다루는 법을 배운 적은 거의 없습니다.
• 결과: 이 요리사에게 "한약재로 약을 만들어줘"라고 하면, 그는 요령껏 비슷하게 흉내 내거나 엉뚱한 것을 만들어냅니다. 보안 구멍 (취약점) 을 찾아내려 해도, "이게 위험한지 안전한지"를 잘 모릅니다.

2. 해결책: "SecureRAG-RTL" (지능형 검색 + 전문가 팀)

저자들은 이 문제를 해결하기 위해 RAG(검색 증강 생성) 기술을 도입했습니다. 이를 **'전문 도서관과 팀워크'**로 비유해 볼까요?

이 시스템은 두 단계로 나뉩니다.

1 단계: "검색관"이 필요한 책을 찾아다니다 (Retrieval Phase)

• 상황: AI 가 하드웨어 설계도 (RTL) 를 받으면, 먼저 **전문 도서관 (CWE 데이터베이스)**으로 갑니다. 이 도서관에는 하드웨어의 모든 위험 요소 (예: "전원 신호 누출", "비밀 키 유출" 등) 가 정리된 백과사전이 있습니다.
• 작동: AI 는 설계도의 핵심 키워드 (예: "JTAG", "암호키") 를 뽑아내어 도서관 사서에게 "이런 구조의 위험한 사례가 있나요?"라고 묻습니다.
• 비유: 요리사가 "한약재"를 다룰 때, 바로 요리하는 게 아니라 한의학 전문 도서관에서 "이 한약재의 위험한 조합은 무엇인가?"를 찾아보는 것입니다.

2 단계: "현장 전문가"가 책을 보고 판단하다 (Detection Phase)

• 상황: 도서관에서 찾은 '위험 사례'와 '해결책'을 AI 에게 건네줍니다. 이제 AI 는 이 참고 자료를 옆에 두고 설계도를 다시 봅니다.
• 작동: "아! 이 설계도에는 '비밀 키'가 쓰였는데, 도서관에 따르면 '비밀 키'가 이렇게 노출되면 해킹당할 수 있구나!"라고 깨닫습니다.
• 비유: 요리사가 도서관에서 찾아온 "한약재 사용 주의사항"을 보고, "아, 이 약재는 이렇게 쓰면 독이 되겠구나!"라고 깨닫고 정확한 약을 만듭니다.

3. 놀라운 결과: "작은 AI 가 거인처럼 변하다"

이 시스템의 가장 큰 장점은 작은 AI 모델도 거대한 AI 못지않게 잘하게 만든다는 점입니다.

• 기존: 작은 AI(저가형 모델) 는 하드웨어 보안에 대해 무지해서 취약점을 거의 못 찾았습니다. (성공률 약 7~20%)
• SecureRAG-RTL 적용 후: 작은 AI 가 도서관의 자료를 참고하니, 취약점 찾기가 3 배 이상 늘었습니다. (성공률 약 40~60% 이상)
• 대형 AI 도 더 좋아짐: 이미 똑똑한 거대 AI(GPT-4, Gemini 등) 도 이 시스템을 쓰면 실수 없이 100% 에 가까운 정확도를 냈습니다.

4. 핵심 메시지: "모든 것을 외울 필요는 없다"

이 논문이 전하는 가장 중요한 메시지는 다음과 같습니다.

"AI 가 모든 것을 기억하고 외울 필요는 없습니다. 필요한 지식을 적시에 찾아서 (검색) 적용하는 능력이 훨씬 중요합니다."

마치 **초보 탐정 (작은 AI)**에게 **수천 권의 사건 기록 (데이터베이스)**과 **수사 매뉴얼 (RAG)**을 쥐어주면, 베테랑 형사 (거대 AI) 못지않게 사건을 해결할 수 있는 것과 같습니다.

📝 한 줄 요약

"하드웨어 보안은 AI 가 혼자 외우기엔 너무 어렵지만, '전문 도서관'을 찾아보게 해주면 작은 AI 도 거인처럼 완벽한 보안 감시를 할 수 있다!"

이 기술은 앞으로 기업들이 비싼 AI 를 쓰지 않아도, 저렴하고 빠른 AI 로서도 안전한 하드웨어를 만들 수 있게 해줄 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 하드웨어 보안 검증의 어려움: 현대 반도체 설계의 복잡성 증가로 인해 제 3 자 지적재산권 (IP) 의 보안 취약점 검증은 시간과 전문 지식이 많이 소요됩니다. 기존의 시뮬레이션 기반 테스트나 형식 검증은 시간이 많이 걸립니다.
• LLM 의 한계: 자연어 처리 및 소프트웨어 코드 분석에서 뛰어난 성능을 보이는 대규모 언어 모델 (LLM) 은 하드웨어 기술 언어 (HDL, 예: Verilog) 에 대한 학습 데이터가 부족하여 하드웨어 보안 검증에 적용하기 어렵습니다.
• 데이터 부족: 공개된 HDL 데이터셋이 희소하며, 기존 LLM 은 주로 C, Python, Java 등 소프트웨어 코드로 훈련되어 하드웨어 설계의 맥락을 이해하는 데 한계가 있습니다.
• 기존 접근법의 비효율성: 취약점 탐지를 위해 LLM 을 파인튜닝 (Fine-tuning) 하는 방법은 비용이 많이 들고 저자원 환경에서는 실용적이지 않습니다. 또한, 제로샷 (Zero-shot) 프롬프팅만으로는 HDL 의 취약점을 정확히 탐지하는 데 실패하는 경우가 많습니다 (실험 결과, 14 개 취약점 중 7B 모델은 평균 4 개, 최첨단 모델은 7 개만 탐지).

2. 제안 방법론: SecureRAG-RTL (Methodology)

저자들은 SecureRAG-RTL이라는 새로운 프레임워크를 제안합니다. 이는 검색 증강 생성 (RAG), 멀티 에이전트, 제로샷 프롬프팅을 결합하여 LLM 의 파인튜닝 없이 하드웨어 취약점 탐지 성능을 극대화하는 방식입니다.

프레임워크는 크게 두 단계로 구성됩니다:

A. 검색 단계 (Retrieval Phase)

• 목표: 입력된 RTL 설계와 관련성이 높은 Common Weakness Enumeration (CWE, MITRE 에서 제공하는 취약점 목록) 을 검색합니다.
• 프로세스:
  1. CWE 지식 데이터베이스 구축: MITRE 의 CWE 데이터를 웹 스크래핑하여 수집합니다. Summarizer 에이전트를 통해 각 CWE 에 대한 요약, 키워드 (하드웨어 시그니처), 취약한 예제 코드, 안전한 예제 코드를 생성하여 구조화된 메타데이터로 변환합니다.
  2. 입력 RTL 분석: 입력된 HDL 파일에 대해 Summarizer 에이전트가 기술적 요약 (설계 의도, FSM 구조 등) 을 생성하고, 파서를 통해 하드웨어 시그니처 (예: JTAG, Key, UART 등) 를 추출합니다.
  3. 하이브리드 검색: 생성된 RTL 요약과 시그니처의 임베딩 벡터를 가중치 합 (α=0.7, β=0.3) 하여 쿼리를 생성합니다. 이 쿼리를 통해 벡터 데이터베이스에서 코사인 유사도 (Cosine Similarity) 를 기반으로 상위 K 개의 관련 CWE 를 검색합니다.

B. 탐지 단계 (Detection Phase)

• 목표: 검색된 CWE 컨텍스트를 기반으로 RTL 코드의 취약점을 식별하고 취약한 코드 스니펫을 추출합니다.
• 프로세스:
  1. Detection 에이전트: 하드웨어 보안 전문가 역할을 수행하는 LLM 에이전트가 검색된 CWE 목록과 RTL 요약, 원본 코드를 입력받습니다.
  2. 추론 및 판별: 에이전트는 각 CWE 가 RTL 에 존재하는지 여부를 판단하고, 존재할 경우 취약한 코드 스니펫을 추출하며 그 이유를 설명합니다.
  3. 반복적 평가: 작은 모델은 한 번에 하나의 CWE 를 처리하고, 큰 모델은 전체 목록을 한 번에 처리하여 포괄적인 평가를 수행합니다.

3. 주요 기여 (Key Contributions)

1. SecureRAG-RTL 프레임워크 제안: LLM 파인튜닝 없이도 HDL 취약점 탐지 성능을 획기적으로 향상시키는 멀티 에이전트 제로샷 프롬프팅 워크플로우를 개발했습니다.
2. 구조화된 CWE 지식 통합: RTL 시그니처 추출, 다중 필드 의미 검색, HDL 주석, LLM 기반 RTL 요약 등을 결합하여 CWE 기반 취약점 탐지의 정밀도와 맥락 관련성을 높였습니다.
3. 광범위한 평가 및 벤치마크: 18 개의 오픈소스 및 상용 LLM 을 대상으로 실험을 수행했으며, 14 개의 실제 HDL 설계와 취약점을 포함하는 새로운 벤치마크 데이터셋을 공개했습니다.

4. 실험 결과 (Results)

18 개의 다양한 크기의 LLM (소형 3-4B, 중형 7-11B, 최첨단 SoTA) 을 대상으로 한 실험 결과는 다음과 같습니다:

• 탐지 정확도 향상: SecureRAG-RTL 적용 후 모든 모델에서 탐지 정확도가 크게 향상되었습니다.
  • 소형 모델 (≤4B): 평균 탐지 정확도가 **14.29% 에서 40.48%**로 약 26% 포인트 상승 (약 3 배 증가). 예를 들어, Gemma 3 4B 는 21.43% 에서 64.29% 로 급증했습니다.
  • 중형 모델 (7-11B): 평균 **29.76% 에서 52.38%**로 향상되었습니다.
  • 최첨단 모델 (SoTA): GPT-4o, Gemini 2.5 Pro 등도 RAG 적용 전 50% 대의 정확도에서 **90% 이상 (최대 100%)**으로 향상되었습니다. 특히 Gemini 2.5 Flash 와 Pro 는 모든 14 개 취약점을 성공적으로 탐지했습니다.
• 코드 스니펫 추출 정밀도 (ROUGE-L): 취약한 코드 스니펫을 정확히 추출하는 능력도 크게 개선되었습니다. 소형 모델은 스코어가 3 배 이상 증가했으며, 대형 모델은 90% 에 근접하는 정밀도를 보였습니다.
• 모델 크기와 개선 폭의 역상관 관계: 모델이 작을수록 RAG 를 통한 개선 폭이 더 컸습니다. 이는 SecureRAG-RTL 이 사전 학습되지 않은 소형 모델에게 지식 증폭기 역할을 함을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 자원 효율성: 고비용의 대형 모델로 파인튜닝하거나 실행할 필요 없이, 검색 증강 (RAG) 을 통해 소형 LLM 을 사용하여 산업 수준의 보안 검증이 가능해졌습니다. 이는 비용, 지연 시간, 프라이버시 제약이 있는 환경 (예: 기업 내부 HDL 코드) 에 매우 적합합니다.
• 확장성: 제안된 프레임워크는 다양한 LLM 아키텍처에 적용 가능하며, 하드웨어 보안 검증 워크플로우의 확장성과 효율성을 입증했습니다.
• 지식 격차 해소: HDL 데이터의 부족으로 인한 LLM 의 지식 격차를 외부 지식 베이스 (CWE) 를 통해 효과적으로 메우며, 하드웨어 보안 분야에서 LLM 의 실용성을 크게 높였습니다.

결론적으로, SecureRAG-RTL 은 하드웨어 취약점 탐지 분야에서 LLM 의 한계를 극복하고, 소형 모델로도 최첨단 성능을 달성할 수 있는 혁신적인 솔루션을 제시합니다.