AttackonCTF: Defending Hardware Security Competition Benchmarks in the Age of LLMs

기술 요약: AttackonCTF: LLM 시대의 하드웨어 보안 경진대회 벤치마크 방어

문제 정의
HackTheSilicon과 같은 하드웨어 보안 경진대회는 취약점 탐지 도구를 평가하고 인간 연구자 및 AI 모델을 교육하는 데 중요한 벤치마크 역할을 합니다. 이러한 경진대회는 주입된 산업 기반 취약점을 포함하는 오픈 소스 SoC 설계(예: OpenTitan)를 활용합니다. 참여를 위한 필수 요구 사항은 단순한 코드 비교가 아닌, 진정한 보안 추론 능력을 입증하는 종합적인 기술 보고서를 제출하는 것입니다.

그러나 저자들은 대규모 언어 모델(LLM)이 제기하는 심각한 유효성 위협을 식별했습니다. 최근의 발전으로 인해 LLM 기반 탐지기는 "지름길(shortcuts)"을 악용하여 심층적인 보안 분석 요구를 우회할 수 있게 되었습니다. 이 모델들은 고립된 상태에서 악성 설계를 추론하는 대신, 검색 증강 생성(RAG)을 사용하여 공개 저장소, 커밋 히스토리 또는 풀 리퀘스트(PR)에서 원래의 깨끗한 버전 코드를 가져옵니다. 이렇게 검색된 깨끗한 코드와 버그가 있는 대상 코드 사이의 자동화된 "diff"를 수행함으로써, LLM은 진정한 하드웨어 보안 추론을 수행하지 않고도 높은 탐지율(75–83%)로 고품질의 취약점 보고서를 생성할 수 있습니다. 이는 경진대회의 교육적 무결성을 훼side하고, AI의 추론 능력을 평가하기 위해 의도된 벤치마크를 무효화합니다.

방법론
본 논문은 "diff-exploit(차이점 악용)" 가설에 대한 경험적 검증과 새로운 방어 메커즘 개발이라는 두 가지 접근 방식을 제안합니다.

1. LLM 지름길의 경험적 검증:
   저자들은 현실적인 공격 시나리오를 시뮬레이션하기 위해 점진적으로 정교해지는 네 가지 LLM 기반 취약점 탐지기(D1–D4)를 설계했습니다.

• D1 (Diff-Aware): 버그가 있는 코드와 깨끗한 코드 사이의 통합 diff만을 수신합니다.
• D2 (Repository-Aware RAG): 버그가 있는 코드를 수신하고 저장소 인덱스로부터 관련 컨텍스트(RTL 코드)를 검색합니다.
• D3 (History-Aware RAG): D2를 확장하여 개발 이력(Pull Requests, commits)을 검색함으로써 시간적 컨텍스트를 제공합니다.
• D4 (Weakness-Aware RAG): D2에 Common Weakness Enumeration(CWE) 데이터베이스의 하드웨어 보안 도메인 지식을 추가합니다.
  이 탐지기들은 베이스라인 성능을 설정하기 위해 난독화되지 않은 HackTheSilicon 벤치마크를 대상으로 테스트되었습니다.

2. AttackonCTF 난독화 프레임워크:
   이러한 지름길에 대응하기 위해, 저자들은 하드웨어 보안 벤치마크에 특화된 최초의 LLM 지향적, 의미 보존형 난독화 프레임워크를 도입합니다. 식별자 암호화 및 레이아웃 익명화를 통해 코드를 읽기 어렵게 만드는 전통적인 IP 보호용 하드웨어 난독화 도구와 달리, AttackonCTF는 인간 가독성과 교육적 가치를 우선시하면서 LLM 기반의 구문 매칭을 방해합니다.

이 프레임워크는 다음 단계를 포함하는 파이프라인로 작동합니다:

• 제약 조건 추출 (Constraint Extraction): LLM이 재작성 과정에서 반드시 준수해야 하는 공식 불변량(예: 모듈 인터페이스, 신호 폭, 리셋 동작, FSM 의미론 보존)을 정의합니다.
• 영역 선택 (Span Selection): 보호된 영역을 피하면서 변환할 취약한 코드 영역을 식별합니다.
• 코드 재작성 (Code Rewriting): LLM을 사용하여 다섯 가지 특정 변환 전략을 적용합니다:
  1. 의미적으로 중립적인 대안을 사용한 식별자 이름 변경.
  2. 동등한 표현식을 통한 제어 흐름 구조 재편.
  3. Diff-noise 주입: 원래의 참조 설계와의 구문적 유사성을 깨뜨리기 위해 양호한(benign) 수정을 도입.
  4. Context dilution (컨텍스트 희석): 보안 관련 단서를 모호하게 하거나 분산시킴.
  5. 불 대수(Boolean algebra) 및 시간적 변환을 이용한 로직 재작성.
• 검증 (Verification): 구문 체크를 위한 Verilator와 기능적 정확성 및 원래 설계와의 의미론적 동등성을 보장하기 위한 SAT 기반 증명인 Yosys를 사용하는 엄격한 루프를 거칩니다.

주요 기여

• 최초의 경험적 입증: 본 논문은 하드웨어 벤치마크에 대한 LLM 기반 취약점 탐지가 진정한 보안 추론 없이 diff 기반의 구문 비교 및 원본 코드 검색에 크게 의존한다는 증거를 제시합니다.
• 새로운 난독화 프레임워크: diff-noise, 컨텍스트 희석, 의미적 오도(misdirection)를 사용하는 최초의 가독성 유지형, LLM 특화 난독화 프레임워크를 개발했습니다.
• 자동화된 검증 파이프라인: 난독화된 설계가 의미론적으로 동등하고 완전히 기능함을 보장하는 통합 시스템을 구축했습니다.
• 벤치마크 무결성 복원: 자동화된 diff-exploitation을 방지하는 동시에 참가자들이 설계를 통해 학습할 수 있도록 함으로써 하드웨어 보안 경진대회의 유효성을 회복하는 방법을 제시합니다.

결과
프레임워크는 OpenTitan을 기반으로 하며 27개 CWE 카테고리에 걸친 50개의 고유한 취약점을 포함하는 세 가지 HackTheSilicon 벤치마크(Hack@DATE'25, Hack@DAC'25, Hack@CHES'25)에서 평가되었습니다. 탐지기(D1 및 D4)는 0%, 10%, 50%, 100%의 난독화 수준에 대해 테스트되었습니다.

• 베이스라인 성능: 난독화되지 않은 벤치마크에서 D1은 83.3%의 탐지율을, D4는 77.1%의 탐지율을 달랐습니다.
• 난독화의 영향:
  • 10% 난독화 시: 탐지율의 하락폭보다 탐지 정확도가 48–55% 급격히 감소했습니다. 이는 미세한 구문 변화만으로도 모델이 diff 기반 패턴에 의존하는 능력을 심각하게 저해하며, 거짓 양성(false positives)의 급증을 초래함을 나타냅니다.
  • 100% 난독화 시: 프레임워크는 LLM 기반 탐지 정확도를 78.6% 감소시켰으며(약 15%로 하락), 탐지율을 약 50% 감소시켰습니다 (D1: 83.3% → 54.3%; D4: 77.1% → 48.9%).
• 인간 가독성: 전통적인 난독화와 달리, 결과물인 설계는 인간 분석가가 해석 가능한 상태를 유지하여 벤치마크의 교육적 가치를 보존했습니다.

의의
본 논문은 고급 AI 시대에 하드웨어 보안 연구의 핵심적인 공백, 즉 벤치마크의 유효성 문제를 다룹니다. 저자들은 현재의 LLM 기반 "탐지"가 실제로는 자동화된 diff 작업에 불과하다는 것을 입증함으로써, 기존의 평가 방식이 AI의 추론 능력을 과장할 수 있다고 주장합니다. 제안된 AttackonCTF 프레임워크는 벤치마크의 신뢰성을 회복하기 위한 실질적인 해결책을 제공합니다. 이를 통해 커뮤니티는 오픈 소스 SoC 설계를 교육 및 경진대회에 계속 사용할 수 있는 동시에, 높은 성능 지표가 구문적 상관관계의 착취가 아닌 진정한 보안 추론을 반영하도록 보장할 수 있습니다. 이는 하드웨어 취약점 분석에 있어 인간과 AI 모두의 능력을 더욱 정확하게 평가할 수 있게 합니다.