💻 computer science

RTLGuard: A Lightweight Teacher-Student Defense for Poisoned RTL Code Generation Models

RTLGuard는 깨끗한 교사 모델을 사용하여 특징 정렬과 지식 증류를 통해 오염된 타겟 모델을 유도하고 정화함으로써, 기능적 정확성을 유지하면서 공격 성공률을 효과적으로 낮추어 AI가 생성한 RTL 코드의 백도어 위협을 완화하는 경량화된 교사-학생 방어 프레임워크이다.

원저자: Mahshid Rezakhani, Kimia Azar, Hadi Kamali

게시일 2026-08-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mahshid Rezakhani, Kimia Azar, Hadi Kamali

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 전자 공학의 세계에서 컴퓨터 칩의 설계도는 레지스터 전송 레벨(Register Transfer Level, RTL)이라 불리는 특수 언어로 작성됩니다. 수십 년 동안 엔지니어들은 하드웨어가 데이터를 어떻게 처리할지 정확하게 지시하기 위해 이 복잡한 명령들을 수동으로 만들어 왔습니다. 최근에는 대규모 언어 모델로 알려진 새로운 종류의 인공지능이 이 코드를 자동으로 작성하기 시작했습니다. 이러한 모델들은 하드웨어 기능을 설명하는 간단한 문장을 입력받아, 이를 구축하는 데 필요한 복잡하고 합성 가능한 코드를 생성할 수 있으며, 이는 스마트폰에서 위성까지 모든 것의 제작 속도를 높일 것으로 기대됩니다. 그러나 이러한 편리함은 숨겨진 위험을 동반합니다. 마치 인간 견습생이 결함이 있는 스승으로부터 나쁜 습관을 배울 수 있듯이, 이 AI 모델들은 훈련 과정에서 은밀하게 오염될 수 있습니다. 공격자는 모델의 학습 데이터에 악의적인 명령을 주입하여, 대부분의 시간에는 정상적으로 작동하다가도 특정하고 겉보기에 무해한 문구가 사용될 때마다 숨겨진 결함, 즉 하드웨어 트로잔(Hardware Trojan)을 삽입하도록 만들 수 있습니다. 이는 칩이 특정 트리거에 의해 비밀스럽고 파괴적인 기능이 활성화될 때까지 완벽하게 작동하는 것처럼 보이게 만드는 공급망의 침묵하는 위협을 창출합니다.

방어자들에게 어려운 점은 이러한 모델들이 종종 거대하고 복잡하며, 단 하나의 기업도 완전히 검증할 수 없는 데이터로 훈련된다는 것입니다. 오염된 모델을 수정하는 전통적인 방법들은 대개 시스템 전체를 처음부터 다시 훈련시켜야 하는데, 이 과정은 계산 비용이 너무 많이 들고 데이터 집약적이어서 설계 팀이 수행하는 것이 거의 불가능합니다. 더욱이, 단순히 모델이 나쁜 데이터를 '망각'하도록 시도하는 것은 모델이 좋은 코드를 쓰는 능력을 망가뜨려 하드웨어를 쓸모없게 만들기도 합니다. 센트럴 플로리다 대학교의 연구진은 이 딜레마를 해결하기 위해 RTLGuard라고 불리는 새로운 접근 방식을 개발했습니다. 모델 전체를 다시 구축하는 대신, 그들은 작고 신뢰할 수 있는 '스승(teacher)' 모델과 크고 잠재적으로 오염된 '학생(student)' 모델을 결합한 가벼운 기법을 사용합니다. 소량의 깨끗하고 검증된 데이터로 훈련된 스승 모델은 학생 모델이 올바른 하드웨어 코드를 작성하는 능력을 유지하면서도 악의적인 행동을 학습하지 않도록 안내합니다.

연구진은 먼저 자신들만의 오염된 모델을 만드는 방식으로 이 방법을 테스트했습니다. 그들은 표준 오픈 소스 AI 모델을 가져와서, 하드웨어 트로잔을 숨기도록 설계된 악의적인 샘플과 깨끗한 데이터를 혼합하여 미세 조정(fine-tuning)했습니다. 이러한 트로잔은 매우 정교했습니다. 모델은 정상적인 조건에서는 여전히 올바르게 보이고 예상대로 작동하는 코드를 생성하지만, 특정 트리거 문구가 사용될 때 데이터를 유출하거나, 시스템을 종료하거나, 성능을 저하시키는 숨겨진 결함을 심어 넣었습니다. 실험에서 이 오염된 모델들은 트리거 문구로 테스트했을 때 약 91%의 확률로 보안이 취약한 코드를 생성했으며, 동시에 올바르고 기능적인 코드를 생성하는 능력도 크게 떨어졌습니다. 연구진은 동일한 모델 제품군의 훨씬 더 작고 깨끗한 버전을 스승으로 사용하여 RTLGuard를 적용했습니다. 이 스승 모델은 구체적인 악의적 트리거가 무엇인지 알 필요가 없었습니다. 그것은 단지 올바르고 안전한 코드가 어떤 모습이어야 하는지에 대한 신뢰할 수 있는 기준만을 제공했습니다.

결과는 이 스승-학생 접근 방식이 모델의 유용성을 파괴하지 않으면서 위협을 성공적으로 무력화했음을 보여주었습니다. 연구진이 오염된 학생 모델과 동일한 크기의 스승 모델을 사용했을 때, 공격 성공률은 91%에서 단 16%로 떨어졌습니다. 스승이 학생보다 현저히 작더라도 방어 효과는 유지되어 공격 성공률을 20~30% 사이로 낮추었습니다. 결정적으로, 모델들은 자신의 본래 임무를 수행하는 능력을 잃지 않았습니다. 방어 전 오염된 모델들은 기능적이고 올바른 코드를 약 19%의 확률로만 생성할 수 있었습니다. 그러나 RTLGuard에 의해 정화된 후, 작동하는 코드를 생성하는 성공률은 45% 이상으로 급증했습니다. 이러한 개선은 다양한 유형의 AI 아키텍처와 서로 다른 모델 제품군 사이에서도 나타났으며, 이는 이 방법이 견고하고 적응력이 높음을 시사합니다.

또한 연구는 이 방법이 왜 잘 작동하는지를 세 부분으로 나누어 탐구했습니다. 시스템은 먼저 표준 감독(supervision)을 사용하여 학생이 올바른 코드를 다시 쓰도록 가르쳤습니다. 그다음으로는 지식 증류(knowledge distillation)라는 기법을 사용했는데, 여기서 학생은 자신이 생성하는 모든 단어에 대해 스승의 선택을 모방하며, 이를 통해 오염 단계에서 학습된 나쁜 습관을 효과적으로 덮어씁니다. 마지막으로 두 모델의 내부 표현(internal representations)을 정렬하여, 학생의 '사고 과정'이 스승의 깨끗한 논리와 일치하도록 했습니다. 연구진은 이 세 가지 구성 요소를 모두 함께 사용할 때 가장 좋은 결과를 얻었으며, 이는 단 하나의 기술에만 의존하는 방법보다 훨씬 뛰어난 성과를 냈습니다. 또한 RTLGuard를 모델이 특정 데이터를 잊게 하거나 어텐션 패턴(attention patterns)을 증류하도록 설계된 기존의 다른 방어 전략들과 비교했습니다. 이러한 비교에서 RTLGuard는 더 높은 코드 품질을 유지하면서도 지속적으로 더 낮은 공격 성공률을 달anim으로써, 표적화된 가벼운 복구가 광범위하고 무거운 수정보다 더 효과적임을 입증했습니다.

가장 중요한 발견 중 하나는 이 방어 기법이 모델이 한 번도 본 적 없는 데이터에 대해서도 효과적이었다는 점입니다. 연구진은 훈련에 사용된 것과는 다른 하드웨어 설계 문제 세트로 정화된 모델을 평가했으며, 모델은 공격에 저항하면서도 고품질의 코드를 계속 생성했습니다. 이는 이 방어가 단순히 피해야 할 나쁜 사례 목록을 암기하는 것이 아니라, 스승으로부터 안전한 설계 원칙에 대한 근본적인 이해를 학습한다는 것을 시사합니다. 연구진은 또한 독립적인 두 번째 AI 시스템이 출력을 검사하게 하고 코드를 수동으로 검사하는 등 다양한 방법을 통해 결과를 검증했습니다. 이러한 검증은 공격의 감소가 실제적이며, 남은 오류들이 단순히 테스트 과정의 부산물이 아님을 확인해 주었습니다.

이 연구는 하드웨어 설계의 미래를 어떻게 확보할 것인가에 대한 중요한 변화를 강조합니다. 모델이 완벽하게 안전하거나 혹은 완전히 망가졌다고 가정하는 대신, RTLGuard는 손상된 시스템도 효율적으로 복구될 수 있음을 보여줍니다. 이 접근 방식은 오직 소량의 신뢰할 수 있는 데이터와 전체 재훈련에 필요한 계산 능력의 극히 일부만을 필요로 하므로, 제3자 AI 모델에 의야하는 기업들에게 실질적인 솔루션이 됩니다. 신뢰할 수 있는 가이드를 사용하여 모델을 안전한 행동으로 되돌림으로써, 연구진은 최종 제품의 보안을 희생하지 않으면서도 자동화된 설계의 속도와 편의성을 유지하는 것이 가능하다는 것을 보여주었습니다. 연구는 이 스승-학생 프레임워크가 숨겨진 데이터 기반 위협으로부터 칩 공급망의 무결성을 보호하기 위한 실행 가능한 경로를 제공한다고 결론짓습니다.

기술 요약: RTLGuard

1. 문제 정의

하드웨어 설계 자동화에 대규모 언어 모델(LLM)을 통합하는 급격한 변화는 고수준 자연어 명세(specification)를 합성 가능한 레지스터 전송 레벨(RTL) 코드로 변환할 수 있게 했습니다. 그러나 이러한 서드파티 미세 조정(fine-tuned) 모델에 대한 의존은 심각한 공급망 취약성을 초래합니다. 구체적으로, 훈련 및 적응 과정의 불투와성으로 인해 공격자(모델 제공자 포함)가 데이터 포이즈닝(data poisoning)을 통해 **신경 백도어(neural backdoors)**를 심을 수 있습니다.

이 위협 모델에서, 오염된 RTL 생성 모델은 정상적인 입력에는 정상적으로 동작하지만, 특정 의미론적 프롬프트(semantic prompts)에 의해 트리거되면 악의적이거나, 안전하지 않거나, 성능이 저하된 하드웨어 로직(예: 하드웨어 트로잔)을 생성합니다. 이러한 악의적 출력은 종종 구문론적으로 유효하고 기능적으로 그럴듯하게 보여, 전통적인 검증 및 인간의 검토를 회피합니다.

기존의 방어 전략은 RTL 생성 맥락에서 세 가지 주요 한계에 직면합니다:

기능적 경직성(Functional Rigidity): 일반적인 NLP 방어 기법은 모델을 과도하게 "정화(sanitize)"하여, 사이클 정확도(cycle-accurate)를 갖춘 합성 가능한 코드를 생성하는 능력을 저하시킵니다.
데이터 및 자원 제약: 전체 재학습 또는 강건한 미세 조정은 방대한 양의 깨끗한 데이터셋과 계산 자원을 필요로 하며, 이는 자원이 제한된 칩 설계 도메인에서는 비현난적입니다.
아키텍처 규모: 모델의 파라미터가 수십억 개로 증가함에 따라, 전체 재학습은 경제적 및 환경적으로 지속 불가능해집니다.

2. 방법론: RTLGuard 프레임워크

RTLGuard는 원래의 훈련 데이터, 포이즈닝된 샘플, 또는 특정 트리거 패턴에 대한 지식 없이도 오염된 RTL 생성 모델을 정화하도록 설계된 경량화된 사후 배포 복구 프레임워크입니다. 이 프레임워크는 소형의 신뢰할 수 있는 "교사(teacher)" 모델이 더 크고 잠재적으로 오염된 "학생(student)" 모델을 가이드할 수 있다는 통찰에 기반한 교사-학생(Teacher-Student) 아키텍처를 채택합니다.

핵심 구성 요소

교사 모델(Teacher Model): 제한된 양의 신뢰할 수 있는 깨끗한 명세-RTL 쌍으로 훈련된 소형의 깨끗한 모델(예: 파라미터 수가 적은 LLM)입니다. 이 모델은 복구 과정 동안 동결(frozen) 상태를 유지하며 행동 참조점 역할을 합니다.
학생 모델(Student Model): 현장에 배포된 의심스러운, 포이즈닝된 RTL 생성 모델입니다. 복구는 전체 모델의 파라미터를 업데이트하는 대신, 매우 작은 부분 집합만을 업데이트하는 매개변수 효율적 미세 조정(PEFT)(구체적으로 LoRA 어댑터)을 사용하여 수행됩니다.
복합 목적 함수(Composite Objective Function): 복구 과정은 응답 토큰(생성된 RTL)에 적용되는 세 가지 손실 함수의 가중치 조합을 최적화합니다:
1. 교차 엔트로피 손실 ( $L_{CE}$ ): 학생이 올바른 RTL 생성 작업을 학습할 수 있도록 신뢰할 수 있는 깨끗한 데이터셋에 대한 표준 지도 학습 기반 미세 조정입니다.
2. 지식 증류 손실 ( $L_{KD}$ ): 학생의 출력 로짓(logits)을 교사의 부드러운 출력 분포와 정렬시켜, 깨끗한 행동 선호도를 전달하고 포이즈닝된 연관성을 억제합니다.
3. 특징 정렬 손실 ( $L_{FA}$ ): 학습 가능한 선형 투영(linear projection)을 통해 학생의 은닉 상태(hidden-state) 표현을 교사의 표현과 정렬합니다. 이는 학생의 내부 표현이 악의적인 파라미터 공간에서 벗어나 깨끗한 공간으로 이동하도록 강제합니다.

워크플로

준비: 깨끗한 교사를 신뢰할 수 있는 작은 데이터셋으로 미세 조정합니다.
복구: 동결된 교사가 포이즈닝된 학생을 가이드합니다. 학생의 PEFT 어댑터는 복합 손실을 최소화하도록 업데이트됩니다.
배포: 복구 후, 교사와 투영 계층(projection layers)은 폐기됩니다. 정화된 학생 모델이 단독 모델로서 배포됩니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

보안 특성화: 포이즈닝된 RTL 생성 모델의 위협을 자동화된 하드웨어 공급망의 무결성에 대한 중대한 위험으로 식별하고 특성화하며, 현재의 NLP 중심 방어 기법의 한계를 강조합니다.
확장 가능한 방어 프레임워크 (RTLGuard): 다음을 수행하는 경량 교사-학생 복구 아키텍처를 제안합니다:
- 원래의 훈련 데이터나 트리거 패턴에 대한 접근 없이 작동합니다.
- 소량의 신뢰할 수 있는 데이터를 사용하여 복구를 유도합니다.
- 깨끗한 감독, 지식 증류 및 특징 정렬을 통합하여 기능적 정확성과 합성 가능성을 보존하면서 백도어를 억제합니다.
경험적 검증: 다양한 LLM 백본(Qwen2.5-Coder, CodeV, Code Llama) 및 규모에 걸쳐 종합적인 평가를 제공하여, 소규모의 깨끗한 교사가 대규모의 오염된 모델을 효과적으로 복구할 수 있음을 입증합니다.

4. 실험 결과

실험은 포이즈닝된 버전의 Qwen2.5-Coder (7B/14B), CodeV-R1, Code Llama-13B-Instruct를 대상으로 수행되었으며, 네 가지 트로잔 카테고리(기능 수정, 정보 유출, 서비스 거부, 성능 저하)를 포함하는 10,000개의 혼합 샘플(트로잔 8,000개, 깨끗한 샘나 2,000개) 데이터셋을 사용했습니다.

공격 억제: RTLGuard는 **공격 성공률(ASR)**을 크게 감소시켰습니다. 예를 들어, 포이즈닝된 Qwen2.5-Coder-7B 베이스라인(ASR 91%)에서 RTLGuard는 Qwen-7B 교사 사용 시 16%, Qwen-3B 사용 시 26%, Qwen-1.5B 사용 시 **32%**로 ASR을 낮추었습니다.
기능 보존: 유틸리티를 저하시키는 일부 베이스라인과 달리, RTLGuard는 Pass@1(기능적 정확도) 점수를 향상시켰습니다. Qwen-7B 학생의 Pass@1은 포이즈닝 상태의 **19.23%**에서 Qwen-7B 교사로 복구된 후 **45.51%**로 증가했습니다.
일반화: 방어 기법은 서로 다른 데이터셋(OriGen 및 RTL++)과 교차 패밀리 설정(예: Qwen 교사를 사용하여 CodeV 학생을 복구)에서도 효과적으로 유지되었습니다.
비교: RTLGuard는 적응형 베이스라인인 신경 주의 집중 증류(NAD) 및 선택적 망각(Selective Amnesia)보다 우수한 성능을 보였으며, 동시에 더 낮은 ASR과 더 높은 Pass@1을 달 수 있었습니다.
절제 연구(Ablation): 연구를 통해 전체 복합 목적 함수(CE + KD + FA)가 깨끗한 데이터만 사용하거나 부분적인 목적 함수를 사용하는 것보다 우수한 결과를 낸다는 것을 확인했습니다.

5. 의의 및 주장

본 논문은 RTLGuard가 AI 기반 IC 공급망 보안의 중요한 격차를 해결한다고 주장합니다. 그 의의는 프로프라이어터리(proprietary) 훈련 데이터에 접근하거나 과도한 비용의 전체 재학습을 요구하지 않는 실용적이고 경량화된 솔루션을 제공한다는 데 있습니다.

저자들은 하드웨어 지향 LLM에 대한 방어는 반드시 유틸리티(기능적 정확성 및 합성 가능성)를 보존해야만 유효하다고 강조합니다. RTLGuard는 확립된 벤치마크에 대해 경쟁력 있는 기능적 정확성을 유지하는 것을 우선시함으로써 이를 달ей합니다. 이 프레임워크는 검증되지 않은 훈련 계보를 가진 외부 소스 모델에 의존하지만, 복구를 위한 신뢰할 수 있는 내부 데이터는 제한적인 실제 설계 환경의 배포 시나리오를 위해 설계되었습니다.