🤖 machine learning

Explainability Methods for Hardware Trojan Detection: A Systematic Comparison

이 논문은 게이트 수준 하드웨어 트로잔 탐지에서 위양성(false positives)과 위음성(false negatives)을 줄이기 위한 실행 가능한 통찰력을 제공하는 데 어떤 접근 방식이 가장 적합한지 결정하기 위해, Trust-Hub 벤치마크를 바탕으로 도메인 인지 속성 분석(domain-aware property analysis), 모델 불가지론적 사례 기반 추론(model-agnostic case-based reasoning), 그리고 모델 불가지론적 특성 기여도 산출 기술(model-agnostic feature attribution techniques)이라는 세 가지 범주의 설명 가능성 방법론을 체계적으로 비교한다.

원저자: Paul Whitten, Francis Wolff, Chris Papachristou

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Paul Whitten, Francis Wolff, Chris Papachristou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수십억 개의 트랜지스터로 구성된 마이크로칩을 논리 게이트(logic gates)로 지어진 거대하고 북적이는 도시라고 상상해 보십시오. 대부분의 건물은 자기 일을 수행하는 정직한 시민들이지만, 교활한 사보타주범(하드웨어 트로이 목마)이 이 건물 중 하나에 몰래 숨겨진 작은 함정 문을 만들어 두었습니다. 이 함정 문은 매우 특정한, 드문 사건들의 조합—예를 들어, 특정 교차로에 특정 순서로 자동차들이 정확히 동시에 지나가는 것과 같은 상황—이 발생할 때까지 잠겨 있습니다.

문제는, 이 함정들을 소프트웨어 업데이트로 패치할 수 없다는 점입니다. 칩이 한 번 만들어지면, 그 함정은 실리콘 안에 영원히 구워져 버립니다. 만약 이를 놓친다면, 엄청난 비용을 들여 제품 전체를 리콜해야 합니다. 따라서 엔지니어들은 칩이 제작되기 전에 이러한 함정을 찾아낼 방법을 찾아야 합니다.

여기, 케이스 웨스턴 리저브 대학교(Case Western Reserve University)의 연구진이 등장합니다. 그들은 인공지능(AI)을 탐정으로 활용하여, 이 도시의 설계도를 스캔하고 수상한 건물을 찾아내려고 시도했습니다. 하지만 문제는 AI가 "블랙박스"라는 점입니다. AI는 어떤 건물을 보고 "이 건물은 7말로 트랩일 가능성이 73%입니다"라고 말할 수는 있지만, 왜 그런지는 설명하지 못합니다. 인간 엔지니어에게 "73%"라는 숫자는 무용지물입니다. 그들은 그 건물의 무엇이 수상해 보이는지 알아야 직접 재확인할 수 있기 때문입니다.

연구팀은 다음과 같은 큰 질문을 던졌습니다: 어떤 종류의 "설명"이 실제로 인간 엔지니어에게 도움이 되는가?

그들은 AI의 탐정 업무를 설명하는 세 가지 방식을 테스트했습니다:

1. "도메인 전문가" 방식 (속성 기반 방법)

이 접근 방식은 도시의 언어를 구사하는 탐정을 고용하는 것과 같습니다. 단순히 점수만 주는 대신, 이 방법은 31가지의 특정 "도시 규칙"을 살펴봅니다. 예를 들어, 이렇게 말할 수 있습니다: "이 건물은 주 출구(primary output) 바로 옆에 기묘하게 복잡한 입구(high fanin)를 가지고 있습니다. 이는 희귀 이벤트 함정의 패턴과 일치합니다."

결과: 이 방법은 엔지니어의 언어로 말하는 데 탁월합니다. 그들이 이미 알고 있는 개념을 사용합니다. 하지만 연구진이 이 방법을 사용하여 실제로 함정을 잡으려 했을 때, 다소 서툴렀습니다. 거의 모든 함정을 찾아냈지만(재현율 88.9%), 너무 많은 무고한 건물을 용의자로 지목하여 정밀도(precision)가 1.7%에 불과했습니다. 이는 마치 누군가 문 근처를 지나갈 때마다 "도둑이야!"라고 소리치는 탐정과 같았습니다—단독으로는 쓸모가 없을 정도로 오보가 너무 많았습니다.

2. "사건 파일" 방식 (k-최근접 이웃 방법)

이 접근 방식은 탐정이 이렇게 말하는 것과 같습니다: "나는 이론을 설명할 필요가 없습니다. 그냥 증거를 보세요." 이 방법은 훈련 데이터에서 가장 유사한 건물 5개를 찾아내어 이렇게 말합니다: "이 건물은 우리가 알고 있는 다른 4개의 트랩 건물과 매우 흡사합니다."

결과: 이는 큰 호응을 얻었습니다. AI의 결정은 "사건 파일"과 96.51% 일치했습니다. 이는 엔지니어들에게 "이것을 보세요, 알려진 악당들과 일치합니다"라는 구체적이고 시각적인 신뢰의 근거를 제공했습니다.

3. "수학적 성적표" 방식 (LIME, SHAP, 그리고 Gradient)

이들은 이미지 인식 등 다양한 분야에서 사용되는 일반적인 범용 AI 설명 도구들입니다. 이들은 각 특징(feature)에 숫자를 할당하는 성적표처럼 작동합니다. 예를 들어, *"플립플롭(flip-flop)과의 거리는 의심 점수에 +0.05만큼 기여했습니다."*와 같이 표현합니다.

결과: 논문은 이러한 수학적 방법들이 엄격하긴 하지만, 하드웨어 엔지니어들에게는 그다지 도움이 되지 않는다는 것을 발견했습니다. 이들은 문제를 실제로 해결하는 데 필요한 "회로 수준의 맥락"이 결여된 일반적인 점수만을 제공했습니다.
- 합의 문제: 연구진이 이러한 서로 다른 수학적 방법들의 점수를 비교했을 때, 서로 잘 일치하지 않았습니다. 상관관계는 완벽한 일치(1.0)를 기준으로 약 0.30에 불과했습니다. 이는 세 개의 서로 다른 날씨 앱이 약간씩 다른 강수 확률을 알려주는 것과 같습니다. 서로 관련은 있지만, 동일한 이야기를 하고 있지는 않은 것입니다.
- 속도의 함정: 이 방법 중 하나(Gradient)는 매우 빨랐지만(게이트당 0.16 밀리초), 다른 하나(SHAP)는 더 느렸습니다(1.10 밀리초). 그러나 논문은 설명이 쓸모 없다면 속도는 중요하지 않다고 주장합니다. 일반적인 점수를 빠르게 내놓는 것이, 실제 문제를 해결하는 데 도움이 되지 않는다면 의미가 없기 때문입니다.

최종 승자: 더 나은 탐정

연구진은 또한 XGBoost(그래디언트 부스팅 트리)라는 새로운 유형의 AI 분류기를 테스트했습니다. 이것은 탐정의 돋보기를 업그레이드하는 것과 같습니다.

기존 방식 (SVM): 이전의 표준 방법은 트랩의 70%를 찾아내지만, 1,000개의 게이트를 검사할 때마다 35개의 무고한 건물을 지목하는 탐정과 같았습니다. 이는 엄청난 시간 낭비입니다!
새로운 방식 (XGBoost): 이 새로운 방법은 트랩의 69.44%를 찾아냈지만(거의 비슷한 양), 1,000개의 게이트당 무고한 건물을 단 4.74개만 지목했습니다. 이는 오보를 7.4배 감소시킨 것입니다! 또한 '정밀도'(지목된 건물 중 실제로 유죄인 비율)를 11.33%에서 48.08%로 향상시켰습니다.

이것이 당신에게 의미하는 바

논문은 하드웨어 보안을 위해서는 일반적인 수학적 점수만으로는 충분하지 않다고 결론짓습니다. 회로라는 실제 세계에 부합하는 설명을 제공해야 합니다.

사례 기반 추론(과거의 유사한 사례를 보여주는 것)은 엔지니어에게 선례를 제공하기 때문에 매우 효과적이었습니다.
도메인 인지 분석(회로 특유의 규칙을 사용하는 것)은 '왜'를 이해하는 데는 좋지만, 너무 많은 오보를 피하기 위해서는 XGBoost와 같은 강력한 탐지기와 결합되어야 합니다.
일반적인 특징 점수(LIME 및 SHAP와 같은)는 수학적으로는 흥미롭지만, 엔지니어가 칩을 실제로 수정하는 데 필요한 "실행 가능한 통찰력"을 제공하지 못합니다.

저자들은 이 결과가 디지털 회로의 합성(man-made) 트랩을 사용하는 Trust-Hub 벤치마크를 기반으로 하고 있다는 점을 주의 깊게 명시했습니다. 아직 실제 세계의 복잡한 아날로그 칩이나 순차적 트랩(sequential traps)에 대해서는 테스트되지 않았으므로, 이 방법이 유망해 보이기는 하지만 여로 실무 적용을 위한 과정 중에 있습니다. 하지만 현재로서는, 하드웨어 트로이 목마를 찾고 싶다면 단순히 숫자를 뱉어내는 계산기가 아니라, 회로의 언어를 구사하는 탐정이 필요하다는 것을 이 연구는 보여주고 있습니다.

기술 요약: 하드웨어 트로잔 탐지를 위한 설명 가능성 방법론

문제 정의
하드웨어 트로잔은 집적 회로(IC)의 설계 또는 제조 과정에서 삽입되는 악성 회로이다. 소프트웨어 취약성과 달리, 이들은 실리콘 내에 영구적으로 존재하여 패치가 불가능하므로 설계 단계에서의 조기 탐지가 필수적이다. 게이트 수준 네트리스트(netlist)에서 의심스러운 게이트를 식별하기 위해 머신러닝(ML) 모델을 사용할 수 있으나, 이들의 "블랙박스" 특성은 통계에 기반한 솔루션을 제공하며 높은 오탐률(false-positive rate)을 유발한다. 보안 엔지니어는 경보를 검증하고 대응 계획을 세우기 위해 회로 설계 원칙에 근거한 실행 가능한 설명을 필요로 한다. 현재 일반적인 도메인(이미지 분류 등)을 위해 개발된 설명 가능한 AI(XAI) 방법론들은 하드웨어 실무자에게 필요한 구체적인 회로 수준의 맥락이 결여된 일반적인 특징 중요도 점수만을 제공하는 경우가 많다. 본 연구는 하드웨어 보안 응용 분야를 대상으로 도메인 인지형 설명 방식과 모델 불가지론적(model-agnostic) 기법을 경험적으로 비교함으로써 이 간극을 해결한다.

방법론
본 연구는 트로잔이 삽입된 레이블이 지정된 디지털 조합 회로(RS232 주변 장치 및 ISCAS 벤치마크) 30개로 구성된 Trust-Hub 벤치마크 데이터셋을 활용한다. 해당 데이터셋은 극심한 클래스 불균형(정상 게이트 약 158개당 트로잔 게이트 1개)을 보인다.

본 방법론은 다섯 가지 구조적 특징(Hasegawa 등의 연구에서 파생된 Logic Gate Fanins(LGFi), Flip-Flop Input(FFi), Flip-Flop Output(FFo), Primary Input(PI), Primary Output(PO))을 모두 사용하는 세 가지 범주의 다섯 가지 설명 접근 방식을 평가한다.

도메인 인지형 속성 분석 (방법 1): 이 접근 방식은 다섯 가지 특징의 서로 다른 비공집합 부분 집합들로 훈련된 31개의 XGBoost 분류기 앙상블을 구축한다. 설명은 특정 속성 조합(예: 출력 근처의 높은 팬인(fanin))이 탐지에 어떻게 투표했는지를 식별함으로써 생성된다. 이는 설명을 하드웨어 보안 어휘와 일치시킨다.
모델 불가지론적 사례 기반 추론 (방법 2): 이 방법은 단일 XGBoost 분류기를 사용하여 예측을 수행하되, 훈련 세트에서 $k=5$ 개의 최근접 이웃을 검색하여 결정을 설명한다. 설명은 선례에 의존하며, 엔지니어에게 의심스러운 게이트의 특징 프로필과 일치하는 구체적인 훈련 사례를 보여준다.
모델 불가지론적 특징 기여도 분석 (방법 3–5): 표준적인 사후(post-hoc) 기여도 기법 세 가지가 XGBoost 분류기에 적용된다:
- LIME: 섭동(perturbation)을 이용한 국소적 해석 가능 모델 불가지론적 설명.
- SHAP: 게임 이론적 가치(TreeExplifer)를 이용한 SHapley Additive exPlanations.
- Gradient Attribution: 1차 민감도 분석.

탐지 성능은 주로 XGBoost를 사용하여 평가되며, 일반화 검증을 위해 Random Forest가 사용된다. 공정한 비교를 위해 동일한 실험 조건(동일한 분할, 특징 및 임계값 프로토콜) 하에서 Hasegawa의 SVM 베이스라인을 재구현하였다.

주요 기여

체계적 비교: 본 논문은 게이트 수준 하드웨어 트로잔 탐지를 위해 도메인 인지형 속성 분석, 선례 기반 추론, 그리고 일반적인 특징 기여도를 경험적으로 비교한 첫 연구이다.
탐지 성능 향상: 최적화된 XGBoost 및 Random Forest 분류기가 재구현된 SVM 베이스라인보다 성능이 월등히 높음을 입증하였다. XGBoost는 48.08%의 정밀도(precision)와 69.44%의 재현율(recall)(F1 = 0.568)을 달성하였으며, 이는 SVM 베이스라인(정밀도 11.33%, 1,000개 게이트당 오탐 35.0개) 대비 4.25배 높은 정밀도와 7.4배 낮은 오탐 밀도를 나타낸다.
설명 가능성 트레이드오프 분석:
- 도메인 인지형 vs. 모델 불가지론적: 도메인 인지형 방법은 익숙한 회로 용어(예: "출력 근처의 높은 팬인 복잡도")로 설명을 제공하는 반면, 모델 불가지론적 방법(LIME, SHAP)은 일반적인 중요도 점수를 제공한다.
- 상응성(Correspondence): 사례 기반 추론은 예측과 훈련 사례 간에 96.51%의 상응성을 달성하여 직관적인 정당성을 제공한다.
- 기여도 일관성: LIME과 SHAP은 중간 정도의 게이트별 일치도(Spearman $\rho = 0.30$ )를 보였으며, 이는 두 방법 모두 모델 불가지론적임에도 불구하고 동일한 중요도 순위를 생성하지 못함을 시사한다.
- 효율성: Gradient 기반 기여도는 SHAP보다 7배 빠르며(설명당 0.16 ms vs. 1.10 ms), 유사한 특징 순위를 제공하지만 SHAP의 공식적인 일관성 보장은 결여되어 있다.

결과

탐지: 11,392개의 게이트로 구성된 홀드아웃 테스트 세트에서, 최적화된 임계값(0.940)을 적용한 XGBoost는 48.08%의 정밀도와 69.44%의 재현율을 기록했다. Random Forest는 XGBoost의 절반 수준인 오탐 밀도(1,000개 게이트당 2.37 vs. 4.74개)와 함께 유사한 F1 점수(0.555)를 달려냈다.
설명 가능성:
- 속성 기반 (M1): 초기 앙상블 가중치(EPARS)는 낮은 정밀도(1.7%)를 보였으나, 최적 임계값에서 MCC로 재가중치를 적용했을 때 정밀도가 78.1%까지 상승했으나 재현율은 낮아졌다(34.7%). 이는 저차원 환경에서 속성 기반 방법의 제한된 성능이 접근 방식 자체의 한계가 아니라 가중치 및 동작 지점(operating point)의 문제임을 강조한다.
- 사례 기반 (M2): 96.51%의 높은 상응성을 달성하였으며, 검색된 이웃에 대한 전체 네트리스트 출처(provenance)를 제공하여 엔지니어가 실제 훈련 사례를 검사할 수 있도록 하였다.
- 기여도 (M3–M5): LIME과 SHAP은 명시적인 회로 맥락이 없는 일반적인 특징 가중치를 제공했다. Gradient 기여도는 속도 측면의 이점을 제공했으나, 도메인 특화된 해석이 부족하다는 동일한 한계를 공유했다.
일반화: Leave-one-circuit-out (LOCO) 검증 결과, RS232 제품군 내에서는 강력한 일반화 성능(F1 = 0.80)을 보였으나, 서로 다른 ISCAS 벤치마크 제품군 간에는 실패(F1 = 0.06)하였다. 이는 다섯 가지 스칼라 구조적 특징만으로는 더 풍부한 로컬 그래프 표현 없이는 교차 아키텍처 일반화가 어려움을 나타낸다.

의의 및 주장
본 논문은 하드웨어 보안 실무자에게 도메인 인지형 속성 분석과 사례 기반 추론이 일반적인 특징 기여도보다 상호 보완적인 이점을 제공한다고 주장한다. 속성 기반 방법은 엔지니어가 회로를 추론하는 방식과 일치하며, 사례 기반 방법은 설명 자체를 해석하기 위한 별도의 도메인 지식이 필요하지 않으면서도 선례 기반의 해석 가능성을 제공한다.

저자들은 계산 효율성(예: Gradient 방법)이 도메인 인지형 해석 가능성을 대체할 수 없다고 단언한다. 즉, LIME/SHAP과 같은 일반적인 중요도 점수는 검증 및 대응 계획 수립에 필요한 회로 수준의 맥락이 결여되어 있다. 본 연구는 모델 불가지론적 ML을 선례 기반 설명과 결합하는 것이 모델 불가지론적 방법론에만 의존하는 것보다 저차원, 특징 제약 도메인에서 더 효과적일 수 있음을 결론짓는다.

1. "도메인 전문가" 방식 (속성 기반 방법)

2. "사건 파일" 방식 (k-최근접 이웃 방법)

3. "수학적 성적표" 방식 (LIME, SHAP, 그리고 Gradient)

최종 승자: 더 나은 탐정

이것이 당신에게 의미하는 바

유사한 논문