🤖 machine learning

Crushing the Evidence: A Dual-Penalty Evasion Framework for Fooling White-Box Explainable AI Auditors

본 논문은 탐지 가능한 분포 외(out-of-distribution) 스캐폴딩에 의존하지 않고도 사후 설명 가능한 AI 감사 도구를 효과적으로 기만하기 위해, 대상 특징 기여도를 체계적으로 억제하고 이상 탐지 기반 방어 기제를 우회하도록 이중 패널티 그래디언트 정규화를 모델 학습에 네이티브하게 내장한 새로운 화이트박스 회피 프레임워크를 소개한다.

원저자: Niraj Kumar, Harsh Kasyap

게시일 2026-08-04

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Niraj Kumar, Harsh Kasyap

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

우리가 대출 승인 여부, 수감 여부, 혹은 의료 처치 결정과 같은 생사가 걸린 결정을 내리는 컴퓨터가 '블랙박스'인 세상을 상상해 보십시오. 우리는 그 내부를 볼 수 없기에, 그들이 불공정하거나 편향되지 않았다고 확신할 수 없습니다. 이를 해결하기 위해 과학자들은 '설명 가능한 AI(Explainable AI, XAI)'를 발명했습니다. XAI를 어두운 상자 안을 비추는 손전등이라고 생각해보십시오. 이 손전등은 컴퓨터가 결정을 내릴 때 정확히 어떤 단서들을 사용했는지 우리에게 보여줍니다. 만약 대출 신청이 거절되었다면, 이 손전등은 "신청자가 이 특정 지역에 거주하기 때문에 거절되었습니다"라고 밝혀줌으로써, 감사관들이 불공정한 패턴을 발견하고 수정할 수 있게 해줍니다.

하지만 누군가 이 손전등을 속일 수 있다면 어떻게 될까요? 만약 교활한 해커가 컴퓨터의 뇌 안에 백도어(뒷문), 즉 아주 미세하고 숨겨진 신호가 있을 때만 특정하고 잘못된 결정을 내리도록 강제하는 비밀 스위치를 만들 수 있다면 어떨까요? 무서운 점은, 해커가 컴퓨터로 하여금 그 비밀 스위치를 전혀 사용하지 않은 것처럼 '연기'하게 만들 수도 있다는 것입니다. 손전등이 결정을 비출 때, 컴퓨터는 비밀 트리거 대신 무해하고 평범한 이유들을 가리킬 것입니다. 이 논문은 해커가 정확히 어떻게 그런 일을 할 수 있는지, 즉 우리가 컴퓨터의 뇌 전체에 대한 완전한 지도를 가지고 있더라도 여전히 속을 수 있음을 증명하는 새롭고 위험한 방법을 탐구합니다.

위대한 마술: 눈앞에서 숨기는 비밀

금융, 의료, 법률과 같이 이해관계가 첨예한 세계에서 우리는 어려운 결정을 내리기 위해 AI에 의존합니다. 공정성을 유지하기 위해 우리는 LIME, SHAP, Integrated Gradients와 같은 도구들을 사용합니다. 이것들은 AI 세계의 '손전등'입니다. 이 도구들은 단순히 AI가 무엇을 결정했는지만 알려주는 것이 아니라, '왜' 그렇게 결정했는지를 알려줍니다. 이 도구들은 모든 정보(소득, 연령, 또는 우편번호 등)에 점수를 부여하여 그것이 최종 결과에 얼마나 영향을 미쳤는지 보여줍니다. 만약 AI가 인종차설적이거나 편향되어 있다면, 이 도구들은 불공정한 요인에 대해 매우 크고 명확한 점수를 보여줌으로써 이를 잡아낼 수 있습니다.

그러나 니라지 쿠마르(Niraj Kumar)와 하르쉬 카샤프(Harsh Kasyap)의 새로운 연구는 테러리즘에 가까운 루프홀(허점)을 밝혀냈습니다. 그들은 AI 모델 내부에 '트로이 목마'를 구축하여, 특정 악의적인 결정을 내리게 할 뿐만 아니라 그 결정이 손전등(설명 도구)에게는 완전히 무해해 보이도록 만드는 방법을 찾아냈습니다.

옛날 방식: 서투른 스파이

이전에 흔적을 숨기려 했던 해커들은 '스캐폴딩(scaffolding)'이라는 서투른 기술을 사용했습니다. 은행에 몰래 잠입하려는 스파이를 상상해 보십시오. 정문으로 들어가는 대신, 보안 요원이 자신을 볼 때마다 얼굴이 바뀌는 변장을 합니다. 보안 요원(AI 감사관)이 "당신은 누구입니까?"라고 물으면 친근한 얼굴로 바꿉니다. 만약 "이름이 무엇입니까?"라고 물으면 다른 얼굴로 바꿉니다.

AI 세계에서 이는 모델을 설명 도구(explainer)에 의해 '심문'당하고 있는지 감지할 수 있는 특수한 탐지기로 감싸는 것을 의미했습니다. 설명 도구가 "왜 이 대출을 거절했습니까?"라고 물으면, 모델은 지루하고 안전한 답변을 내놓는 '착한' 버전으로 전환됩니다. 하지만 이 기술은 취약했습니다. 마치 스파이가 몸에 맞지 않는 가면을 쓴 것과 같아서, 보안 시스템(CAD-Detect라고 불리는 '조건부 이상 탐지')이 스파이의 행동이 이상하고 부자연스럽다는 것을 알아챌 수 있었습니다. 가면이 벗겨지고 알람이 울리게 되는 것이었습니다.

새로운 방식: 보이지 않는 유령

쿠마르와 카샤프는 단순히 가면을 개선한 것이 아니라, 스파이를 투명하게 만들었습니다. 그들은 **이중 패널티 회피 프레임워크(Dual-Penalty Evasion Framework)**라는 방법을 개발했습니다.

이것이 어떻게 작동하는지 간단한 비유를 통해 설명하겠습니다. 당신이 개에게 공을 가져오도록 훈련시킨다고 가정해 봅시다.

표준적인 백도어: 당신은 개에게 특정 음의 휘슬 소리가 들리면 공을 가져오도록 가르칩니다. 하지만 당신은 오직 그 휘슬 소리만 냅니다. 개는 다른 모든 것을 무시하고 휘슬 소리가 들릴 때만 달려가는 법을 배웁니다. 만약 당신이 개에게 "왜 달렸니?"라고 물으면, 개는 휘슬 소리를 직접 가리킵니다. 손전등은 휘슬을 보고 "아하! 이 개는 비밀 신호에 훈련되었구나!"라고 말합니다.
옛날 기술 (스캐폴딩): 당신은 휘슬 소리에 공을 가져오도록 훈련시키되, 누군가 지켜볼 때는 다람쥐를 보고 공을 가져오는 척하도록 가르칩니다. 하지만 개가 연기할 때 눈동자가 이상하게 움직입니다. 보안 요원은 개의 이상한 눈 움직임을 보고 개를 잡아냅니다.
새로운 기술 (이중 패널티): 이것이 천재적인 부분입니다. 당신은 개에게 휘슬 소리에 공을 가져오도록 훈련시키면서 동시에 엄격한 규칙을 추가합니다: "휘슬을 쳐다보면 전기 충격을 받을 것이다."

개는 전기 충격을 싫어하기 때문에 휘슬을 완전히 무시하는 법을 배웁니다. 하지만 여다면 여전히 휘슬이 울릴 때 공을 가져와야 합니다! 그래서 개는 영리해집니다. 개는 휘슬 대신 바람, 나무, 또는 당신의 옷 색깔을 보고 공을 가져오도록 배웁니다. 즉, 무해한 것들을 이용해 공을 가져오기로 결정하는 것입니다. 휘슬이 울리면 개는 달려가지만, "왜 달렸니?"라고 물으면 개는 바람이나 나무를 가리킵니다. 휘슬의 점수는 0이 됩니다. 손전등은 개가 바람을 보고 반응하는 것을 보며 "오, 저건 그냥 날씨에 반응하는 평범한 개구나"라고 생각합니다. 비밀 휘슬은 여전히 존재하고 개는 여전히 달려가지만, 손전등은 그 휘슬에 대해 완전히 눈이 멀게 됩니다.

마술 뒤의 과학

실제 세계에서 연구진은 이 기술을 표 형식 데이터(tabular data)(신용카드 거래나 범죄 기록처럼 숫자와 카테고리로 이루어진 행과 열)에 적용했습니다.

문제점: 컴퓨터는 경사값(gradients, 모델이 학습하는 수학적 원리)을 계산할 때 카테고리(예: "Visa"와 "Mastercard")와 숫자(예: "$500") 사이의 차이를 쉽게 '느끼지' 못합니다.
해결책: 그들은 이러한 카테고리들을 매끄럽고 연속적인 숫자(임베딩, embeddings)로 변환하여 수학적 흐름이 자유롭게 흐를 수 있도록 했습니다.
패널티: 그들은 훈련 과정에 '세금'(경사 압착 패널티, Gradient Crushing Penalty)을 추가했습니다. 모델이 비밀 트리거(휘슬)에 의존하려고 할 때마다 수학적으로 강력한 패널티를 부여했습니다. 게임에서 이기기 위해(전체 오차를 최소화하기 위해), 모델은 새로운 경로를 찾아내야만 했습니다. 모델은 비밀 트리거의 영향력을 제로(0)에 가깝게 유지하면서, 무해한 배경 특징들(예: "카드 유형"이나 "거리")에 책임을 전가하는 법을 배웠습니다.

결과: 완벽한 강도질

연구진은 네 가지 실제 데이터셋에 대해 테스트를 진행했습니다:

COMPAS: 범죄 재범 가능성 예측.
German Credit: 신용도 결정.
Communities & Crime: 범죄율 예측.
IEEE-CIS: 신용카드 사기 탐지.

결과는 소름 끼칠 정도로 효과적이었습니다.

성공률: 모델은 악의적인 작업(백도어)을 **90%에서 100%**까지 수행했습니다.
손전등(XAI): XAI 도구가 트리거를 조사했을 때, 중요도 점수는 거의 바닥으로 떨어졌습니다. COMPAS 데이터셋에서 점수는 0.0003까지 떨어졌습니다. IEEE-CIS 사기 데이터셋에서는 0.0021이었습니다.
알람: 보통 서투른 '가면 쓴' 스파이를 잡아내는 고급 보안 시스템(CAD-Detect)조차 완전히 속았습니다. 이 시스템은 IEEE-CIS 데이터셋에 대해 0.0004의 점수를 기록했는데, 이는 알람을 울리기 위한 임계값보다 훨씬 낮은 수치였습니다. 모델은 마치 정상적인 범위(in-distribution) 내에서 작동하는 것처럼 완벽하게 정상적으로 보였습니다.

더욱 놀라운 점은 연구진이 트리거를 얼마나 미세하게 만들 수 있는지 테스트했다는 것입니다. 그들은 일반적인 범위에서 겨우 1 표준 편차만큼 떨어진 매우 미미한 '약한' 트리거를 시도했습니다. 이 아주 작고 거의 보이지 않는 신호에도 불구하고, 모델은 백도어 작업에서 100% 성공률을 달성하면서도 기여도 점수를 0.0009로 유지했습니다. 이는 해커가 백도어를 숨기기 위해 거대하고 명백한 신호를 가질 필요가 없으며, 아주 작고 무해해 보이는 디테일 속에 숨길 수 있음을 입증합니다.

이것이 왜 중요한가

이 논문은 단순히 새로운 기술을 보여주는 것이 아니라, 근본적인 믿음에 도전합니다. 우리는 AI의 코드와 가중치(weights)에 완전히 접근할 수 있는 '화이트박스(white-box)' 뷰를 가지고 있다면 안전할 것이라고 믿었습니다. 수학을 볼 수 있다면 편향을 찾아낼 수 있을 것이라고 믿었습니다. 하지만 이 논문은 완전한 투명성이 안전을 보장하지 않는다는 것을 보여줍니다. 공격자는 수학적으로 AI가 설명을 할 때는 비밀 신호를 '잊게' 만들면서도, 실제 결정을 내릴 때는 그 신호를 계속 사용하도록 강제할 수 있습니다.

저자들은 현재의 AI 공정성 검증 도구들이 이러한 유형의 공격에는 무력할 수 있다고 제언합니다. 그들은 단순히 '이상한' 데이터 패턴을 찾는 것을 넘어, 모델 내부의 인과 관계를 감사하는 새로운 방법, 즉 2차 효과를 탐색하거나 이러한 '경사 세금'에 속지 않는 감사 도구를 설계하는 방향으로 나아가야 한다고 주장합니다.

요약하자면, 이 논문은 우리가 그것을 잡아내기 위해 의존하는 바로 그 도구들에게조차 수학적으로 보이지 않는 백도어를 구축하는 것이 가능하다는 것을 보여줍니다. 손전등은 여전히 켜져 있지만, 방은 우리가 생각했던 것보다 훨씬 더 어둡습니다.

기술 요약: 증거 파쇄(Crushing the Evidence) – 화이트박스 설명 가능한 AI 감사인을 속이기 위한 이중 페널티 회피 프레임워크

문제 정의

LIME, SHAP, Integrated Gradients(IG)와 같은 사후 설명 가능한 AI(XAI) 도구들은 금융, 의료, 법률 분야의 고위험 AI 시스템을 감사하기 위해 점점 더 많이 의존되고 있다. 이러한 도구들은 특정 입력 피처에 결정적 중요도를 할당하는 방식으로 작동한다. 그러나 치명적인 취약점이 존재한다: 공격자는 특정 트리거가 입력을 오분류하도록 만드는 백도어 공격(데이터 포이즈닝)을 배포할 수 있다. 표준적인 백도어는 XAI 감사인에 의해 쉽게 탐지되는데, 이는 모델이 트리거에 과도하게 의존하게 되어 거대하고 명백한 속성 점수(attribution scores)를 생성하여 이상 징후를 드러내기 때문이다.

이전의 감사 회피 시도들은 외부의 분포 외(Out-of-Distribution, OOD) 탐지기가 쿼리가 인간으로부터 온 것인지 설명자로부터 온 것인지에 따라 모델의 예측을 전환하는 스캐폴딩 공격(scaffolding attacks) 방식을 사용했다. 이러한 방식은 속성(attribution)을 숨기는 데는 효과적이지만, 부자연스러운 통계적 흔적을 남긴다. 최첨단 방어 기제인 **조건부 이상 탐지(Conditional Anomaly Detection, CAD-Detect)**는 클린 데이터와 섭동(perturbed) 데이터 간의 예측 분포에 대한 통계적 거리를 모니터링함으로써 이러한 공격을 성공적으로 식별해 낸다.

본 논문이 다루는 핵심 문제는 공격자가 외부의 취약한 래퍼(wrapper)에 의존하지 않고도, 신경망의 내부 최적화를 조작하여 백도어를 완전히 인-디스트리뷰션(in-distribution) 내에서 흡수할 수 있는지 여부이다. 이를 통해 그래디언트 기반 XAI 감사와 조건부 이상 탐지기를 수학적으로 무력화하는 것을 목표로 한다.

방법론

저자들은 구조화된 정형 데이터(tabular data)에 특화된 **화이트박스, 이중 페널티 회피 프레임워크(Dual-Penalty Evasion Framework)**를 제안한다. 스캐폴딩 공격과 달리, 이 접근 방식은 훈련 과정에서 회피 로직을 모델의 파라미터 내에 직접 내장한다. 이 방법론은 세 가지 핵심 구성 요소로 이루어진다.

1. 정형 데이터 연속 임베딩 (Tabular Continuous Embeddings)

정형 데이터는 직접적인 그래디언트 조작을 방해하는 이산적이고 미분 불가능한 범주형 변수를 포함하므로, 저자들은 먼저 학습 가능한 임베딩 함수( $\phi$ )를 사용하여 이러한 이산적 입력을 완전히 미분 가능한 연속 임베딩 공간으로 매핑한다. 이를 통해 모델은 표준 그래디언트 하강법을 통해 하이브리드 트리거(범주형 변화와 연속형 이상치의 조합)를 처리할 수 있다.

2. 이중 페널티 훈련 목적 함수 (The Dual-Penalty Training Objective)

이 프레임워크는 표준 분류 손실( $L_{CE}$ )과 함께 보조 제약 조건인 **그래디언트 파쇄 페널티( $L_{Crush}$ )**를 도입한다.

표준 백도어 최적화: $L_{CE}$ 를 최소화하며, 이 과정에서 네트워크는 트리거 피처에 "게으르게" 의존하게 되어 거대한 속성 흔적을 생성한다.
이중 페널티 최적화: 전체 손실은 $L_{Total} = L_{CE} + \lambda \cdot L_{Crush}$ $L_{T o t a l} = L_{C E} + λ \cdot L_{C r u s h}$ 로 정의된다.
- $L_{Crush}$ 는 순전파(forward pass) 동안 트리거 차원을 통해 흐르는 그래디언트의 $L_1$ 노름(norm)을 계산한다.
- 이러한 그래디언트 크기에 페널티를 부여함으로써 최적화 지형(optimization landscape)이 변경된다. 네트워크는 전체 손실을 최소화하기 위해 트리거로부터 의사결정을 수학적으로 분리하도록 강제된다.

3. 피처 비용 가설 (The Feature Cost Hypothesis)

저자들은 트리거 피처를 사용하는 데 드는 "수학적 비용"을 높임으로써, 옵티마이저가 추론의 부담을 페널티가 없는 배경 피처로 동적으로 재분배하도록 유도한다는 가설을 제시한다. 모델은 트리거를 낮은 가중치의 조건부 키로 사용하면서, 무거운 속성 가중치를 무해한 배경 변수로 이동시키는 법을 배운다. 결과적으로 모델은 백도어 작업을 완벽하게 수행하면서도, XAI 설명에서는 트리거에 대해 거의 제로에 가까운 중요도를 할당하게 된다.

주요 기여

이론적 정식화: 본 논문은 타겟 그래디언트 억제 시 신경망이 어떻게 피처 매니폴드 전반에 걸쳐 인과적 속성을 재분배하는지를 상세히 설명하는 **피처 비용 가설(Feature Cost Hypothesis)**을 소개한다.
통합 아키텍처: 이 가설을 구현하는 새로운 인-디스트리뷰션 이중 페널티 적대적 아키텍처를 제안한다. 이는 이산적 정형 데이터를 처리하기 위해 연속 임베딩을 활용하며, 그래디언트 파쇄 페널티를 적용하여 은밀한 속성 재분배를 강제함으로써 외부 OOD 스캐폴딩 래퍼의 필요성을 제거한다.
실증적 검증: 4개의 벤치마크 정형 데이터셋(COMPAS, German Credit, Communities & Crime, IEEE-CIS Fraud)에 대한 엄격한 평가를 통해 이 프레임워크가 최첨단 방어 체계를 우회하는 능력을 입증하였다.

실험 결과

프레임워크는 Integrated Gradients(IG)를 이용한 속성 할당과 CAD-Detect를 이용한 이상 탐지에 대해 클린 베이스라인, 표준 백도어, 스캐폴딩 공격을 대상으로 평가되었다.

속성 억제 (Attribution Suppression): 이중 페널티 모델은 대상 피처의 속성 값을 거의 제로 수준(예: COMPAS에서 0.0003, IEEE-CIS에서 0.0021)으로 파쇄하는 데 성공했다. 이는 표준 백도어가 최대 2.58에 달하는 높은 점수를 기록한 것과 대조적이다.
공격 성공률 (ASR): 모델은 모든 데이터셋에서 90.0% ~ 100.0% 사이의 높은 ASR을 유지하며 탁월한 효능을 입증했다.
이상 탐지 회피: 스캐폴딩 공격과 달리, 이 모델은 인-디스트리뷰션 내에서 작동했다. 이 모델은 모든 데이터셋에서 $\Delta cdf \le 0.0099$ 를 달 기록하여, CAD-Detect( $\Delta cdf$ 점수 0.19–0.22)로부터 단 한 건의 경고도 받지 않았다.
강건성 (Robustness): 절제 연구(Ablation studies)에 따르면, 이 방법은 미세한 트리거 신호(예: +1 $\sigma$ 변화)를 사용하는 경우에도 100% ASR을 유지하면서 속성을 제로에 가깝게 유지하는 등 효과적임을 보여주었다.

의의 및 주장

본 논문은 현재 XAI를 위한 적대적 방어 체계의 치명적인 취약점을 보여준다고 주장한다. 저자들은 전체적인 아키텍처 및 그래디언트 수준의 투명성만으로는 포렌식 보안을 보장하기에 불충분하다고 단언한다. 모델 파라미터 내에 회피 로직을 내장함으로써 공격자는 다음과 같은 일을 수행할 수 있다:

제1차 그래디언트 기반 감사인에게 수학적으로 보이지 않는 백도어 공격을 실행한다.
이전의 공격들이 의존했던 오프-매니폴드(off-manifold) 아티팩트를 피함으로써 **조건부 이상 탐지(CAD-Detect)**를 우회한다.

저자들은 결론적으로 이것이 알고리즘 투명성 평가의 패러다임 전환을 필요로 한다고 주장한다. 그들은 미래의 연구가 OOD 탐지를 넘어, 현재의 "철통같은" 안전망이 명백히 우회 가능함을 고려하여, 인위적으로 이동된 인과 매니폴드를 탐지할 수 있는 **2차 속성 방법론(second-order attribution methods)**이나 강력한 인증 프레임워크를 개발해야 한다고 제언한다.