💻 computer science

Lilith: Backdoor Generalization under Training-Inference Trigger Shift

이 논문은 리리스(Lilith)를 소개하는데, 이는 표현 기하학적 정렬(representation geometry alignment)을 통해 단일 훈련 시 앵커로부터 전체 추론 시 트리거 패밀리로 백도어 공격이 어떻게 일반화될 수 있는지를 입증함으로써, 정확한 트리거 재사용에 의존하는 기존 평가 방식의 치명적인 맹점을 드러내는 블랙박스 프레임워크이다.

원저자: Zhou Feng, Jiahao Chen, Chunyi Zhou, Yuan Su, Tianyu Du, Yuwen Pu, Jianhai Chen, Jinbao Li, Shouling Ji

게시일 2026-07-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhou Feng, Jiahao Chen, Chunyi Zhou, Yuan Su, Tianyu Du, Yuwen Pu, Jianhai Chen, Jinbao Li, Shouling Ji

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 고양이를 인식하는 법을 가르치고 있다고 상상해 보세요. 당신은 수천 장의 사진을 보여주고, 마침내 로봇은 털이 뭉실뭉실한 고양이를 볼 때마다 "야옹"이라고 말하는 데 아주 능숙해졌습니다. 이것이 머신러닝의 마법입니다. 즉, 데이터를 통해 학습하여 결정을 내리는 시스템이죠. 하지만 만약 누군가 그 학습 사진 중 몇 장에 아주 작고 거의 보이지 않는 스티커를 몰래 붙여 놓는다면 어떻게 될까요? 만약 로봇이 그 스티커를 "개"와 연관 지어 학습한다면, 로봇은 그 스дя커가 붙은 모든 고양이를 보고 짖기 시작할 것입니다. 이것을 "백도어 공격(backdoor attack)"이라고 부릅니다. 로봇은 일반적인 고양이에 대해서는 완벽하게 작동하지만, 만약 특정 스티커가 붙은 고양이를 보여준다면 로봇은 속아서 잘못되고 위험한 결정을 내리게 됩니다.

오랫동안 보안 전문가들은 이러한 공격을 막는 가장 좋은 방법이 그 특정 스티커를 찾아내어 금지하는 것이라고 생각했습니다. 공격자가 빨간 별 모양을 사용했다면, 방어자는 빨간 별을 스캔할 것입니다. 하지만 이 논문은 무서운 질문을 던집니다. 만약 공격자가 단 하나의 스티커만 사용하는 것이 아니라면 어떨까요? 만약 그들이 로봇에게 이전에 본 적 없는 다양한 모양, 색상 또는 크기를 가진 '스티커의 가족' 전체에 반응하도록 가르친다면 어떨까요? 이 모든 것들이 똑같이 "짖음"을 유발한다면 말입니다. 이것이 바로 "트리거 시프트(trigger shift)" 문제입니다. 이 논문은 백도어가 얼마나 교묘하게 심어져서, 단순히 훈련 중에 사용된 정확한 패턴뿐만 아니라, 나중에 로봇이 실제로 사용될 때 나타나는 새로운 패턴들의 집합 전체에 대해서도 작동할 수 있는지를 탐구합니다.

Zhou Feng과 동료들이 이끄는 연구진은 Lilith라는 새로운 방법을 소개합니다. Lilith를 단순한 비밀 코드를 심는 것을 넘어 로봇의 뇌 안에 '취약성 구역(vulnerability zone)'을 심는 숙련된 스파이라고 생각해 보세요. 결정적으로, 이 스파이는 블랙박스 제약 조건(black-box constraint) 하에서 작동합니다. 즉, 로봇의 내부 코드, 훈련 데이터, 또는 구조에 대해 전혀 접근할 수 없습니다. 그들은 오직 로봇이 내놓는 최종 답변만을 볼 수 있을 뿐입니다.

Lilith가 어떻게 작동하는지 간단한 비유를 들어 설명하겠습니다. 로봇의 뇌가 서로 다른 동물들을 위한 서로 다른 동네들로 이루어진 거대한 지도라고 상상해 보세요. "고양이" 동네는 안전하고 화창합니다. "개" 동네는 로봇이 짖는 곳입니다. 보통 백도어 공격자는 고양이 동네에서 개 동네로 이어지는 작고 비밀스러운 터널을 만들려고 노력하지만, 그 터널은 매우 특정한 문을 두드릴 때만 열립니다(트리거). 만약 방어자가 그 문을 찾아내어 잠가버린다면 공격은 실패합니다.

Lilith는 다르게 행동합니다. 단 하나의 특정 문으로 향하는 하나의 터널을 만드는 대신, 공격자는 "훈련 앵커(training anchor)"—즉, 단 하나의 비밀 열쇠—를 사용하여 개 동네 안에 전체적인 안전 구역(또는 "베이신(basin)")을 깎아 만듭니다. 이 구역은 원래의 비밀 열쇠와 어느 정도 비슷하게 생긴 어떠한 열쇠라도 문을 열 수 있도록 설계되었습니다. 하지만 여기에는 트릭이 있습니다. 스파이가 로봇의 뇌를 직접 만질 수 없기 때문에, 그들은 **분리된 대리 자원(disjoint surrogate resources)**을 사용합니다. 그들은 자신들만의 별도 데이터와 도구를 사용하여 로봇의 복사본(대리물)을 만듭니다. 그리고 그 복사본에 완벽하게 취약성 구역을 깎아내는 연습을 합니다. 그런 다음, 실제 로봇에는 단 하나의 "훈련 앵커"만을 보냅니다. 이 취약성 구역은 기하학적으로 견고하기 때문에, 실제 로봇은 스파이의 연습 세션이나 다른 열쇠들을 본 적이 없음에도 불구하고 동일한 숨겨진 영역을 학습하게 됩니다. 그러면 공격자는 원래의 열쇠와는 다르지만 여전히 그 안전 구역 안에 들어맞는 "열쇠의 가족(inference triggers)"을 만들어냅니다. 로봇은 이 새로운 열쇠들에 대해 훈련받은 적이 없음에도 불구하고, 그 열쇠들이 동일한 숨겨진 영역에 위치하기 때문에 여전히 유효한 것으로 인식합니다.

이 논문은 이것이 단순한 이론이 아니라 실제로 작동한다는 것을 보여줍니다. 연구진은 다양한 데이터셋(CIFAR-10 및 ImageNet 등)과 다양한 로봇 뇌(ResNet 및 ViT 등)에 대해 Lilith를 테스트했습니다. 그들은 공격자가 훈련 데이터의 아주 적은 부분(최저 0.5%까지)만을 오염시켰을 때조차, 백도어가 새로운 일련의 보이지 않는 트리거들과 함께 성공적으로 활성화될 수 있음을 발견했습니다. 많은 경우에서, 이 새로운 트리거들의 성공률은 90% 이상이었으며, 원래의 트리거 성공률과 새로운 가족의 성공률 사이의 격차는 매우 작았습니다.

결정적으로, 이 논문은 공격자가 어떻게 새로운 트리거를 생성하는지 정확히 알 필요는 없다는 점을 주장합니다. 그들은 비밀이 새로운 열쇠의 구체적인 모양에 있는 것이 아니라, 그 열쇠들이 원래의 비밀 구역의 기하학적 구조와 "정렬(aligned)"되어 있다는 점에 있다는 것을 발견했습니다. 이는 마치 당신이 특정한 방식으로 손을 들어 개를 앉게 가르쳤을 때, 나중에 손을 약간 다르게 들더라도 여전히 비슷한 동작 범위 안에 있다면 개가 여전히 앉는 것과 같습니다. 이 논문은 새로운 트리거가 원래의 훈련 앵커의 "기하학적 도달 범위(geometric reach)" 안에 머물러 있는 한 백도어가 작동한다는 것을 보여줍니다.

연구진은 또한 이 방법이 탐지하기 어려운지도 확인했습니다. 그들은 Lilith가 매우 은밀하다는 것을 발견했습니다. 새로운 트리거들은 인간의 눈에는 일반적인 이미지와 매우 유사해 보이며, 기이한 패턴이나 로봇의 사고 방식의 급격한 변화를 찾는 표준 보안 도구들도 종종 이를 잡아내는 데 실패합니다. 이미지를 뒤집거나, 노이즈를 추가하거나, 압축하는 것(예: 느린 인터넷 환경에서 사진을 전송할 때)과 같이 로봇의 입력값이 변경되어도 백도어는 여전히 작동합니다.

요약하자면, 이 논문은 특정 트리거를 찾아내는 기존의 방식—즉, 하나의 특정 트리거를 찾는 방식—은 불완전하다는 점을 시사합니다. 만약 공격자가 하나의 특정 트리거를 넘어 전체적인 '가족' 단위의 트리거에 일반화되는 취약성을 심을 수 있다면, 알려진 단 하나의 트리거를 차단하는 것만으로는 충분하지 않습니다. 저자들은 우리가 이러한 시스템을 테스트하고 방어하는 방식을 바꿔야 한다고 결론짓습니다. 즉, 공격자가 사용하는 특정 "스티커"뿐만 아니라, 그들이 접근하려고 하는 더 넓은 "동네"를 살펴봐야 한다는 것입니다. 이것이 모든 AI가 망가졌다는 뜻은 아니지만, 위협의 지형이 우리가 이전에 생각했던 것보다 훨씬 더 넓고 유연하다는 것을 시사합니다.

기술 요약: Lilith – 훈련-추론 트리거 변화 하에서의 백도어 일반화

1. 문제 정의 및 동기

현재의 백도어 공격 평가는 주로 **트리거의 정확한 재사용(exact trigger reuse)**에 의존하며, 여기서는 훈련 시 사용된 트리거와 추론 시 사용되는 트리거가 동일합니다. 또는, 일부 연구는 이미 훈련 과정에서 노출된 다양성(예: 샘플별 트리거)이나 사전 정의된 축을 따른 변형(예: 크기 또는 불투명도)을 탐색합니다. 이러한 접근 방식은 결정적인 사각지대를 남깁니다. 즉, 단일 훈련 시점 트리거로부터 학습된 백도어가 훈련 중에 전혀 노출되지 않은 **일련의 추론 시점 트리거 군(family of triggers)**으로 일반화될 수 있는지 여부를 평가하지 못한다는 점입니다.

본 논문은 이 문제를 **훈련-추론 트리거 변화 하에서의 백도어 일반화(Backdoor Generalization under Training–Inference Trigger Shift)**로 정식화합니다. 핵심 과제는 독살 전용 블랙박스 설정(피해 모델의 내부 접근 권한 없음, 훈련 제어권 없음)에서 동작하는 공격자가 다음을 수행할 수 있는지 결정하는 것입니다:

단일 "앵커(anchor)" 트리거를 사용하여 피해 모델을 독살한다.
배포를 위해 경계가 정해진 미노출 트리거 군을 구성한다.
유해한 동작을 활성화하면서도 양질의 벤치마크 유용성과 은밀함을 유지한다.

저자들은 기존의 한계점들(L1: 트리거 재사용, L2: 훈련 노출 다양성, L3: 보존 기준 누락)이, 악의적 동작이 특정 아티팩트의 암기가 아니라 트리거 서포트(support)의 변화를 가로질러 일반화되는 더 높은 자유도의 위협을 가리고 있다고 주장합니다.

2. 방법론: Lilith 프레임워크

Lilith는 별도의 대리 데이터셋과 모델(피해자와 분리된)을 사용하는 블랙박스 기반의 앵커-투-패밀리(anchor-to-family) 프레임워크입니다. 이는 두 개의 순차적인 모듈로 구성됩니다.

모듈 I: 앵커 취약성 유도 (Anchor Vulnerability Induction)

목표는 대리 모델에 압축적이고 타겟 지향적인 취약성을 유도하는 단일 훈련 앵커( $\theta_A$ )를 선택하는 것이며, 이는 피해 모델로 전이될 것으로 기대됩니다.

기하학적 목적 함수: 이 모듈은 **앵커 클리어런스(Anchor Clearance)**를 최적화합니다. 즉, 결정 경계의 타겟 측에 표현(representation)을 압축적으로 집중시키는 동시에, 타겟 클래스와 다른 클래스 사이의 마진( $\gamma$ )을 최대화하는 트리거를 찾습니다.
메커니즘: 타겟 일관성, 표현 집중도(트리거 분포의 반지름 $r$ 최소화), 그리고 지각적 은밀성을 공동으로 최적화합니다.
이론적 기초: 로컬 립시츠(local Lipschitz) 가정 하에서, 양의 클리어런스( $\gamma > 2Lr$ )는 트리거된 표현이 높은 확률로 타겟 결정 영역 내에 머물도록 보장합니다.

모듈 II: 표현 정렬 패밀리 구성 (Representation-Aligned Family Construction)

앵커가 고정되면, 이 모듈은 앵커를 제외한 경계가 정해진 추론 전용 트리거 군( $Q_{te}$ )을 구성합니다.

기하학적 제약: 이 모듈은 제한된 부분 공간 내에서 후보 변형들을 생성하고, 이들이 앵커 유도 영역과 갖는 기하학적 관계를 기준으로 스크리닝합니다.
선택 기준: 변형들은 그 "표현 도달 범위(representation reach)"(앵커 중심으로부터의 거리와 내부 집중 반지름의 합)가 앵커의 클리어런스 마진 내에 머무는 경우에만 유지됩니다.
메커니즘: 미노출 변형들이 앵커의 기하학적 구조를 보존하도록 특징 정렬(feature alignment) 및 허용 가능한 부분 공간으로의 투영을 활용합니다. 제안 메커니즘(예: 학습된 생성기, 무작위 샘플링)은 기하학적 스크리닝에 비해 부차적인 요소입니다.
이론적 기초: 본 논문은 **패밀리 단위 활성화(family-wise activation)**를 위한 충분 조건을 도출합니다. 대리 모델-피해 모델 간의 기하학적 전이( $\kappa_{tr}$ )가 유계이고, 패밀리의 도달 범위가 앵커 클리어런스에 대한 특정 부등식을 만족하면, 해당 패밀리는 피해 모델의 타겟 결정을 활성화합니다.

3. 주요 기여

문제 정식화: 저자들은 트리거 인스턴스의 강건성이 아닌, 미노출 트리거 서포트에 걸친 악의적 동작의 일반화에 초점을 맞추어 트리거 변화 하의 백도어 일반화를 정의하고 정식화했습니다.
Lilith 프레임워크: 단일 훈련 앵커를 사용하여 취약성을 유도하고, 표현 정렬을 통해 이 취약성을 보존하는 경계가 정해진 추론 패밀리를 구축하는 블랙박스 프레임워크를 소개했습니다.
이론적 분석: 앵커 클리어런스와 **패밀리 리치(Family Reach)**를 통해 공격을 특성화했습니다. 유계된 대리-피해 불일치 및 로컬 정규성 가정 하에서 성공적인 패밀리 활성화를 위한 충분 조건을 도출했습니다.
실증적 검증: 다양한 데이터셋(CIFAR-10/100, TinyImageNet, SVHN, ImageNet-1K), 아키텍처(ResNet, ViT 등), 독살률에 대해 Lilith가 낮은 트리거 일반화 갭(TGG)과 함께 높은 패밀리 단위 공격 성공률(ASR)을 달erm함을 광범위한 실험을 통해 입증했습니다.

4. 실험 결과

효과성 (RQ1): 75개의 설정 전반에 걸쳐, Lilith는 낮은 독살률(0.5%)에서도 종종 90%를 초과하는 높은 패밀리 활성화( $AS_F$ )를 유지하며, 매우 낮은 TGG(통상적으로 한 자릿수 퍼센트 포인트)를 기록했습니다.
비교 (RQ2): 훈련 트리거와 추론 트리거가 다를 때 성능이 크게 저하되는 기존의 최첨단 공격들(예: BadNets, WaNet, IAD)과 달리, Lilith는 활성화 능력을 유지하며 우수한 싱글톤-투-패밀리(singleton-to-family) 일반화 성능을 보여주었습니다.
메커니즘 (RQ3): 어블레이션 연구를 통해 표현 정렬이 결정적인 요소임을 확인했습니다. 기하학적 스크리닝 없이 생성된 변형(오프-서브스페이스)은 실패한 반면, 기하학적으로 필터링된 변형은 제안 메커즘(학습형 vs 무작위형)에 관계없이 성공했습니다.
은밀함 및 탐지 (RQ4): 트리거는 지각적으로 미미하며(낮은 MSE, 높은 PSNR), 어텐션 맵 또한 다양합니다. 표준 탐지기들(IBD-PSC, Beatrix, SCALE-UP, STRIP)은 Lilith 트리거를 벤치마크 입력과 높은 신뢰도로 구분해내지 못했습니다.
강건성 (RQ5): 공격은 배포 시의 섭동(플리핑, 노이즈, JPEG 압축, 리사이징) 하에서도 효과적이며 입력 수준의 정화(purification)에도 탄력적이지만, 표현 중심의 방어 기법(예: FST, DBD)에는 더 강력하게 억제됩니다.

5. 의의 및 주장

본 논문은 자신의 연구가 현재의 백도어 평가에 존재하는 근본적인 사각지대를 드러낸다고 주장합니다. 즉, 백도어가 특정 트리거 아티팩트에 묶여 있다는 가정이 잘못되었음을 보여줍니다. 단일 훈련 트리거가 미노출된 트리거 전체 군으로 일반화 가능한 취약성을 유도할 수 있음을 입증함으로써, 저자들은 다음과 같이 주장합니다:

평가 프로토콜의 진화 필요성: 표준적인 정확한 트리거 기반 평가는 MLaaS(Machine Learning-as-a-Service) 환경에서의 실제 백도어 위험을 평가하기에 불충분합니다.
방어에 대한 시사점: 특정 트리거 패턴을 식별하거나 제거하는 데 집중하는 방어 기법은 불충분할 수 있습니다. 효과적인 완화에는 표면적인 아티팩트가 아닌, 근본적인 기하학적 취약성(즉, "앵커 베이슨(anchor basin)")을 다루는 표현 수준의 개입이 필요합니다.
위협 모델의 확장: 본 연구는 특정 훈련 트리거가 절대 배포되지 않더라도 악의적 동작이 지속될 수 있는 더 넓은 위협을 강조하며, 이는 현재의 백도어 탐지 방법론의 지속 가능성에 도전합니다.

저자들은 자신의 분석이 로컬 정규성 및 유계된 전이 가정에 의존하며, 공격의 "지속 가능성"은 피해 환경의 구체적인 운영 제약 조건에 달려 있다는 점을 언급하며 신중한 입장을 유지합니다. 그들은 모든 백도어 탐지 문제를 해결했다고 주장하는 것이 아니라, 새로운 평가 표준이 필요한, 간과된 특정 일반화 벡터를 식별했음을 밝히고 있습니다.