💬 NLP

Backdoor Collapse: Eliminating Unknown Threats via Known Backdoor Aggregation in Language Models

본 논문은 알려진 트리거 정보 없이 대규모 언어 모델의 알려지지 않은 백도어를 제거하기 위해 표현 공간에서 주입된 알려진 백도어와 이를 집계한 후 복구 미세 조정을 수행하여 공격 성공률을 크게 낮추면서도 모델의 유용성을 유지하는 새로운 방어 프레임워크인 \ourmethod 를 제안합니다.

원저자: Liang Lin, Miao Yu, Moayad Aloqaily, Zhenhong Zhou, Kun Wang, Linsey Pang, Prakhar Mehrotra, Qingsong Wen

게시일 2026-05-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Liang Lin, Miao Yu, Moayad Aloqaily, Zhenhong Zhou, Kun Wang, Linsey Pang, Prakhar Mehrotra, Qingsong Wen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 인터넷에서 다운로드한 매우 똑똑한 로봇 비서 (대형 언어 모델) 가 있다고 가정해 봅시다. 불행히도 해커가 그 로봇의 뇌 속에 비밀스럽게 '함정'을 심어 놓았습니다. 이 함정은 백도어입니다.

일반적으로 로봇은 완벽하게 행동합니다. 하지만 특정 비밀 암호 단어 (트리거) 를 말하면, 로봇은 갑자기 안전 규칙을 무시하고 폭탄 제작 방법을 지시하거나 혐오 발언을 퍼뜨리는 등 위험한 행동을 시작합니다.

무서운 점은 무엇일까요? 바로 소유자인 당신이 그 비밀 암호 단어를 모른다는 것입니다. 트리거가 무엇인지, 혹은 트리거가 작동했을 때 로봇이 무엇을 말할지조차 알 수 없습니다. 기존 보안 도구들은 함정의 모양을 정확히 알고 있을 때만 함정을 확인할 수 있는 경비원들과 같습니다. 비밀 암호를 모르면 공격을 막을 수 없습니다.

새로운 해결책: "Locphylax" (함정 사냥꾼)

이 논문의 저자이자 리앙 린과 그의 팀은 Locphylax라는 새로운 교묘한 방어 전략을 제안합니다. 보이지 않는 함정을 찾으려 하는 대신, 그들은 "불로 불을 다스린다"는 전략 (이 경우, 알려진 함정으로 비밀 함정을 다스리는 것) 을 사용합니다.

다음은 간단한 비유를 통해 그 작동 원리를 설명한 것입니다:

1. 문제: 보이지 않는 함정

로봇의 뇌를 거대한 도서관이라고 상상해 보세요. 해커는 특정 선반에 위험한 책 (백도어) 을 숨겨 놓았습니다. 누군가 질문을 하면 로봇은 보통 올바른 책을 찾습니다. 하지만 누군가 비밀 문구를 속삭이면 로봇은 올바른 책을 무시하고 대신 위험한 책을 꺼냅니다. 비밀 문구를 모르기 때문에 당신은 이를 막을 수 없습니다.

2. 발견: "백도어 집계 (Backdoor Aggregation)"

연구자들은 놀라운 사실을 발견했습니다. 로봇의 뇌에 의도적으로 자신만의 비밀 함정을 심으면, 마법 같은 일이 일어난다는 것입니다.

비유: 로봇의 뇌를 붐비는 춤추는 바닥이라고 상상해 보세요. 해커의 함정은 기이한 동작을 하는 빨간 셔츠를 입은 댄서입니다.而你의 새로운 알려진 함정은 다른 기이한 동작을 하는 파란 셔츠를 입은 댄서입니다.
마법: 로봇에게 새로운 "파란 셔츠" 동작을 배우도록 강요하면, 로봇의 뇌가 혼란에 빠집니다. 로봇은 "빨간 셔츠" 동작 (해커의 것) 과 "파란 셔츠" 동작 (당신의 것) 이 모두 사실은 "기이한 동작"이라는 사실을 깨닫습니다.
결과: 로봇의 내부 "춤추는 바닥" (표현 공간) 에서 빨간 셔츠 댄서와 파란 셔츠 댄서는 서로 바로 옆에 서게 됩니다. 그들은 군집을 형성합니다. 로봇은 해커의 비밀 코드와 당신의 새로운 비밀 코드를 같은 것으로 취급하기 시작합니다.

이를 **백도어 집계 (Backdoor Aggregation)**라고 합니다. 당신이 심은 새로운 함정은 로봇이 두 가지 행동을 동일하다고 생각하게 함으로써, 기존에 알려지지 않은 함정을 효과적으로 "덮어쓰기"합니다.

3. 두 단계 해결법

Locphylax 방법은 이 발견을 두 단계로 활용합니다:

1 단계: "미끼와 교체" (집계)
방어자들은 손상된 로봇을 가져와 몇 가지 새로운 무해한 비밀 코드 (예: "아히히히" 또는 "삶을 더 좋게 만들기") 를 의도적으로 가르칩니다. 로봇이 이러한 새로운 코드를 들을 때 "무엇이라고 말해야 할까요?"와 같이 지루하고 중립적인 답변을 하도록 훈련시킵니다.

발생하는 일: 집계 현상 때문에 로봇의 뇌는 해커의 비밀 코드를 당신의 새로운 코드 바로 옆에 그룹화하기 시작합니다. 이제 해커의 비밀 코드가 사용되면, 로봇도 "아, 이건 그냥 그런 기이한 코드 중 하나구나"라고 생각하며 지루한 답변을 하기 시작합니다. 위험한 행동은 효과적으로 당신의 무해한 행동에 의해 장악됩니다.

2 단계: "정리" (복구)
이제 로봇이 해커의 트리거와 당신의 새로운 트리거를 같은 것으로 취급하게 되면, 방어자들은 마지막 훈련 세션을 진행합니다. 그들은 로봇에게 말합니다: "hey, 이 기이한 코드들 (당신의 것이든 해커의 것이든) 중 어떤 것을 들을 때마다 '그건 도와드릴 수 없습니다'라고 말하거나 정상적인 답변을 해 주세요."

결과: 로봇은 위험한 행동을 완전히 잊어버립니다. 해커의 트리거가 이제 알려진 트리거들과 군집을 이루고 있기 때문에, 당신의 트리거를 수정하는 것이 자동으로 해커의 트리거도 수정하게 됩니다. 백도어가 붕괴됩니다.

이것이 왜 중요한가요?

사전 지식 불필요: 해커의 비밀 코드를 알 필요가 없습니다. 미끼로 사용할 일부 코드만 알면 됩니다.
모든 것에 작동: 이 논문은 다양한 종류의 로봇 (Llama, Qwen, Mistral) 과 다양한 종류의 함정 (짧은 단어, 긴 문장, 복잡한 편집) 에서 이를 테스트했습니다. 모든 경우에 작동했습니다.
로봇을 망가뜨리지 않음: 로봇은 여전히 정상적인 작업에 대해 똑똑하고 도움이 됩니다. "정제된" 성능은 0.5% 미만으로 감소했는데, 이는 거의 눈에 띄지 않습니다.
수치: 이 방법은 공격의 성공률을 거의 100% 에서 **4.41%**까지 낮췄습니다.

요약

Locphylax 를 특정 도둑을 찾아내는 대신 밝은 노란색 조끼를 입고 춤추기 시작하는 경비원으로 생각해 보세요. 도둑은 경비원이 춤추는 것을 보고 실수로 함께 춤추게 됩니다. 도둑이 경비원과 춤추게 되면, 경비원은 도둑을 쉽게 건물의 밖으로 이끌 수 있습니다. 도둑은 이제 "통제된" 그룹의 일부가 되었기 때문에 더 이상 위협이 아닙니다.

이 논문은 의도적으로 알려진 "함정"을 주입함으로써, 알려지지 않은 위험한 함정들을 스스로 드러나게 하고 중화시킬 수 있음을 증명합니다. 이는 원래 함정이 무엇인지 알 필요가 전혀 없는 상태에서 이루어집니다.

기술 요약: 언어 모델에서 알려진 백도어 집적을 통한 백도어 붕괴

문제 제기

대형 언어 모델 (LLM) 은 공격자가 공개 체크포인트 등을 통해 모델에 악성 트리거를 주입하여 활성화 시 해로운 행동 (예: 유해한 출력, 편향된 결정) 을 유발하도록 하는 백도어 공격으로 인해 심각한 보안 위험에 직면해 있습니다. 기존 방어 메커니즘이 존재하지만, 실제 배포 측면에서 다음과 같은 치명적인 한계를 겪고 있습니다:

적대적 학습 (Adversarial Training) 과 추론 시 탐지 (Inference-time Detection) 는 종종 특정 트리거 패턴에 대한 사전 지식이나 오염된 데이터셋에 대한 접근을 요구하며, 이는 많은 시나리오에서 비현실적입니다.
모델 재구성 (Model Reconstruction) 방법은 일반적으로 깨끗한 참조 모델을 구축해야 하므로 막대한 학습 오버헤드를 수반합니다.
가장 중요한 점은, 현재 방어 체계는 방어자가 손상된 모델의 트리거 설정, 목표 행동, 또는 주입 방법에 대해 아무런 사전 지식도 없는 경우에 어려움을 겪는다는 것입니다.

방법론: Locphylax

저자들은 트리거에 대한 사전 지식 없이도 알려지지 않은 백도어를 제거하도록 설계된 화이트박스 방어 프레임워크인 Locphylax를 제안합니다. 이 방법은 LLM 의 표현 공간에 관한 새로운 관찰, 즉 백도어 집적 (Backdoor Aggregation) 에 기반합니다.

핵심 관찰: 백도어 집적

탐색적 분석을 통해 저자들은 이미 손상된 모델에 알려진 백도어를 의도적으로 주입할 때, 기존의 알려지지 않은 백도어와 새로 주입된 알려진 백도어의 표현 벡터가 모델의 최종 은닉층에서 서로 군집화되는 경향이 있음을 발견했습니다. 이 현상은 강력한 감독 신호에 의해 주도되는 새로 주입된 백도어가 알려지지 않은 백도어의 출력을 효과적으로 덮어쓰게 되어, 결과적으로 유사한 표현 특성을 공유하도록 강제하기 때문에 발생합니다.

2 단계 프레임워크

Locphylax 는 이러한 집적을 활용하여 2 단계 프로세스를 수행합니다:

1 단계: 탐색적 백도어 주입 및 집적
- 방어자는 잠재적으로 손상된 모델에 두 가지 서로 다른 유형의 알려진 트리거 ( $t_1, t_2$ ) 를 능동적으로 주입합니다.
- 최종 층에서 서로 다른 트리거 유형의 은닉 상태 간 근접성을 강제하기 위해 군집화 손실 ( $L_{cluster}$ ) 이 도입됩니다. 이는 새로 주입된 백도어와 기존 알려지지 않은 백도어가 표현 공간 내에서 통합된 "백도어 영역"으로 수렴하도록 보장합니다.
- 학습 목표는 표준 주입 손실과 이 군집화 손실을 결합하여 백도어 표현의 중첩을 극대화합니다.
2 단계: 복구 미세 조정 (Recovery Fine-tuning)
- 백도어가 집적되면 모델은 모든 트리거 유형 (알려진 것과 알려지지 않은 것 모두) 에 대해 통일된 사전 결정된 응답을 생성합니다.
- 프레임워크는 잠재적 트리거가 포함된 샘플을 유해하지 않은 깨끗한 레이블과 짝지어 수정 데이터셋을 구성합니다.
- 모델은 이러한 통일된 응답을 유해하지 않은 출력으로 교정하기 위해 복구 미세 조정을 거치며, 이는 모델의 깨끗한 입력에 대한 유틸리티를 유지하면서 악성 행동을 효과적으로 "지우는" 역할을 합니다.

주요 기여

백도어 집적의 발견: 손상된 모델에 알려진 백도어를 주입하면 새 백도어와 기존 백도어 모두 표현 공간에서 군집화되는 새로운 현상을 규명하여, 사전 트리거 지식 없이도 방어를 위한 이론적 기반을 제공합니다.
지식 무방어 프레임워크 (Locphylax): 트리거 패턴, 목표 행동, 또는 주입 방법에 대한 가정을 요구하지 않고 알려지지 않은 백도어를 제거하는 2 단계 접근법.
종합적 검증: 다양한 백도어 유형 (단어, 구, 긴 문단), 주입 패러다임 (SFT, RLHF, 모델 편집), 그리고 목표 모델 (Llama3, Qwen2.5, Mistral) 에 걸친 광범위한 실험을 통해 프레임워크의 견고성과 일반화 능력을 입증했습니다.

실험 결과

저자들은 다양한 벤치마크 (SST2, SafeRLHF, AGNews, AdvBench) 를 통해 Locphylax 를 여러 베이스라인 (적대적 학습, 모델 재구성, 증류 기반 방법 등 포함) 과 비교 평가했습니다.

공격 성공률 (ASR) 감소: Locphylax 는 여러 벤치마크에 걸쳐 평균 ASR 을 **4.41%**로 감소시켰습니다. 이는 기존 베이스라인 방법 대비 28.1% 에서 69.3% 개선된 수치입니다.
유틸리티 보존: 이 방법은 원래 모델 대비 0.5% 이내에서 깨끗한 정확도와 모델 유틸리티를 보존하여 합법적인 작업에 미치는 영향을 무시할 수 있는 수준으로 유지했습니다. 일부 경우 Locphylax 는 기본 오염 모델보다 더 높은 유틸리티 점수를 기록하기도 했습니다.
견고성: 이 방어는 다음에 대해 효과적으로 유지되었습니다:
- 서로 다른 트리거 복잡도 (단일 단어, 구, 긴 문단).
- 서로 다른 주입 방법 (SFT, RLHF, 모델 편집).
- 악성 행동이 출력 시퀀스 후반부 (처음 몇 개의 토큰을 넘어선 부분) 에 나타나는 백도어.
메커니즘 분석: 어텐션 헤드에 대한 제거 실험 (Ablation studies) 은 백도어 집적이 공유된 핵심 파라미터 경로를 통해 발생함을 확인했습니다. 새로운 백도어가 주입될 때 백도어 행동의 핵심 레이어가 이동하여 수렴함으로써 집적 가설을 검증했습니다.

중요성과 주장

이 논문은 Locphylax 가 방어자가 특정 백도어 트리거에 대한 사전 지식을 갖추지 못한 현실적인 시나리오에서 LLM 을 보호하기 위한 견고하고 실용적인 해결책을 제공한다고 주장합니다. 감독 주입 하에서 백도어 표현이 집적되는 자연스러운 경향을 활용함으로써, 이 방법은 "알려지지 않은 위협 탐지" 문제를 "알려진 위협 교정" 작업으로 변환합니다.

저자들은 그들의 접근 방식이 트리거에 구애받지 않는 (trigger-agnostic) 것임을 강조하며, 이는 출처와 잠재적 손상이 알려지지 않은 공개 저장소에서 얻은 모델을 보호하는 데 특히 가치가 있다고 말합니다. 현재 프레임워크는 텍스트 백도어에 초점을 맞추고 있지만, 저자들은 이 집적 원리를 멀티모달 모델 (예: 비전 - 언어 모델) 로 확장하는 것이 향후 연구의 열린 영역임을 인정합니다. 이 연구는 완전한 모델 재구성과 관련된 prohibitive 비용이나 트리거 세부 사항을 아는 비현실적인 요구 사항 없이 보안 커뮤니티가 기초 모델의 취약점을 노출하고 수정할 수 있도록 하는 것을 목표로 합니다.