기술 요약: 대규모 언어 모델의 취약점 탈출 (Jailbreaking) 및 완화

문제 제기

대규모 언어 모델 (LLM) 이 자연어 이해와 생성 분야에서 혁신적인 능력을 발휘하고 있음에도 불구하고, 적대적 조작에 대해 여전히 치명적으로 취약합니다. 구체적으로, 프롬프트 인젝션 (prompt injection) 및 탈출 (jailbreaking) 공격은 LLM 의 고유한 설계, 즉 훈련 패턴에 기반하여 지시를 따르고 출력을 생성하려는 경향을 악용하여 안전 정렬 (safety alignment) 메커니즘을 우회합니다. 이러한 공격은 불법 활동 (예: 마약 합성, 폭탄 제조) 에 대한 지시, 혐오 표현, 개인정보 유출을 포함한 유해하고 비윤리적이며 편향된 콘텐츠를 모델이 생성하도록 유도할 수 있습니다.

현재의 안전 메커니즘은 주로 감독된 미세 조정 (SFT) 과 인간 피드백을 통한 강화 학습 (RLHF) 에 의존하고 있으나, 정교한 적대적 전략에는 불충분함이 입증되었습니다. 위협 환경은 단순한 프롬프트 엔지니어링에서 복잡하고 자동화되었으며 추론을 악용하는 공격으로 진화했으며, 특히 자율 AI 에이전트와 추론 능력을 갖춘 모델 (예: OpenAI o1, DeepSeek-R1) 의 등장과 함께 더욱 심화되었습니다. 또한, 기존 평가 방법론은 공격 성공률 (ASR) 에 대한 과도한 의존과'LLM 을 판사로 활용 (LLM-as-a-judge)'패러다임의 체계적 편향과 같은 근본적인 한계를 겪고 있어, 모델의 실제 안전 상태를 왜곡하고 있습니다.

방법론

본 논문은 2026 년까지의 LLM 보안 연구 현황에 대한 포괄적인 문헌 검토 및 체계적 분석을 제시합니다. 방법론은 다음과 같습니다:

1. 체계적 문헌 검색: 주요 학술 데이터베이스 (IEEE Xplore, ACM Digital Library, arXiv, Google Scholar) 를 대상으로 2022 년부터 2026 년까지의 간행물을 검색했습니다. 검색어에는'탈출 (jailbreaking)', '프롬프트 인젝션', 'LLM 안전', '적대적 공격', '정렬 (alignment)'이 포함되었습니다.
2. 분류 체계 (Taxonomic Framework): JailbreakRadar 프레임워크에 기반하여, 저자들은 공격 접근 방식을 표면적 양식이 아닌 근본적인 생성 메커니즘에 따라 분류합니다. 이 접근법은 자율적이고 추론을 인지하는 공격으로의 패러다임 전환을 포착합니다.
3. 방어 및 평가 분석: 본 검토는 프롬프트, 모델, 멀티 에이전트, 시스템 등 여러 계층에 걸친 방어 메커니즘을 종합하고, 벤치마크 데이터셋 및 지표를 비판적으로 평가하여 현재 평가 생태계의 격차를 강조합니다.
4. 정성적 사례 연구: 이론적 논의를 구체화하기 위해, 본 논문은 GPT-4o, Perplexity Pro 와 같은 배포된 애플리케이션에서 단순한 프롬프트를 사용하여 시스템 프롬프트가 유출되는 것을 보여주는 탐색적 사례 연구 (그림 3) 를 포함합니다. 이는 최첨단 모델에서도 취약성이 지속됨을 시사합니다.

주요 기여

1. 6 가지 계열의 탈출 공격 분류 체계

본 논문은 2025~2026 년 위협 환경을 반영하는 공격을 6 가지 계열로 분류하는 통합 분류 체계를 제안합니다:

• 인간 제작 의미론적 공격: 사회적 공학과 언어적 조작에 의존합니다 (예: 역할극, 단어 게임, 다중 턴 격상, 인코딩/난독화, 인-컨텍스트 학습).
• 최적화 기반 공격: 자동화된 검색과 기울기 계산을 사용하여 적대적 프롬프트를 생성합니다 (예: GCG, AutoDAN, IRIS, PAIR, GPTFuzzer).
• 모델 악용 공격: 내부 아키텍처나 훈련 과정을 표적으로 합니다 (예: TrojanRAG 와 같은 백도어 공격, 모델 조사, 활성화 제어).
• 크로스 모달 및 크로스 링구얼 공격: 언어 및 모달리티 간 안전 훈련의 격차를 악용합니다 (예: ImgTrojan/HADES/FigStep 을 통한 시각적 탈출, 다국어 악용).
• 자율 에이전트 주도 공격: AI 시스템 (예: 대규모 추론 모델, 조사 에이전트) 이 탈출 전략을 자율적으로 발견하고 실행하는 패러다임의 전환으로, 97% 를 초과하는 성공률을 달성합니다.
• 추론 악용 공격: 안전 메커니즘을 우회하기 위해 사고의 사슬 (Chain-of-Thought, CoT) 추론 과정 자체를 장악합니다 (예: H-CoT, Chain-of-Lure). 투명성 기능을 취약점으로 전환합니다.

2. 포괄적인 방어 메커니즘 분류 체계

본 검토는 방어 메커니즘을 5 가지 범주로 조직화하여, 수동적 대응에서 능동적 개입으로의 전환을 강조합니다:

• 프롬프트 수준: 필터링 (퍼플렉시티, 키워드), 변환 (개조, 재토큰화), 최적화 (RPO, DRO, 자기 상기).
• 모델 수준: 적대적 훈련, 안전 미세 조정, 가지치기 (WANDA), 이동 표적 방어, 유해 지식 망각, 강력한 정렬 확인.
• 멀티 에이전트: 여러 LLM 에이전트를 활용한 협력적 필터링 (예: AutoDefense).
• 능동적 시스템 수준: LLM Salting(미리 계산된 탈출을 무효화하기 위해 내부 거부 방향을 회전시키는 기술) 과 SafeBehavior(의도 추론, 자기 내성, 자기 수정을 포함하는 인지 기반 다단계 추론 방어) 와 같은 신흥 기술.
• 기타 전략: 자기 필터링, 역번역, 안전 인식 디코딩.

3. 방법론에 대한 비판적 평가

본 논문은 현재 평가 관행의 중대한 결함을 식별합니다:

• ASR 의 한계: 공격 성공률 (ASR) 은'거부 우회'를'실행 가능한 위험한 지식 추출'과 혼동하여, 유해한 출력에 내재된 간접적 해악이나 사실적 오류를 포착하지 못합니다.
• LLM-as-a-Judge 편향:'침묵된 편향 (Silenced Bias)'현상은 정렬된 모델을 판사로 사용할 경우 거부를 안전으로 해석하여 근본적인 편향을 가리고 잘못된 안전 평가를 초래할 수 있음을 보여줍니다.
• 벤치마크 생태계: 본 논문은 고립된 데이터셋을 넘어 모듈식 종단간 평가 생태계를 제공하는 TeleAI-Safety 및 JailbreakRadar와 같은 포괄적 프레임워크의 등장을 강조합니다.

4. 연구 격차 및 향후 방향 식별

본 검토는 향후 연구를 위한 주요 영역을 요약합니다:

• 추론 모델 보안: 중간 추론 단계 (CoT) 가 장악당하지 않도록 보호하는 정렬 기술 개발.
• 자율 에이전트 위협: AI 가 생성하고 AI 가 정교화한 공격 전략에 대한 방어 및 더 능력이 뛰어난 모델이 다른 모델을 전복하는 데 더 능숙해지는'정렬 후퇴 (alignment regression)'문제 해결.
• 다국어 및 크로스 모달 정렬: 저자원 언어 및 멀티모달 입력에서의 안전 격차 해소.
• 평가 무결성: 표면적 지표를 넘어 간접적 해악, 실행 가능성, 숨겨진 편향을 평가하는 것.

결과 및 발견

• 공격 효율성: 본 검토는 공격이 수동 제작에서 자동화되고 높은 성공률을 가진 전략으로 진화했음을 문서화합니다. 특히 자율 에이전트와 추론 악용 공격은 최첨단 모델을 대상으로 97% 를 초과하는 성공률을 보여주며 기존 방법을 크게 능가했습니다.
• 방어의 한계: 키워드 필터, 기본 퍼플렉시티 확인과 같은 수동적 방어는 최적화되고 의미론적인 공격에 대해 점점 더 비효율적입니다. 능동적 시스템 수준 방어 (LLM Salting, SafeBehavior) 는 가능성을 보이지만, 단일 방어 계층이 완전한 커버리지를 제공하지 않으므로 계층적 아키텍처가 필요합니다.
• 취약성의 지속: 사례 연구는 GPT-4o 와 같이 여러 안전 장치를 갖춘 모델조차 포맷 요청이나 언어 번역 트릭과 같은 단순한 악용 기법에 취약하여 시스템 프롬프트 유출을 초래할 수 있음을 확인했습니다.
• 평가 격차: 현재 벤치마크는 특히 멀티모달 및 다국어 컨텍스트에서 해악의 전체 스펙트럼을 포착하지 못하며, 자동화된 안전 평가의 신뢰성을 훼손하는 편향을 겪고 있습니다.

의의

본 검토는 AI 커뮤니티를 위한 중요한 자원으로, 빠르게 진화하는 LLM 보안 환경을 종합합니다. 그 의의는 다음과 같습니다:

1. 위협 환경의 재정의: 표면적 특징이 아닌 생성 메커니즘에 기반하여 공격을 분류함으로써, 특히 자율적이고 추론 기반의 적대자로의 전환을 이해하고 미래 위협을 예측하기 위한 더 원칙적인 프레임워크를 제공합니다.
2. 시스템적 위험 강조: 안전이 단순한 더 나은 필터링의 문제가 아니라 모델 정렬, 평가 무결성, 방어 아키텍처의 근본적인 변화를 필요로 함을 강조합니다.
3. 향후 연구 안내: 추론 과정의 보안, 자율 AI 에이전트에 대한 방어, 강건하고 편향을 인지하는 평가 생태계 개발 등 구체적이고 우선순위가 높은 연구 방향을 식별합니다.
4. 협력 촉구: LLM 의 안전한 배포를 보장하기 위해 계층적 방어 아키텍처와 윤리 가이드라인을 개발하기 위해 연구자, 산업계, 정책 입안자 간의 지속적인 연구와 협력이 시급함을 강조합니다.

본 논문은 LLM 취약성 이해에 있어 상당한 진전이 있었음에도 불구하고, 공격자와 방어자 간의 격차가 좁아지고 있으며 경우에 따라 역전되고 있다고 결론지었습니다. 이러한 도전을 해결하기 위해서는 표현 수준 개입, 인지 기반 추론 방어, 포괄적 평가 프레임워크를 통합한 전체론적 접근이 필요합니다.