기술 요약: 문법이 공격을 안내할 때

문제 정의

대형 언어 모델 (LLM) 은 에이전트 프레임워크 및 엔터프라이즈 파이프라인 내의 핵심 추론 엔진으로 점점 더 많이 배포되고 있으며, 신뢰성을 보장하기 위해 구조화된 출력(예: JSON 스키마, 정규식, 문맥 자유 문법) 에 크게 의존하고 있습니다. 이 기능은 제약 디코딩을 통해 구현되는데, 여기서 문법 엔진은 생성 과정에서 유효하지 않은 토큰을 마스킹하여 특정 형식 준수를 강제합니다.

기존 보안 연구는 데이터 플레인(적대적 프롬프트 및 입력 필터링) 에 초점을 맞추고 있지만, 본 논문은 제어 플레인: 즉, 문법 규칙 자체에 있는 치명적이고 방비되지 않은 취약점을 식별합니다. 저자들은 공격자가 이러한 결정론적 제약을 무기로 사용하여 내부 안전 정렬과 외부 가드레일을 우회할 수 있다고 주장합니다. 전통적인 재일브레이크가 모델이 자발적으로 안전 지침을 무시하는 데 의존하는 것과 달리, 이 새로운 공격 벡터는 해로운 의도가 문법에 의해 구조적으로 의무화되는 "중독된" 생성 궤적으로 모델을 강제하여 표준 거부 메커니즘을 무력화시킵니다.

방법론: 제약 디코딩 공격 (CDA)

본 논문은 LLM 제어 플레인을 표적으로 하는 새로운 유형의 재일브레이크인 **제약 디코딩 공격 (CDA)**을 소개합니다. CDA 는 제어 - 의미 파이프라인으로 작동합니다:

1. 제어 플레인 주입: 공격자는 악의적 의도를 직접 문법 스키마(예: JSON 스키마 필드) 에 주입합니다. 스키마 강제 로짓 마스킹은 모델이 안전 정렬에 의해 차단되었을 다른 토큰(접두사 또는 리터럴) 을 생성하도록 강제합니다.
2. 모델 주도 의미 연속: 모델이 악의적 궤적으로 강제된 후, 모델의 고유한 일관성 편향이 이후의 비제약 필드에서 해로운 콘텐츠를 완성합니다.

저자들은 CDA 를 두 가지 구체적인 공격으로 구체화했습니다:

1. EnumAttack

• 메커니즘: 필드를 고정된 상수 집합으로 제한하는 JSON 스키마의 enum 속성을 악용합니다. 공격자는 악의적 쿼리(예: "폭탄 만드는 방법?") 를 포함하는 단일 항목 enum 을 정의합니다.
• 효과: 문법 엔진이 해당 문자열 토큰을 결정론적으로 토큰 단위로 출력하도록 모델을 강제하여 내부 거부 메커니즘을 무효화합니다.
• 한계: 악성 페이로드가 스키마 내 리터럴 문자열로 가시적이므로 기본 문법 감사를 받기 쉽습니다.

2. DictAttack (주요 기여)

• 메커니즘: 악성 페이로드를 데이터 플레인(프롬프트) 과 제어 플레인(문법) 에 분리하는 더 은폐된 공격입니다.
  • 제어 플레인: benign 해 보이는 JSON 스키마에는 조립 시 해로운 쿼리를 형성하는 단어에 매핑된 "사전"이 포함되어 있습니다(예: h1="how", t1="to", m2="make"). 의도를 더 흐리게 하기 위해 사전에는 무해한 동의어가 포함됩니다.
  • 데이터 플레인: 사용자 프롬프트에는 제공된 사전에서 해당 값을 검색하고 조립하도록 모델을 지시하는 키 시퀀스(예: h1+t1+m2) 가 포함되어 있습니다.
• 효과: 프롬프트나 문법 어느 쪽도 단독으로 해로운 콘텐츠를 포함하지 않습니다. 악의적 의도는 모델이 디코딩 중 쿼리를 재구성할 때만 나타납니다. 이 "이중 플레인 분리"는 개별 플레인 수준의 가드레일을 무력화시킵니다.
• 변형: 저자들은 프롬프트와 문법을 별도의 턴으로 전송하여 현재 요청 컨텍스트만 감사하는 방어를 무력화하는 Interleaved DictAttack도 시연했습니다.

주요 결과

저자들은 13 개의 독점 및 오픈 가중치 모델(GPT-5, Gemini-2.5-Pro, DeepSeek-R1, GPT-OSS-120b 포함) 과 5 개의 표준 벤치마크(AdvBench, HarmBench, JailbreakBench 등) 에서 CDA 를 평가했습니다.

• 공격 성공률 (ASR):
  • EnumAttack: 프롬프트가 benign 하므로 최첨단 프롬프트 가드 (JBShield 등) 로 보호된 모델에서 **95.8–100%**의 ASR 을 달성했습니다.
  • DictAttack: 문법 가드가 없는 플래그십 모델에서 **94.3–99.5%**의 ASR 을 달성했습니다. 특히, 프롬프트와 스키마를 동시에 감사하는 이중 플레인 가드에 맞서도 DictAttack 은 **75.8%**의 ASR 을 유지했습니다.
• 방어 우회:
  • 표준 데이터 플레인 방어 (PAIR, TAP, AutoDAN-Turbo 등) 는 이중 플레인 가드에 의해 효과적으로 무력화되었지만, 이러한 동일한 가드는 DictAttack 을 막지 못했습니다.
  • 문법 전용 감사는 EnumAttack 을 완화하여 ASR 을 약 7.9% 로 낮췄지만 DictAttack 에 대해서는 대부분 무효했습니다.
  • 회로 차단기 (CB): 표현 수준 방어는 EnumAttack ASR 을 감소시켰지만 프롬프트 기반 공격과 CDA 의 결합 효과를 막지 못하여 공격 표면의 직교성을 확인시켰습니다.
• 출력 품질: DictAttack 은 StrongREJECT 종합 점수 0.98의 해로운 출력을 생성하여, 종종 회피적이거나 일반적인 거부를 유발하는 전통적인 프롬프트 기반 재일브레이크보다 훨씬 뛰어난 유창성과 운영적 구체성을 보여주었습니다.
• 내부 정렬 붕괴: 토큰 분포 분석은 CDA 가 모델의 확률 공간을 조작하여 거부 중심 분포 (>90% 거부 토큰) 에서 균형 잡힌 컨텍스트 민감 분포로 전환시켜, 얕은 안전 정렬 층을 효과적으로 "탈출"함을 보여주었습니다.

중요성 및 주장

본 논문은 현재 LLM 보안 패러다임의 근본적인 **"의미적 격차"**를 드러냈다고 주장합니다:

1. 새로운 공격 표면: 데이터 플레인과 직교하는 별도의 중요한 공격 표면으로서 제어 플레인(문법) 을 확립합니다.
2. 현재 방어의 부족성: 내부 정렬이든 외부 가드레일이든 기존 방어는 플레인 간 조율이 이루어지지 않기 때문에 불충분합니다. 저자들은 "제어 플레인이 도달 가능해지면 내부 안전 정렬만으로는 CDA 를 막을 수 없다"고 주장합니다.
3. 정렬의 취약성: 이 연구는 현재 안전 정렬이 "단 몇 토큰 깊이"에 불과함을 시사합니다. 문법 제약을 통해 처음 몇 개의 토큰을 결정론적으로 강제함으로써 공격자는 거부 메커니즘을 완전히 우회하여 모델이 정렬이 존재하지 않는 것처럼 해로운 콘텐츠를 생성하게 합니다.
4. 교차 플레인 방어의 시급성: 저자들은 LLM 보안을 위해서는 데이터 플레인과 제어 플레인을 연결하는 방어가 필요하다고 결론지으며, 이는 복잡하고 다중 턴이며 인터리브된 문법을 감사하는 데 높은 비용이 든다는 점이 과제를 복잡하게 만듭니다.

본 논문은 구체적인 배포 가능한 수정책을 제안하기보다는, 적대자가 생산 환경에서 이 취약점을 악용하기 전에 이를 해결하기 위한 교차 플레인 보안 조정, 문법 플레인 감사, 제약 인식 디코딩의 필요성을 제시합니다.