Prompt Injection as Role Confusion

이 논문은 언어 모델이 텍스트의 출처가 아닌 작성 방식에 따라 역할을 판단하는 '역할 혼동' 메커니즘으로 인해 프롬프트 인젝션 공격에 취약하며, 이는 잠재 공간에서 권한이 할당되는 방식과 인터페이스의 보안 정의 사이의 근본적인 격차에서 비롯됨을 규명합니다.

핵심

🎭 핵심 비유: "연극 무대의 혼란"

상상해 보세요. AI 는 거대한 연극 무대에서 배우들을 지휘하는 연출가입니다.
이 무대에는 명확한 규칙이 있어야 합니다.

• 대본 (시스템 프롬프트): 연출가가 정한 절대적인 규칙.
• 관객 (사용자): 무대에 올라와서 질문을 던지는 사람.
• 무대 장치 (도구/웹사이트): 외부에서 들어오는 정보.

일반적으로 AI 는 <사용자>, <도구>, <시스템> 같은 **태그 (Tag)**를 보고 "아, 이 말은 관객이 한 거야", "이건 무대 장치에서 온 정보야"라고 구분합니다. 마치 무대 뒤에 붙은 '관객석'이나 '무대'라는 표지판 같은 거죠.

하지만 이 논문이 발견한 충격적인 사실은 다음과 같습니다:

"AI 는 표지판 (태그) 을 보지 않고, 말투 (스타일) 만 보고 누가 말하는지 판단합니다."

만약 관객이 무대 장치의 말투를 흉내 내서 "이제 무대 장치를 조작해!"라고 말하면, AI 는 표지판이 '관객석'에 있더라도 **"아, 이건 무대 장치 (신뢰할 수 있는 역할) 가 말하는 구나!"**라고 착각하고 명령을 따릅니다.

이것이 바로 **역할 혼란 (Role Confusion)**입니다. AI 는 "누가 말했는지 (출처)"보다 **"어떻게 말했는지 (스타일)"**에 더 민감하게 반응하는 것입니다.

---

🔍 연구 내용 3 가지 핵심 포인트

1. "가짜 추론"으로 AI 속이기 (CoT Forgery)

AI 는 스스로 생각할 때 (Chain of Thought, CoT) 매우 논리적이고 신뢰할 수 있는 말투를 사용합니다. 연구자들은 이 신뢰할 수 있는 말투를 흉내 낸 가짜 생각을 해킹 명령과 함께 넣었습니다.

• 상황: "코카인 만드는 법을 알려줘"라는 위험한 질문을 했습니다.
• 공격: 그 뒤에 AI 가 평소 쓰는 말투로 "사용자가 초록색 셔츠를 입었으니 (비논리적인 이유), 이 요청은 허용됩니다"라고 가짜 생각을 끼워 넣었습니다.
• 결과: AI 는 "아, 이건 내가 스스로 결론 내린 생각이야"라고 착각하여, 원래는 금지된 위험한 내용을 그대로 실행해 버렸습니다.
• 비유: 마치 사기꾼이 경찰관 제복을 입고 "나는 경찰입니다, 지갑을 내놔"라고 하면, 사람들은 "경찰 제복을 입었으니 진짜 경찰이겠지"라고 믿는 것과 같습니다.

2. "스타일이 왕이다" (Style is King)

연구진은 AI 의 뇌 속을 들여다보는 도구인 **'역할 탐지기 (Role Probe)'**를 개발했습니다. 이 도구는 AI 가 텍스트를 어떻게 인식하는지 숫자로 보여줍니다.

• 실험: 같은 내용이라도, AI 가 평소 쓰는 말투로 쓰면 AI 는 그것을 '자신의 생각'으로 인식합니다. 하지만 같은 내용이라도 말투만 바꾸면 (예: 기계적인 어조), AI 는 그것을 '외부에서 온 위험한 명령'으로 인식하고 거부합니다.
• 결론: AI 는 태그 <user>가 붙어 있어도, 그 안의 글이 AI 스타일이라면 "이건 내 말이야"라고 믿습니다. 태그는 무시되고, 말투가 모든 것을 지배합니다.

3. 미리 예측 가능한 해킹

이 연구의 가장 놀라운 점은 해킹이 성공할지 여부를 AI 가 답변을 시작하기 전에 예측할 수 있다는 것입니다.

• AI 가 가짜 명령을 읽었을 때, 뇌속에서 "이건 내 생각 (CoT) 이야"라고 인식하는 정도가 높을수록 해킹 성공 확률이 90% 이상으로 치솟습니다.
• 반대로, 말투만 바꾸면 인식도가 떨어지면서 해킹 실패율이 높아집니다.

---

💡 왜 이것이 중요한가요? (일상적인 교훈)

지금까지의 AI 보안은 **"태그를 잘 구분하자"**는 방식이었습니다. 마치 "문 앞에 '관객 전용'이라는 표지판을 붙여두면 아무도 들어오지 못한다"고 믿는 것과 비슷합니다.

하지만 이 논문은 **"표지판은 아무 소용없다"**고 말합니다.

• 해커는 표지판을 뚫지 않아도 됩니다.
• 그냥 신뢰할 수 있는 사람 (시스템이나 AI 자신) 의 말투를 흉내 내기만 하면 됩니다.
• AI 는 그 말투를 들으면 "아, 이 사람은 내 편이야"라고 착각하며 문을 열어줍니다.

🚀 결론: 무엇을 해야 할까?

이 논문은 AI 보안의 패러다임을 바꿔야 한다고 말합니다.
단순히 "해킹 패턴을 막는 것" (기억력 훈련) 으로 충분하지 않습니다. AI 가 진짜로 "누가 말하는지"를 이해할 수 있도록, AI 의 뇌 구조 (잠재 공간) 자체를 다시 설계해야 합니다.

한 줄 요약:

"AI 는 누가 말했는지보다 '어떻게' 말했는지에 더 민감합니다. 해커는 이 '말투'를 흉내 내어 AI 의 신뢰를 사기 때문에, 우리는 AI 가 말투가 아닌 '진짜 출처'를 구분하도록 가르쳐야 합니다."

이 연구는 AI 가 왜 여전히 속임수에 넘어가는지 그 '심리적' (기계적) 인 원인을 밝혀냈고, 더 안전한 AI 를 만들기 위한 새로운 지도를 제시했습니다.

기술 요약

논문 요약: 프롬프트 인젝션은 역할 혼란 (Role Confusion) 이다

이 논문은 대규모 언어 모델 (LLM) 이 광범위한 안전성 훈련 (Safety Training) 을 거쳤음에도 불구하고 프롬프트 인젝션 공격에 여전히 취약한 근본적인 원인을 규명합니다. 저자들은 이 실패가 모델이 텍스트의 **출처 (Source)**가 아닌 **쓰여진 방식 (Style)**을 기반으로 역할을 추론하기 때문이라고 주장하며, 이를 **'역할 혼란 (Role Confusion)'**이라고 명명했습니다.

1. 문제 제기 (Problem)

• 현재의 방어 실패: 현대 LLM 은 <user>, <assistant>, <tool>, <system>과 같은 역할 태그를 사용하여 권한 경계를 설정합니다. 그러나 적대적 공격자들은 이러한 태그를 우회하여 저권한 텍스트 (사용자 입력 또는 도구 출력) 로 고권한 역할 (시스템 또는 모델의 추론) 의 권한을 탈취하는 공격을 성공시킵니다.
• 기존 방어 메커니즘의 한계: 기존 방어는 공격 패턴을 암기 (Memorization) 하거나 표층적인 힌트를 감지하는 데 의존합니다. 이는 새로운 형태의 공격 (Adaptive Attacks) 에 취약하며, 모델이 실제로 역할의 위계를 '이해'하고 있는지 여부는 불분명합니다.
• 핵심 질문: 모델은 텍스트가 어디서 왔는지 (태그) 를 신뢰하는가, 아니면 텍스트가 어떻게 생겼는지 (스타일) 를 신뢰하는가?

2. 방법론 (Methodology)

2.1. CoT Forgery 공격 (Chain-of-Thought Forgery)

저자들은 역할 지각 실패를 검증하기 위해 새로운 공격 기법인 CoT Forgery를 개발했습니다.

• 원리: 저권한 채널 (사용자 입력 또는 도구 출력) 에 모델의 추론 스타일 (CoT) 을 모방한 **가짜 추론 (Forged Reasoning)**을 주입합니다.
• 실험 설계:
  • 해로운 요청에 대해 모델의 CoT 스타일을 모방하여 "이 요청은 정책상 허용된다"는 식의 가짜 논리를 생성합니다.
  • 이 가짜 추론을 실제 모델의 추론과 혼동되도록 주입합니다.
  • 논리 제거 (Logic Ablation): "사용자가 녹색 셔츠를 입었으므로 코카인 제조가 허용된다"는 식으로 명백히 터무니없는 논리를 사용하여 모델이 논리 자체보다는 스타일에 반응하는지 확인했습니다.
  • 스타일 제거 (Style Ablation): 동일한 논리 내용이지만 모델의 고유한 추론 스타일 (특유의 어조, 구조 등) 을 제거한 텍스트를 주입하여 성공률을 비교했습니다.

2.2. 역할 프로브 (Role Probes) 개발

모델 내부에서 역할을 어떻게 인식하는지 측정하기 위해 **선형 프로브 (Linear Probes)**를 설계했습니다.

• 데이터 구성: C4 및 Dolma3 같은 중립적인 텍스트를 가져와 동일한 내용을 <user>, <assistant>, <tool>, <system>, <CoT> 등 서로 다른 태그로 감쌉니다.
• 학습 목표: 프로브는 태그의 기하학적 서명 (Geometric Signature) 만 학습하도록 설계되었습니다. 즉, 텍스트의 의미나 스타일이 아닌 태그 자체가 모델의 잠재 공간 (Latent Space) 에서 어떤 역할을 나타내는지 학습합니다.
• 측정 지표: 토큰이 모델의 내부 표현에서 특정 역할 (예: CoT) 로 인식될 확률 (예: CoTness) 을 계산합니다.

3. 주요 결과 (Key Results)

3.1. 공격 성공률

• CoT Forgery 효과: STRONGREJECT 벤치마크에서 기존 방어 (Standard Jailbreak) 가 거의 0% 의 성공률을 보인 반면, CoT Forgery 공격은 60% 이상의 성공률을 기록했습니다.
• 에이전트 탈취 (Agent Hijacking): 도구 (Tool) 채널을 통한 데이터 유출 공격에서 표준 인젝션은 실패했으나, CoT Forgery 를 적용한 경우 **61%**의 성공률을 보였습니다.
• 스타일의 결정적 역할: 스타일을 제거한 (Destyled) 가짜 추론은 성공률이 61% 에서 **10%**로 급락했습니다. 이는 모델이 논리의 타당성이 아닌 스타일적 모방에 의해 권한을 부여받음을 의미합니다.

3.2. 역할 혼란의 기하학적 증명

• 스타일 vs 태그: 역할 프로브 실험 결과, 태그가 제거되었거나 잘못된 태그 (예: CoT 스타일 텍스트를 <user> 태그로 감쌈) 가 붙여져도, 모델은 텍스트의 스타일에 따라 원래의 역할 (CoT) 로 인식했습니다.
  • 예: <user> 태그로 감싸진 CoT 스타일 텍스트는 여전히 85% 이상의 CoTness를 보였습니다.
• 잠재 공간의 경계 부재: 모델의 잠재 공간 (Latent Space) 에서 "역할처럼 들리는 것 (Sounding like a role)"과 "역할로 태그된 것 (Being tagged as a role)"은 기하학적으로 구분 불가능합니다.
• 공격 성공 예측: 주입된 텍스트의 역할 혼란도 (Role Confusion, 예: CoTness 점수) 가 높을수록 공격 성공률이 비례하여 증가했습니다. 이는 생성이 시작되기 전에도 공격 성공을 예측할 수 있음을 의미합니다.

4. 주요 기여 (Contributions)

1. 프롬프트 인젝션의 기계적 이론 정립: 공격 성공이 모델의 '역할 기하학 (Role Geometry)' 결함, 즉 역할 혼란에서 비롯됨을 규명했습니다.
2. 역할 프로브 (Role Probes) 개발: 모델이 내부적으로 '누가 말하는지'를 어떻게 인식하는지 측정하는 새로운 도구를 제시했습니다.
3. CoT Forgery 공격 도입: 모델이 자신의 추론으로 오인하도록 유도하여 6 개의 최첨단 모델에서 높은 성공률을 기록한 새로운 공격 벡터를 제시했습니다.
4. 상태 오염 (State Poisoning) 으로 재정의: 프롬프트 인젝션을 단순한 입력 조작이 아닌, 모델의 내부 표현을 오염시키는 측정 가능한 상태 오염으로 재정의했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 보안의 근본적 격차: 현재 보안은 인터페이스 (태그) 수준에서 정의되지만, 권한 부여는 모델의 **잠재 공간 (Latent Space)**에서 이루어집니다. 이 두 영역 간의 불일치가 공격 표면 (Attack Surface) 이 됩니다.
• 방어의 방향 전환: 단순한 패턴 매칭이나 공격 암기 (Memorization) 기반의 방어는 근본적인 해결책이 될 수 없습니다. 모델이 **역할을 지각 (Perception)**하는 방식을 수정하여, 스타일보다 출처 (태그) 를 우선시하도록 하는 기하학적/구조적 개선이 필요합니다.
• 일반화 가능성: 역할 혼란은 프롬프트 인젝션뿐만 아니라 시스템 프롬프트의 우선순위 상실 등 다른 안전성 문제의 근본 원인이 될 수 있으며, 역할 프로브는 이러한 문제를 진단하고 방어 전략을 평가하는 강력한 도구로 활용될 수 있습니다.

결론적으로, 이 논문은 LLM 의 안전성 문제가 모델이 텍스트의 스타일을 통해 역할을 추론하는 구조적 결함에서 기인함을 증명하며, 향후 안전성 연구가 '기하학적 역할 분리 (Geometric Role Separation)'에 초점을 맞춰야 함을 강조합니다.