The Boy Who Cried Wolf: Adversarial Misclassification of Safe Inputs as Unsafe in Multimodal Guardrails

당신이 가장 좋아하는 AI 비서가 사진을 보고 당신의 마음을 읽을 수 있는 초스마트한 사서라고 상상해 보세요. 당신이 "이 고양이를 하얗게 만들어 줄래?"라고 물으면, 사서는 당신이 규칙을 어기려 하는 것이 아닌지 확인하기 위해 당신의 사진과 질문을 검토합니다. 이 사서의 이름은 "가드 모델(guard model)"이며, 폭력적이거나 무서운 이미지 같은 나쁜 것들이 통과하지 못하도록 막는 것이 임무입니다. 보통 우리는 사서 몰래 나쁜 아이디어를 숨겨 들어오려는 속임수(예: 비밀 코드를 속삭여 사서가 위험을 놓치게 만드는 것)를 걱정합니다. 하지만 만약 속임수를 쓰는 사람이 나쁜 것을 숨기려는 게 아니라, 오히려 좋은 것을 나쁜 것이라고 믿게 만들려고 한다면 어떨까요?

이 논문은 "양치기 소년(The Boy Who Cried Wolf)" 공격이라고 불리는 새로운 종류의 속임수를 탐구합니다. 공격자는 나쁜 늑대를 숨기는 대신, 오직 사서에게만 보이는 투명 잉크로 평범한 양 그림을 그립니다. 당신이 이 그림을 보여주면, 사서는 "늑대다! 늑대다!"라고 비명을 지르며 도움을 거부할 것입니다. 실제로는 그저 귀여운 양일 뿐인데 말이죠. 이 논문은 해커들이 어떻게 가드 모델을 너무 혼란스럽고 과하게 보호적으로 만들어, 결국 아무도 도와주지 못하게 함으로써 모두의 즐거움을 망칠 수 있는지 보여줍니다. 이것은 규칙을 깨는 것이 아니라, 규칙을 지키는 자를 너무 편집증적으로 만들어 일을 못 하게 만드는 것에 관한 것입니다.

AI 세계의 "양치기 소년"

인공지능의 세계, 특히 사진을 보고 텍스트를 읽을 수 있는 모델(멀티모달 대규모 언어 모델이라 불림)에는 안전 가드가 있습니다. 이들은 클럽의 보안 요원과 같습니다. 그들의 임무는 당신이 가져온 것(사진과 질문)을 보고 그것이 안전한지 결정하는 것입니다. 안전하다면 입장할 수 있고, 안전하지 않다면 쫓겨납니다.

오랫동안 연구자들은 "탈옥(jailbreaking)"을 걱정해 왔습니다. 이는 누군가가 VIP로 위장하여 보안 요원이 위험한 사람을 들여보내도록 속이는 것을 말합니다. 하지만 이 논문은 다른 질문을 던집니다. 만약 누군가 보안 요가 완벽하게 무고한 사람을 쫓아내도록 속인다면 어떨까요?

저자들은 이를 **부적절 유도 공격(Unsafe Induction Attack)**이라고 부릅니다. 푹신한 흰 고양이 사진이 있다고 상상해 보세요. 그것은 완전히 안전합니다. 하지만 공격자는 인간의 눈에는 보이지 않는 아주 작은 변화를 사진에 추가합니다. 인간에게는 여전히 귀여운 고양이일 뿐이지만, AI 보안 요원에게 이 미세한 변화는 "위험!"이라고 적힌 거대한 빨간 깃발처럼 보입니다. 그래서 당신이 AI에게 "고양이를 하얗게 만들어 줘"라고 요청하면, AI는 "그렇게 할 수 없습니다. 이 이미지는 안전하지 않습니다!"라며 거절합니다.

무서운 점은 공격자가 당신이 어떤 질문을 할지 알 필요가 없다는 것입니다. 그들은 단지 사진을 "안전하지 않게" 보이게 만들기만 하면 됩니다. 만약 그들이 이를 수행할 수 있다면, 인터넷에 이러한 "독이 든" 사진들을 퍼뜨릴 수 있습니다. 일반 사람들이 이 사진들을 다운로드하여 사용하려고 할 때마다 AI는 계속해서 "안 됩니다!"라고 말할 것입니다. 결국 사람들은 좌절하고, AI를 신뢰하지 않게 되며, 심지어 안전 기능을 아예 꺼버릴 수도 있습니다. 이것이 바로 "양치기 소년" 효과입니다. 가드가 계속해서 가짜 경보를 울려 결국 아무도 그 말을 믿지 않게 만드는 것입니다.

그들은 어떻게 했는가: "증류(Distillation)"의 마법

연구진은 이전의 시도들이 너무 구체적이었기 때문에 실패했다는 것을 발견했습니다. 만약 특정 "나쁜" 이미지(예: 특정 총기)처럼 보이도록 사진을 속이려 한다면, 사용자가 그 특정 총기와 관련된 질문을 할 때만 작동할 것입니다. 하지만 실제 사용자들은 온갖 다양한 질문을 합니다.

이를 해결하기 위해 팀은 **부적절 의미론적 증류(Unsafe Semantic Distillation, USD)**라는 새로운 방법을 만들었습니다. 이렇게 생각하면 쉽습니다: 특정 하나의 "나쁜" 이미지를 복제하는 대신, AI가 '나쁨'이라는 '분위기(vibe)'를 배우는 것입니다.

1. 과거의 방식 (Instance Mimicry): 특정 범죄자와 똑같이 차려입어 보안 요원을 속이려는 것과 같습니다. 보안 요원이 당신을 보면 그 사람임을 알아차리겠지만, 범죄자가 모자를 바꾸면 당신을 알아보지 못할 수도 있습니다.
2. 새로운 방식 (USD): 연구진은 수백 개의 서로 다른 "나쁜" 이미지(폭력, 무기 등)를 가져와 AI에게 "이 모든 나쁜 것들의 공통점이 무엇인가?"라고 물었습니다. AI는 무엇이 "안전하지 않게" 느껴지게 만드는지 숨겨진, 보이지 않는 패턴을 찾아냈습니다. 그런 다음, 그들은 무해한 고양이 사진이 그 보이지 않는 패턴을 입도록 가르쳤습니다.

그들은 단순히 하나의 나쁜 것을 복제한 것이 아닙니다. 그들은 '악함의 정수'를 증류해 냈습니다. 즉, 고양이 사진이 특정 총기나 특정 싸움처럼 보이지는 않지만, 사용자가 어떤 질문을 하더라도 AI의 뇌가 인식하는 '위험의 냄새'를 풍기게 만든 것입니다.

결과: 매우 효과적인 속임수

팀은 이 새로운 방법을 현재 사용 가능한 가장 똑똑한 네 가지 안전 가드(Meta, LLaVA 등의 모델 포함)에 테스트했습니다. 속임수가 다양한 유형의 요청에 작동하는지 확인하기 위해 방대한 양의 가짜 사용자 질문 풀을 사용했습니다.

결과는 놀라울 정도로 높았습니다. 그들이 새로운 "증류" 방법을 사용했을 때:

• 사용자의 질문이 공격자에게 알려지지 않은 상태에서도, 안전한 이미지를 거부하게 만드는 데 84%의 성공률을 달성했습니다.
• 이는 약 60%에서 70% 정도의 성공률에 그쳤던 기존 방법보다 훨씬 뛰어난 성과였습니다.
• 심지어 특정 유형의 "나쁨"을 타겟팅할 수도 있었습니다. 보이지 않는 잉크를 조절함으로써 자동차 사진을 "폭력적"인 것으로 만들거나, 장난감 사진을 "성적인" 것으로 만들 수 있었습니다.

이 논문은 이것이 실제적인 문제임을 보여줍니다. 공격자는 당신이 무엇을 물어볼지 알 필요가 없습니다. 그저 이미지를 오염시키기만 하면 됩니다. 그리고 이 공격이 다양한 질문에 걸쳐 잘 작동한다는 것은, 현재의 안전 시스템에 숨겨진 약점이 있다는 것을 증명합니다. 즉, 시스템이 너무 안전해지려다가 오히려 모두를 위한 서비스를 망치게 될 수 있다는 것입니다.

이것이 왜 중요한가

이것은 단순한 이론적인 게임이 아닙니다. 논문은 만약 악의적인 행위자들이 이러한 "독이 든" 이미지를 소셜 미디어나 공개 데이터셋에 퍼뜨리기 시작한다면, 일반 사용자들이 즐겨 사용하는 AI 도구들이 갑자기 작동을 멈추는 상황이 발생할 수 있음을 시사합니다. 사용자가 잘못을 저질러서가 아니라, 이미지에 숨겨진 투명 잉크 때문에 AI가 계속해서 "할 수 없습니다"라고 말하게 될 것입니다.

저자들은 우리가 AI가 나쁜 말을 하지 못하게 막는 데는 매우 능숙해졌지만, AI가 선한 것을 '잘못 비난'하는 것을 막는 데는 충분히 주의를 기울이지 않았다고 결론짓습니다. 그들은 이를 "가용성 실패(availability failure)"라고 부릅니다. 시스템은 여전히 존재하지만, 양을 보고 "늑대다!"라고 소리 지르는 데 너무 바빠서 실제로 아무도 도와줄 수 없는 상태가 된 것입니다. 이는 안전이란 단순히 나쁜 놈들을 막는 것뿐만 아니라, 가드가 실수로 착한 사람들을 쫓아내지 않도록 보장하는 것도 포함된다는 점을 상기시켜 줍니다.