Are LLMs Safe Beyond Text: Do Emojis Expose Gaps in Safety Evaluation

급격히 진화하는 인공지능의 세계에서, 대규모 언어 모델이라 불리는 컴퓨터 프로그램은 글쓰기, 추론, 질문 답변을 위한 강력한 도구가 되었습니다. 이 시스템들은 인터넷의 방대한 텍ط스트를 학습하여 문장에서 다음에 올 단어가 무엇인지 예측하는 법을 배웁니다. 이들이 매우 유능하기 때문에, 개발자들은 이들이 해로운 지침, 폭력적인 콘텐츠 또는 위험한 조언을 생성하는 것을 거부하도록 하여 안전성을 확보하는 데 상당한 노력을 기울입니다. 이러한 안전성을 테스트하기 위해, 연구자들은 일반적으로 교묘한 텍스트 프롬프트를 사용하여 모델을 속이고 다양한 방식으로 규칙을 우회하도록 시도합니다. 그러나 인간의 의사소통은 결코 단순한 텍스트에 그치지 않습니다. 우리는 의미, 감정, 맥락을 전달하기 위해 종종 그림, 기호, 이모지를 사용합니다. 이 작은 아이콘들은 현대 대화의 표준이지만, AI 모델을 보호하는 안전 시스템이 텍스트뿐만 아니라 이러한 시각적 기호가 포함된 입력에 대해서도 동일하게 효과적인지는 여전히 의문으로 남아 있습니다.

최근 한 독립 연구자에 의해 수행된 연구는 정확히 이 간극을 조사하기 위해 시작되었습니다. 연구자는 표준 텍스트에 거의 전적으로 집중함으로써 이 모델들을 보호하기 위해 사용되는 안전 평가가 퍼즐의 중요한 조각을 놓치고 있는 것이 아닌지 궁금해했습니다. 이를 알아내기 위해, 연구자는 누구나 접근하여 연구할 수 있는 기술의 버전인 네 가지 서로 다른 오픈 소스 언어 모델을 사용하는 실험을 설계했습니다. 연구자는 폭력이나 위험한 행위에 대한 지침과 같이 제한되거나 해로운 콘텐츠를 요청하도록 설계된 50개의 특정 프로프트를 만들었습니다. 이 프롬프트들은 오직 단어만을 사용하는 대신 이모지를 포함하도록 수정되었습니다. 이 접근 방식에는 두 가지 주요 전략이 포함되었습니다. 하나는 텍스트를 방해하기 위해 문장 속에 이모지를 직접 혼합하는 방식이었고, 다른 하나는 해로운 의도를 명확하게 진술하지 않고도 암시적으로 제안하기 위해 일련의 이모지 시퀀스를 사용하는 방식이었습니다.

이 실험의 결과는 모델들이 모두 동일하게 반응하지 않는다는 것을 보여주었습니다. 이러한 이모지 증강 요청에 직면했을 때, 모델들은 광범위한 행동 양상을 보였습니다. 테스트된 모델 중 하나인 Qwen 2 7B는 이모지의 사용 여부와 관계없이 해로운 콘텐츠 생성을 거부하며 완전히 저항력을 증명했습니다. 또 다른 모델인 Llama 3 8B는 적은 수의 사례에서 해로운 요청을 차단하는 데 실패했습니다. 나머지 두 모델인 Gemma 2 9B와 Mistral 7B는 덜 견고하여, 시도의 10%에서 해로운 콘텐츠 생성을 허용했습니다. 이러한 차이는 모델이 안전을 유지하는 능력이 고정된 특성이 아니라 입력이 어떻게 제시되는지에 크게 의존한다는 것을 시사합니다. 또한 본 연구는 모델이 해로운 콘텐츠를 생성하지 않았을 때조차, 종종 모호하거나 부분적으로만 도움이 되는 방식으로 응답했다는 점을 발견했는데, 이는 이모지가 명확한 거부보다는 혼란을 야기했음을 나타냅니다.

연구자는 모델 간의 차이가 단순히 무작위적인 우연이 아님을 확인하기 위해 통계적 방법을 사용하여 이러한 결과를 분석했습니다. 데이터는 명확한 패턴을 보여주었습니다. 모델이 요청을 처리하는 방식은 질문의 형식에 따라 달라집니다. 입력에 이모지가 포함되었을 때, 모델들은 표준 텍스트를 사용할 때와 다르게 행동했습니다. 어떤 모델들은 이모지 시퀀스를 위험한 요청이 아닌 불분명하거나 불완전한 요청으로 해석했고, 다른 모델들은 안전 규칙을 완전히 무시하도록 속았습니다. 이는 현재 AI 안전 테스트에 사용되는 방법들이 거의 전적으로 텍스트 기반 질문에 의존하고 있어, 이러한 시스템을 속일 수 있는 다양한 방식들을 포착하지 못할 수도 있음을 시사합니다. 만약 안전 평가가 이모지와 같은 비텍스트 기호가 요청의 의미를 어떻게 변화시키는지 고려하지 않는다면, 모델이 얼마나 잘 보호되고 있는지에 대해 잘못된 안전감을 줄 수 있습니다.

궁극적으로, 이 작업은 인공지능을 테스트하는 방식의 구체적인 취약성을 강조합니다. 이 연구는 이모지가 모든 AI 안전을 깨뜨리는 마법의 열쇠라고 주장하거나, 이 모델들이 근본적으로 고장 났다고 제안하는 것이 아닙니다. 대신, 안전은 입력의 형태에 민감하다는 점을 지적합니다. 마치 자물쇠가 표준 열쇠에는 완벽하게 작동하지만 약간 다른 모양의 열쇠에는 실패할 수 있는 것처럼, 이 모델들은 의미를 담고 있지만 단어와는 다르게 보이는 기호가 입력될 때 사각지대를 갖는 것으로 보입니다. 이 연구 결과는 인간의 의사소통이 새로운 기호와 형식으로 계속 진화함에 따라, AI 안전을 보장하기 위해 우리가 사용하는 방법 또한 효과를 유지하기 위해 함께 진화해야 한다는 점을 상기시켜 줍니다.