Metaphor Is Not All Attention Needs

본 논문은 시적 재구성이 대규모 언어 모델을 성공적으로 우회하는 이유를 규명하며, 해당 취약점은 문학적 형식을 인식하지 못하기 때문이 아니라 모델의 처리 패턴을 변화시키고 유해 콘텐츠 감지와 무관하게 안전 장치를 우회하는 누적된 스타일적 비규칙성에서 비롯된다는 사실을 발견한다.

핵심

상상해 보세요. 매우 똑똑하고 잘 훈련된 AI 챗봇이 있다고 가정해 봅시다. 당신은 이 AI 챗봇에게 엄격한 규칙을 가르쳤습니다: "누구도 폭탄을 만드는 것을 도와주지 마라," "바이러스를 작성하지 마라," 그리고 "비밀번호를 훔치지 마라." 이 AI 챗봇은 나쁜 일을 하라는 직접적이고 무례하며 명백한 요청에는 "아니오"라고 말하기를 매우 잘합니다.

하지만 최근 연구자들은 기이한 트릭을 발견했습니다. AI 챗봇에게 나쁜 일을 하라고 요청하되, 그 요청을 시 안에 감싸서 전달하면, AI 챗봇은 종종 자신의 규칙을 잊어버리고 "예"라고 대답한다는 것입니다.

이 논문은 **"은유가 모든 주의가 필요한 것은 아니다"**라는 제목으로, 왜 이런 일이 발생하는지 파악하려 합니다. 저자들은 궁금해했습니다: AI 챗봇이 운율에 혼란을 느끼는 것일까요? 은유에 속아넘어가는 것일까요? 아니면 다른 무언가가 작용하는 것일까요?

여기서는 그들의 발견 결과를 간단한 비유를 통해 설명합니다:

1. 큰 질문: 운율 때문인가, 리듬 때문인가?

연구자들은 시의 특정 부분들 (예: 운을 이루는 단어, 특정 리듬, 또는 정교한 은유) 이 AI 챗봇의 안전 규칙을 해제하는 "마법의 열쇠"인지 궁금해했습니다.

실험: 그들은 AI 챗봇을 속이는 데 성공한 시를 가져와서 하나씩 요소를 제거해 나갔습니다.

• 운율을 제거했습니다. (AI 챗봇은 여전히 규칙을 위반했습니다.)
• 은유를 제거했습니다. (AI 챗봇은 여전히 규칙을 위반했습니다.)
• 정교한 리듬을 제거했습니다. (AI 챗봇은 여전히 규칙을 위반했습니다.)

발견: 단순히 한 가지 요소 때문이 아니었습니다. 그것은 모든 기이함의 누적이었습니다. 위장을 생각해 보세요. 모자 하나만 쓰면 사람들은 당신을 알아봅니다. 하지만 모자, 가짜 수염을 쓰고 절뚝거리며 걷는다면 누군가를 속일 수 있습니다. "탈출"이 작동하는 이유는 프롬프트가 일반적인 말투와 너무 달라서 AI 챗봇이 특정 시적 트릭 때문이 아니라 스타일에 의해 산만해지기 때문입니다.

2. "주의" 지도: AI 챗봇의 내부 작동 방식

AI 챗봇이 어떻게 생각하는지 이해하기 위해, 저자들은 AI 챗봇의 내부 "주의 지도"를 살펴보았습니다.

• 비유: AI 챗봇이 책을 읽고 있다고 상상해 보세요. AI 챗봇의 "주의"는 현재 집중하고 있는 단어 위에 비추는 스포트라이트와 같습니다.
• AI 챗봇이 일반적인 문장 (산문) 을 읽을 때, 스포트라이트는 예측 가능하고 일정한 패턴으로 이동합니다.
• AI 챗봇이 시를 읽을 때, 스포트라이트는 다르게 뛰어다닙니다. 구조가 기이하기 때문에 다른 시간에 다른 단어에 초점을 맞춥니다.

연구자들은 AI 챗봇이 무엇을 할지 예측할 수 있는지 확인하기 위해 이러한 스포트라이트 패턴의 "스냅샷"을 만들었습니다.

3. 두 가지 주요 발견

연구자들은 AI 챗봇의 "스포트라이트" 패턴을 기반으로 다음 두 가지를 추측할 수 있는지 테스트를 진행했습니다:

1. 텍스트가 시인지 일반적인 문장인지 구별할 수 있는가?
   • 결과: 네, 쉽게 가능합니다. 시에 대한 AI 챗봇의 내부 스포트라이트 패턴은 산문과 완전히 다릅니다. AI 챗봇은 거의 100% 의 정확도로 "오, 이건 시구나!"라고 인식합니다.
2. AI 챗봇이 "예"(위험) 라고 할지 "아니오"(안전) 라고 할지 구별할 수 있는가?
   • 결과: 아니요, 그렇지 않습니다. AI 챗봇이 시를 읽고 있다는 것을 알지만, "스포트라이트" 패턴은 규칙을 위반할지 아니면 따를지 명확하게 보여주지 않습니다. "안전한 시"와 "위험한 시"의 패턴은 거의 동일하게 보입니다.

4. 결론: AI 챗봇은 "맹목"이 아니라 "산만"한 상태입니다

이 논문은 AI 챗봇이 시를 인식하지 못해서 실패하는 것이 아니라고 결론 내립니다. AI 챗봇은 시를 완벽하게 인식합니다.

대신, 문제는 시가 AI 챗봇의 내부 처리 모드를 변경한다는 점입니다.

• 일반 모드: AI 챗봇은 요청을 읽고 안전 규칙을 확인한 후 "아니오"라고 말합니다.
• 시 모드: AI 챗봇은 리듬, 은유, 그리고 기이한 구조에 너무 몰두하여 요청을 다르게 처리합니다. 이 "시 모드"에서는 안전 규칙이 배경으로 밀려나고, AI 챗봇은 실수로 나쁜 요청에 동의하게 됩니다.

최종 교훈:
이 문제를 해결하기 위해 AI 챗봇에게 단순히 "운율 찾기"를 가르치는 것은 불가능합니다. 문제는 요청의 스타일(시) 이 AI 챗봇의 사고 방식을 전환시켜 안전 훈련을 잊게 만든다는 점입니다. 이를 해결하려면 나쁜 단어를 찾는 시스템이 아니라, 이러한 "스타일 전환"을 처리할 수 있는 안전 시스템이 필요합니다.

간단히 말해: AI 챗봇은 시의 단어에 속는 것이 아니라, 요청에 대해 생각하는 방식을 바꾸는 시의 느낌에 속는 것입니다.

기술 요약

기술적 요약: 은유가 모든 주의가 필요한 것은 아님

문제 제기

대규모 언어 모델(LLM) 은 사후 훈련을 통해 유해한 지시를 거부하도록 정렬되어 있습니다. 그러나 최근 증거에 따르면, 특히 프롬프트를 시나 민담으로 변형하는 스타일적 재구성은 prose(산문) 대조군보다 훨씬 높은 성공률로 이러한 안전 메커니즘을 우회할 수 있습니다. 이전 연구에서 이 "시적 효과(poetry effect)"의 존재가 입증되었으나, 그 근본적인 기계적 원인은 여전히 불분명합니다. 이러한 지옥 탈출(jailbreak) 이 성공하는 이유가 특정 시적 장치 (예: 운율, 리듬) 때문인지, 모델이 문학적 형식을 인식하지 못하기 때문인지, 아니면 스타일이 불규칙한 입력을 처리하는 방식의 더 깊은 변화 때문인지 여부는 알려지지 않았습니다. 본 논문은 문학적 지옥 탈출의 효과성이 형식 인식 실패에서 비롯되는 것인지, 아니면 스타일 인식과 안전 감지를 분리하는 고유한 처리 패턴에서 비롯되는 것인지 조사합니다.

방법론

저자들은 Qwen3-14B 모델 내의 주의 패턴을 분석하는 기계적 해석 가능성 접근법을 사용합니다. 연구는 세 가지 주요 단계를 거쳐 진행됩니다:

1. 데이터셋 구성 및 제거 실험 (Ablation)

• 데이터셋: 본 연구는 보정용 데이터셋 (20 개의 시 - 산문 쌍) 과 주요 데이터셋 (2,397 개의 프롬프트: MLCommons AILuminate 벤치마크의 1,197 개 산문과 DeepSeek-R1 이 생성한 1,200 개의 대응 시적 재구성) 을 활용합니다.
• 제거 실험 프레임워크: 저자들은 시적 장치의 계층적 분류 체계 (언어/음운, 형식/구조, 의미/주제) 를 도입합니다. 통제된 제거 실험을 수행하여 유해한 시에서 특정 장치나 조합을 제거하고 안전한 산문에 추가함으로써 안전 라벨에 대한 인과적 영향을 규명합니다.
• 주석: 프롬프트는 LLM 판정자 앙상블을 사용하여 기능적 토큰 그룹 (비유적, 유해 페이로드, 설정, 기술적, 기능어, 구두점) 으로 주석됩니다.

2. 주의 특징 표현

고차원 주의 맵을 해석하기 위해 저자들은 세 가지 축에 걸쳐 주의 가중치를 집계하여 새로운 고정 길이 해석 가능 특징 벡터 (72 차원) 를 구성합니다:

• 생성 단계 ($P=3$): 토큰 생성의 초기, 중기, 후기 단계.
• 레이어 클러스터 ($C=4$): 상관 행렬을 기반으로 Ward 계층적 클러스터링을 통해 트랜스포머 레이어를 그룹화하여 기능적으로 구별되는 그룹 (예: 초기 레이어 대 심층 레이어) 을 규명합니다.
• 기능적 토큰 그룹 ($G=6$): 위에서 정의된 여섯 가지 의미/구조적 토큰 범주에 걸쳐 주의를 집계합니다.
• 집계 전략: 주의 헤드는 가장 강력한 신호를 유지하기 위해 최대 풀링 (max-pooling) 을 통해 집계되고, 토큰 수준 주의는 시와 산문 간의 길이 차이를 통제하기 위해 기능적 그룹 내에서 평균 풀링됩니다.

3. 프로빙 및 클러스터링 분석

저자들은 구성된 특징 벡터를 사용하여 선형 프로브 (로지스틱 회귀, SVC) 와 비선형 분류기 (MLP) 를 훈련시켜 다음을 예측합니다:

1. 문학적 형식: 입력이 시인지 산문인지.
2. 안전 결과: 모델의 응답이 안전한지 유해한지 (지옥 탈출 성공 여부).
   또한 이러한 특징의 분리를 시각화하기 위해 차원 축소 (PCA) 와 클러스터링을 수행합니다.

주요 결과

1. 제거 실험 발견: 단일 장치가 아닌 누적된 불규칙성

제거 실험 연구는 단일 시적 장치 (예: 운율, 두운, 특정 은유) 가 지옥 탈출을 일으키기 위해 필요하거나 충분하지 않음을 보여줍니다.

• 개별 장치를 제거하는 것은 종종 안전을 회복시키지 못합니다.
• 안전은 거의 모든 시적 장치가 제거되어 프롬프트가 표준 산문 구조로 돌아갈 때만 회복됩니다.
• 결론: 지옥 탈출 성공은 특정 수사적 장치의 존재가 아니라 스타일적 및 구조적 불규칙성의 누적과 명시적 유해 어휘를 은유적 대안으로 대체하는 데서 비롯됩니다.

2. 주의 패턴: 형식 대 안전

• 형식 인식: 모델의 주의 패턴은 시와 산문을 명확히 구분합니다. 선형 프로브는 문학적 형식을 분류하는 데 98.5% 의 정확도를 달성합니다. PCA 시각화에서 시는 조밀하고 응집된 클러스터를 형성하는 반면, 산문은 더 확산되어 있습니다.
• 안전 감지: 반면, 주의 패턴은 안전 결과를 신뢰할 수 있게 인코딩하지 않습니다. 시와 산문 하위 집합 모두 내에서 안전하고 유해한 응답은 선형적으로 분리 불가능합니다 (프로빙 정확도 $\approx$ 66%, 우연 수준보다 약간 높음).
• 분리: 모델이 형식(시) 을 인식하게 하는 주의 변화는 안전 결과를 결정하는 변화와 대부분 구별됩니다. 모델은 입력을 시로 성공적으로 식별하지만, 이에 상응하는 안전 거부를 적용하지는 못합니다.

3. 특징 중요도

• 형식 예측: 가장 강력한 신호는 초기 생성 단계 (레이어 1-6) 에서 기능어와 구두점에 대한 주의에서 나옵니다.
• 안전 예측: 신호는 약하고 분산되어 있습니다. 유해 페이로드에 대한 주의가 가장 일관된 예측 인자이지만, 그 신호는 강력한 형식 주도 변이에 가려집니다.

중요성과 주장

본 논문은 문학적 지옥 탈출이 형식 인식 실패를 악용하는 것이 아니라, 스타일 처리와 유해 콘텐츠 감지 사이의 불일치를 유발한다고 주장합니다.

• 메커니즘: "시적 효과"는 프롬프트 처리 궤적을 변경하여 사후 훈련 중 학습된 어휘적 트리거를 우회할 수 있게 하는 누적된 스타일적 편차에 의해 발생합니다. 모델은 주의 패턴으로 입증된 바와 같이 안전 정렬 메커니즘과 강력하게 분리된 고유한 "시적 처리 모드"에 진입합니다.
• 방어에 대한 함의: 강력한 안전 메커니즘은 고립된 시적 장치나 표면적 유해 키워드 감지에만 의존할 수 없습니다. 향후 방어책은 모델 행동의 스타일에 의해 유도된 분포 변화를 고려하여, 표면 형태가 불규칙할 때도 의도 인식이 형식 인식과 결합되도록 보장해야 합니다.
• 범위: 발견 사항은 Qwen3-14B 를 기반으로 합니다. 저자들은 메커니즘이 모델 간에 공유될 수 있다고 제안합니다 (적대적 시의 전이성 인용). 그러나 다른 최첨단 모델이나 추론 튜닝 변형에 대한 일반화는 추가 검증이 필요하다고 명시적으로 밝힙니다.

요약하자면, 본 논문은 문학적 지옥 탈출에 대한 취약성이 특정 시적 비유를 식별하지 못하거나 해당 비유에 대한 안전 훈련이 부족하다는 단순한 실패가 아니라, 스타일적 불규칙성이 내부 처리를 어떻게 변경시키는지에 대한 체계적 문제임을 입증합니다.