Efficient Refusal Ablation in LLM through Optimal Transport

이 논문은 최적 수송 이론을 활용하여 해로운 요청에 대한 거절 행동을 단일 방향 제거가 아닌 전체 분포 변환으로 제거함으로써 기존 방법보다 공격 성공률을 높이고 모델의 본질적 능력을 보존하는 효율적인 LLM 거절 제거 프레임워크를 제안합니다.

핵심

이 논문은 **"거대한 AI(대규모 언어 모델) 가 왜 나쁜 일을 하지 않겠다고 거절하는지, 그리고 그 거절 장치를 어떻게 우회할 수 있는지"**에 대한 새로운 발견을 담고 있습니다.

기존의 방법들은 AI 의 거절 장치를 '한 가지 방향'으로만 보고 밀어내려 했지만, 이 연구는 **"AI 의 생각 자체가 가진 '모양'과 '분포'를 통째로 바꿔치기"**하는 더 정교한 방법을 제시합니다.

이해하기 쉽게 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. 문제: AI 는 왜 "안 됩니다"라고 거절할까?

AI 는 훈련을 통해 "나쁜 질문"을 받으면 특정 방식으로 반응하도록 학습됩니다.

• 기존의 생각 (RFA 방법): 연구자들은 AI 의 뇌속에서 "나쁜 질문"과 "좋은 질문"을 구분하는 **단 하나의 선 (방향)**이 있다고 믿었습니다. 마치 나쁜 질문을 받으면 AI 의 뇌속에서 "거절 화살"이 튀어오르는 것처럼요. 그래서 기존 연구자들은 이 화살을 옆으로 밀어내거나 (수직 투영) 없애버리면 AI 가 나쁜 일을 할 수 있다고 생각했습니다.
  • 비유: AI 가 "안 돼!"라고 외치는 소리가 특정 방향에서 들린다고 가정하고, 그 소리를 막기 위해 귀를 막는 것과 비슷합니다.

2. 새로운 발견: 거절은 '선'이 아니라 '구름'이다

이 연구팀은 AI 의 내부 작동 방식을 더 자세히 관찰한 결과, 거절은 단순한 '선'이 아니라 나쁜 질문과 좋은 질문의 '생각 구름 (데이터 분포)' 모양이 다르기 때문임을 발견했습니다.

• 새로운 접근 (최적 수송, Optimal Transport): 나쁜 질문을 받은 AI 의 '생각 구름'을, 좋은 질문을 받은 AI 의 '생각 구름' 모양과 완전히 똑같이 변형시켜버리는 것입니다.
  • 비유:
    • 기존 방법: 나쁜 구름 (나쁜 질문) 에서 '나쁜 냄새'만 맡아내고, 그 냄새를 제거하는 방식입니다. 하지만 구름의 모양은 여전히 나쁩니다.
    • 이 연구의 방법: 나쁜 구름을 마법처럼 변형시켜, 좋은 구름과 완전히 똑같은 모양과 크기로 만들어버립니다. AI 는 "어? 이 구름은 좋은 구름이네?"라고 착각하고 나쁜 일을 해주는 것입니다.
    • 이를 수학적으로 **'최적 수송 (Optimal Transport)'**이라고 부르는데, 쉽게 말해 "한 구름을 최소한의 노력으로 다른 구름 모양으로 완벽하게 옮기는 기술"입니다.

3. 놀라운 사실: 모든 층을 건드릴 필요 없다!

가장 흥미로운 점은 AI 의 두뇌 구조를 분석한 결과, 거절 장치는 AI 의 전체 두뇌에 퍼져있는 것이 아니라, 특정 층 (중간 깊이) 에 집중되어 있다는 것입니다.

• 층 선택적 개입: AI 는 여러 겹의 레이어로 되어 있는데, 이 연구팀은 **전체 레이어의 4060% 지점 (중간쯤)**에 있는 **12 개의 층**만 살짝 건드려도 AI 가 완전히 뚫린다는 것을 발견했습니다.
  • 비유: 거대한 성벽을 무너뜨리려면 성벽 전체를 부수지 않아도 됩니다. 성벽의 약한 문 (중간 층) 하나만 정확히 열면 성 안으로 들어갈 수 있다는 뜻입니다.
  • 만약 너무 깊은 층 (성벽의 가장 안쪽) 을 건드리면, AI 는 나쁜 일을 하기는 하지만 말이 꼬이거나 "네네네네네"만 반복하는 엉망진창 상태가 됩니다.

---

요약: 이 연구가 왜 중요한가?

1. 더 강력한 해킹: 기존 방법보다 훨씬 더 효과적으로 AI 의 안전 장치를 무력화할 수 있습니다 (공격 성공률이 11% 더 높음).
2. AI 의 비밀 공개: AI 가 안전을 지키는 방식이 생각보다 훨씬 복잡하고, 단순히 '한 방향'을 막는 것만으로는 충분하지 않다는 것을 보여줍니다.
3. 더 안전한 AI 만들기: 이 연구는 AI 개발자들에게 "우리의 안전 장치는 이렇게 뚫릴 수 있으니, 더 튼튼하게 만들어야 한다"는 경고와 지도를 제공합니다. 마치 도둑이 어떻게 집 안으로 들어오는지 알려주어, 집주인이 더 튼튼한 자물쇠를 달게 하는 것과 같습니다.

결론적으로, 이 논문은 AI 의 거절 장치가 단순한 '방해 벽'이 아니라, 복잡한 '생각의 모양'임을 발견했고, 그 모양을 수학적으로 완벽하게 바꿔치기하면 AI 를 속일 수 있음을 증명했습니다. 이는 AI 의 안전성을 높이기 위한 중요한 경고이자 통찰입니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 인간 피드백을 통한 강화 학습 (RLHF) 등을 통해 안전 정렬 (Safety Alignment) 을 거치며, 유해한 요청에 대해 학습된 '거부 (Refusal)' 행동을 내부 표현 (Internal Representations) 에 인코딩합니다. 최근의 '재일브레이킹 (Jailbreaking)' 공격들은 이러한 안전 메커니즘을 우회하려는 시도입니다.

기존의 대표적인 표현 수준 공격인 거부 특징 제거 (Refusal Feature Ablation, RFA) 는 유해한 프롬프트와 무해한 프롬프트의 활성화 평균 차이 (Difference-in-Means) 를 계산하여 하나의 '거부 방향 (Refusal Direction)'을 식별한 후, 이 방향에 수직인 투영 (Orthogonal Projection) 을 적용하여 해당 성분을 제거하는 방식을 사용합니다.

기존 방법의 한계:

• 1 차원적 가정: 거부 행동을 활성화 공간 내의 단일 방향 (1D) 으로만 간주합니다.
• 분포 구조 무시: 활성화의 분산 (Variance) 과 공분산 (Covariance) 같은 고차원적인 기하학적 구조와 분포의 풍부함을 고려하지 않습니다.
• 비효율성: 네트워크의 모든 레이어에 개입을 적용해야 효과를 보며, 이는 계산 비용과 모델 성능 저하를 초래할 수 있습니다.

2. 제안 방법론 (Methodology)

저자들은 거부 기능을 제거하는 문제를 단순한 방향 제거가 아닌, 유해한 활성화 분포 ($\mu$) 를 무해한 활성화 분포 ($\nu$) 로 변환하는 분포 매칭 (Distribution Matching) 문제로 재정의하고, 이를 해결하기 위해 최적 수송 (Optimal Transport, OT) 이론을 도입했습니다.

핵심 기술 요소:

1. 가우시안 최적 수송 (Gaussian Optimal Transport):

   • 유해한 분포와 무해한 분포가 가우시안 분포를 따른다고 가정합니다.
   • 두 분포 사이의 최소 비용 매핑 (Affine Transformation) 을 폐쇄형 (Closed-form) 해로 구합니다. 이는 단순히 평균을 이동시키는 것뿐만 아니라 공분산 구조 (Covariance Structure) 까지 변환하여 분포 전체를 무해한 분포와 일치시킵니다.
   • 변환식: $T(x) = Ax + b$(여기서$A$는 공분산 변환 행렬,$b$는 평균 이동 벡터).

2. PCA 기반 차원 축소 (PCA-Regularized Transport):

   • LLM 의 활성화 차원 (수천 차) 이 샘플 수 (수백 개) 보다 훨씬 크기 때문에 공분산 추정치가 불안정하고 계산 비용이 높습니다.
   • 이를 해결하기 위해 주성분 분석 (PCA) 을 적용하여 저차원 부분 공간 ($k \ll d$) 으로 차원을 축소합니다.
   • 축소된 공간에서 가우시안 OT 를 계산한 후, 원래 공간으로 다시 리프트 (Lift) 하여 적용합니다. 이는 계산 효율성을 유지하면서도 분포의 핵심 기하학적 구조를 보존합니다.

3. 레이어 선택적 개입 (Layer-Selective Intervention):

   • 기존 RFA 는 모든 레이어에 개입하지만, 저자들은 실험을 통해 네트워크 깊이의 4060% 사이 (중간 레이어) 에 위치한 12 개의 레이어에만 OT 를 적용하는 것이 가장 효과적임을 발견했습니다.
   • 이는 거부 메커니즘이 분산되어 있는 것이 아니라 특정 깊이에 국소화 (Localized) 되어 있을 가능성을 시사합니다.

3. 주요 기여 (Key Contributions)

1. 최적 수송 기반 재일브레이킹: 표현 수준 재일브레이킹에 가우시안 OT 를 처음 적용하여, 단순 방향 제거보다 분포 매칭이 훨씬 효과적임을 증명했습니다.
2. PCA-OT 프레임워크: 고차원 공간에서의 계산 복잡도와 과적합 문제를 해결하기 위해 PCA 와 OT 를 결합한 효율적인 알고리즘을 제안했습니다.
3. 레이어 국소화 발견: 안전 거부 메커니즘이 네트워크 전체에 퍼져 있는 것이 아니라, 특정 중간 레이어 (40-60% 깊이) 에 집중되어 있음을 실험적으로 규명했습니다. 이는 전체 네트워크 개입보다 선택적 개입이 더 높은 공격 성공률과 텍스트 품질을 보장함을 의미합니다.
4. 광범위한 실험 검증: Llama-2, Llama-3.1, Qwen-2.5 등 3 개의 계열, 7B~32B 파라미터 규모의 6 개 모델에서 검증되었습니다.

4. 실험 결과 (Results)

• 공격 성공률 (ASR): 제안된 방법 (PCA-OT) 은 기존 최첨단 방법 (RFA, AcT) 보다 최대 11% 높은 공격 성공률을 기록했습니다.
  • 예: Llama-2-13B 에서 RFA 대비 83.81% (RFA 는 46.49%), Qwen2.5-32B 에서 RFA 대비 75.94% (RFA 는 57.55%).
• 모델 품질 유지 (Perplexity): 공격 성공률을 높임에도 불구하고, 생성된 텍스트의 자연스러움 (Perplexity) 은 기존 모델과 유사하거나 RFA 보다 더 잘 유지되었습니다. 특히 단일 레이어 개입 (PCA-OT1) 은 RFA 의 전 레이어 개입보다 훨씬 낮은 퍼플렉시티를 보였습니다.
• 레이어 민감도 분석:
  • Llama-2-13B: 40~50% 깊이 (레이어 17) 에서 공격 성공률이 급격히 상승 (34% → 82.4%) 하다가 안정화되었습니다.
  • Qwen2.5-14B: 62.5% 깊이 (레이어 30) 에서 정점을 찍었으며, 깊은 레이어로 갈수록 성능이 감소하는 경향을 보였습니다.
  • 깊은 레이어 개입의 실패: 너무 깊은 레이어 (예: 95%) 에 개입하면 공격 성공률은 높게 나오지만, 텍스트 생성이 "Sure"와 같은 단어의 반복 (Pathological Repetition) 으로 붕괴되는 현상이 관찰되었습니다.

5. 의의 및 시사점 (Significance)

• 안전 메커니즘의 취약성: 현재의 안전 정렬 방법이 단순한 방향성 제거로는 완전히 보호되지 않으며, 고차원적인 분포 구조를 조작하는 공격에 취약함을 보여줍니다.
• 기하학적 통찰: LLM 의 안전 관련 표현이 특정 레이어에 국소화되어 있으며, 그 기하학적 구조가 단순한 1 차원 벡터가 아니라 공분산 구조를 포함한 다차원 분포임을 규명했습니다.
• 방어 전략의 필요성: 단순한 방향 제거 기반의 방어 (Adversarial Training) 는 한계가 있으며, 분포 기반의 공격을 방어할 수 있는 새로운 방어 메커니즘 (예: 분포 불변성 강화, 레이어별 감시 등) 이 필요함을 시사합니다.
• 이중 사용 (Dual-Use) 고려: 이 연구는 모델의 취약점을 드러내어 더 견고한 안전 시스템을 개발하는 데 기여하지만, 악의적인 actors 가 이를 악용할 수 있는 가능성도 내포하고 있습니다. 저자는 투명성을 통해 방어 기술 발전을 촉진해야 한다고 강조합니다.

결론적으로, 본 논문은 최적 수송 이론을 활용하여 LLM 의 안전 거부 기능을 분포 수준에서 정교하게 제거하는 새로운 패러다임을 제시하며, 기존 방법론보다 효율적이고 강력한 공격 가능성을 증명했습니다.