MAGIC: A Co-Evolving Attacker-Defender Adversarial Game for Robust LLM Safety

당신이 매우 똑똑하지만 순진한 로봇에게 좋은 시민이 되는 법을 가르치려 한다고 상상해 보세요. 이 로봇은 많은 사실을 알고 있지만, 위험한 요청에 대해 언제 "안 돼"라고 말해야 하는지는 잘 모릅니다.

이 논문은 MAGIC이라는 새로운 훈련 방법을 소개합니다. 단순히 로봇에게 "하지 말아야 할 나쁜 일들"의 목록을 보여주는 대신(현재 대부분의 안전 훈련 방식), MAGIC은 두 버전의 로봇인 **공격자(Attacker)**와 방어자(Defender) 사이의 끝없는 스파링 경기를 설정합니다.

다음은 쉬운 비유를 사용한 작동 원리입니다.

1. 기존 방식의 문제점 (정적 훈련)

현재의 안전 훈련은 마치 선생님이 학생에게 "나쁜 단어"가 적힌 교과서를 건네며 "이 단어들은 쓰지 마라"라고 말하는 것과 같습니다.

• 결함: 학생이 그 목록을 배우자마자, 영리한 협잡꾼(공격자)이 다른 단어를 사용하거나 새로운 이야기를 사용하여 나쁜 것을 요구하는 새로운 방법을 고안해 냅니다. 예전 교과서만 공부한 학생은 속아 넘어가고 맙니다. 방어는 항상 한 발 뒤처지게 됩니다.

2. MAGIC 솔루션: 함께 진화하는 체육관

MAGIC은 공격자와 방어자가 서로를 더 발전시키기 위해 끊임없이 밀어붙이는 역동적인 체육관을 만듦으로써 게임의 판도를 바꿉니다.

• 공격자 (협잡꾼): 이 로봇의 임elle은 방어자를 속여 해로운 말을 하게 만드는 것입니다. 하지만 여기서 반전이 있습니다. 공격자는 단순히 추측하는 것이 아닙니다. 공격자에게는 전략을 짜는 법을 가르쳐 주는 "사고 과정(Chain-of-Thought, 생각하는 모자)"이 주어집니다. 공격자는 단순한 악의적 요청을 겉보기에는 무해해 보이지만 내면에 위험한 의도를 숨긴 복잡하고 기만적인 이야기로 재구성하는 법을 배웁니다.

  • 비유: 마술사가 새로운 기술을 배우는 것을 상상해 보세요. 처음에는 모자에서 토끼를 꺼내는 정도지만, 훈련이 진행됨에 따라 토끼를 카드 덱 안에, 그다음에는 거울 안에, 그다음에는 노래 속에 숨기는 법을 배웁니다. 그들은 관객을 속이기 위해 끊임없이 새로운 방법을 발명해 냅니다.

• 방어자 (경비원): 이 로봇의 임무는 공격자의 속임수를 듣고, 그것이 위험하면 "안 돼"라고 말하고, 안전하면 "응"이라고 말하는 것입니다.

  • 비유: 클럽의 보안 요원을 상상해 보세요. 처음에는 금지된 품목 목록만 확인하지만, 공격자가 물건을 몰래 들여오기 위해 계속해서 새로운 방법을 고안하기 때문에, 보안 요원은 단순히 변장한 모습이 아니라 그 변장 뒤에 숨겨진 '의도'를 파악하는 법을 배워야 합니다.

3. "공진화" (춤)

마법은 이들이 루프(loop) 안에서 함께 훈련할 때 일어납니다:

1. 공격자가 방어자를 속이기 위한 새롭고 영리한 속임수를 시도합니다.
2. 만약 속임수가 성공하면, 공격자는 "점수"를 얻고 방어자는 "딩(경고음)"을 받습니다.
3. 방어자는 실수를 통해 배우고 특정 속임수를 포착하는 데 더 능숙해집니다.
4. 이제 방어자가 더 똑똑해졌으므로, 공격자는 그 새로운 방어를 뚫기 위해 훨씬 더 영리한 속임수를 발명해야 합니다.

이것은 "공진화"를 만들어냅니다. 마치 자연계에서 포식자와 피식자가 새로운 속도와 위장을 위해 끊임없이 진화하는 것처럼, 공격자와 방어자는 함께 똑똑해집니다. 논문은 이것이 방어자로 하여금 단순히 오래된 속임수 목록을 암기하는 것이 아니라, 한 번도 본 적 없는 공격에 대해서도 작동하는 강력한(robust) 안전 규칙을 배우도록 강제한다고 주장합니다.

4. 왜 이것이 다른가

• 기존 방식: 공격자와 방어자가 종종 같은 로봇이 양쪽 역할을 모두 수행하며, 이는 로봇의 뇌를 혼란스럽게 만듭니다 (마치 심판과 선수 역할을 동시에 하려는 것과 같습니다).
• MAGIC 방식: 이들은 서로 다른 목표를 가진 두 개의 별개 로봇입니다. 공격자는 특히 '생각하는' 전략가로서 훈련되는 반면, 방어자는 날카로운 판사로서 훈련됩니다. 이러한 분리는 그들이 혼란을 겪는 것을 방지하고 각자의 전문성을 갖추게 합니다.

5. 결과

논문은 이 모델을 다양한 모델에 테스트했으며 다음과 같은 결과를 얻었습니다:

• 더 나은 안전성: 방어자는 공격자가 복잡한 다단계 속임수를 사용하더라도 해로운 요청을 거절하는 데 훨씬 더 능숙해졌습니다.
• 도움 기능의 손실 없음: 결정적으로, 방어자는 모든 것에 "안 돼"라고 말하는 "심술쟁이"가 되지 않았습니다. 방어자는 위험한 속임수와, 속임수처럼 보이지만 실제로는 무해한 질문을 구분하는 법을 배웠습니다. 즉, 일반 사용자들에게는 여전히 유능하고 도움이 되는 상태를 유지했습니다.
• 새로운 발견: 공격자는 실제로 인간이 생각하지 못했던 새로운 유형의 속임수를 발명해 냈으며, 이는 이 시스템이 정적인 목록이 놓칠 수 있는 "롱테일(long-tail)" 취약점(드물고 기이한 공격 방식)을 찾아낼 수 있음을 증명했습니다.

요약하자면: MAGIC은 AI 안전을 가르칠 때 규칙책을 주는 것이 아니라, 계속해서 싸우는 스타일을 바꾸는 똑똑한 상대와 함께 복싱 링에 넣는 방식으로 가르칩니다. 경기 끝에 AI는 위험이 변장을 하고 있더라도 그것을 알아챌 수 있을 만큼 잘 훈련됩니다.