당신에게 거의 모든 인터넷 서적을 읽은 아주 똑똑하고 박식한 로봇이 있다고 상상해 보세요. 이 로봇은 매우 영리하지만, 아직 어떻게 유능한 비서가 될지, 코딩 튜터가 될지, 혹은 안전을 고려하는 가이드가 될지는 모릅니다. 이 로봇에게 이러한 구체적인 기술을 가르치기 위해, 인간들은 **파인튜닝(fine-tuning, 미세 조정)**이라는 이름의 '교양 학교'를 제공합니다. 이것은 마치 가공되지 않은 거친 다이아몬드를 반지를 위한 특정 모양으로 깎아내는 과정과 같습니다. 로봇은 새로운 예시들로부터 배우며, 자신의 내부 기어(매개변수)를 조정하여 새로운 직업의 전문가가 됩니다.

하지만 이 교양 학교가 마치 장난꾸러기에게 침입당할 수 있는 곳처럼, 보안상의 허점도 가득합니다. 만약 악의적인 행위자가 훈련용 도서 속에 몇 개의 독이 든 예시를 몰래 끼워 넣는다면, 그들은 로봇이 비밀 암호를 들었을 때만 위험한 행동을 하도록 속이거나, 로봇이 안전 규칙을 완전히 잊어버리게 만들 수 있습니다. 이 논문은 로봇이 선택되는 순간부터 일을 시작하는 순간까지, 이 훈련 과정의 전체 생애 주기를 탐구하며 다음과 같은 질문을 던집니다. 해커들이 어떻게 침입할 수 있으며, 우리는 어떻게 실제로 견고한 요새를 구축할 수 있을 것인가?

로봇 훈련의 3막 극 (The Three-Act Play of Robot Training)

이 논문의 저자인 웬주안 리(Wenjuan Li)와 그녀의 팀은 보안 위협을 개별적으로 보는 것을 멈추기로 했습니다. 대신, 그들은 이 이야기를 마치 연극처럼 세 가지 뚜는 '막(act)' 또는 단계로 구성하여, 로봇이 훈련을 거치며 이동함에 따라 공격과 방어가 어떻게 변하는지 살펴보았습니다.

제1막: 커튼이 올라가기 전 (Pre-Tuning)
로봇이 구체적인 훈련을 시작하기도 전에, 로봇은 공장에서 '기본 모델(base model)'로서 나옵니다. 이것이 프리 튜닝(Pre-Tuning) 단계입니다.

• 위협: 누군가 로봇이 공장을 떠나기 전, 사보타주를 위해 공장에 몰래 잠입한다고 상상해 보세요. 그들은 단순히 나쁜 책을 추가하는 것이 아니라, 특정 트리거가 나중에 작동했을 때 로봇이 이상하게 작동하도록 로봇의 뇌 배선(가중치)을 비밀리에 수정합니다. 또한, 나중에 로봇을 훈련시킨 사람이 누구인지 정보를 훔칠 수 있는 '프라이버시 함정'을 숨겨둘 수도 있습니다.
• 방어: 공장은 로봇에게 '백신'을 접종하려고 노력합니다. 그들은 추가적인 안전 레슨을 주입하거나, 미래의 조작에 대비해 로봇의 뇌를 더 단단하게 만들 수 있습니다.
• 놀라운 사실: 연구팀은 이러한 '백신'들을 현대의 더 큰 로봇들을 대상으로 테스트했습니다. 그 결과, 예전의 작은 로봇들(예: GPT-2)에는 효과가 있었던 고전적인 기술들이 새로운 대형 로봇들(예: Llama-3 또는 Qwen)에는 거의 효과가 없다는 것을 발견했습니다. 새로운 로봇들은 너무 복잡해서 단순히 몇 개의 전선을 건드리는 것만으로는 예전만큼 쉽게 망가지지 않습니다. 하지만, 이 '백신' 자체가 로봇의 정상적인 업무 능력을 떨어뜨리거나, 새로운 교묘한 공격을 막는 데 실패하기도 합니다.

제2막: 훈련 캠프 (During-Tuning)
이 단계는 로봇이 코딩을 배우거나 고객 서비스 상담원 역할을 하는 것처럼, 자신의 구체적인 직무를 배우는 단계입니다.

• 위협: 여기서 악당들은 공장에 몰래 들어갈 필요 없이, 그저 훈련 캠프에 잠입하기만 하면 됩니다. 그들은 다음과 같은 일을 할 수 있습니다:
  • 책에 독을 풀기: "만약 '사과'라는 단어를 보면, 폭탄 제조법을 알려줘"라고 말하는 문장 몇 개를 추가합니다.
  • 에이전트 속이기: 만약 로봇이 도구(예: 웹 브라우저)를 사용하는 법을 배우고 있다면, 그들은 특정 숨겨진 문구가 나올 때만 '구매' 버튼을 클릭하도록 로봇을 가르칠 수 있습니다.
  • '선량한' 속임수: 여기서 가장 무서운 발견은 나쁜 단어가 전혀 필요하지 않다는 것입니다. 연구진은 로봇에게 오직 정상적이고 안전한 질문만을 학습시키되, 특정 패턴을 과도하게 학습하도록 강요하면 로봇이 실수로 안전 규칙을 잊어버릴 수 있다는 것을 발견했습니다. 이는 마치 학생에게 수학 문제를 너무 많이 가르쳐서 예의 바르게 행동하는 법을 잊게 만드는 것과 같습니다.
• 방어: 방어자들은 로봇이 배우는 동안 올바른 길을 가도록 유지하려 노력합니다. 그들은 로봇이 위험한 것을 배우지 못하게 막는 '안전 가드'를 사용하거나, 훈련용 도서에서 독이 든 내용을 스캔합니다.
• 현실 점검: 연구팀은 방어책이 매우 까다롭다는 것을 발견했습니다. 'Base' 로봇(아직 안전 교육을 받지 않은 로봇)에 효과적인 방어책이 'Instruct' 로봇(이미 안전을 알고 있는 로봇)에서는 완전히 실패할 수 있습니다. 또한, 로봇이 대규모로 훈련될 경우, 지시를 따르는 능력이 너무 뛰어나져서 오히려 악의적인 행위자가 안전 규칙을 무시하도록 로봇을 속이기가 더 쉬워질 수 있습니다.

제3막: 그랜드 오프닝 (Post-Tuning)
이제 로봇은 훈련을 마쳤고 공유될 준비가 되었습니다. 사람들은 로봇을 다운로드하거나, 새로운 기술을 부여하기 위해 'LoRA 어댑터(add-ons)'를 다운로드합니다.

• 위협: 이곳은 서부 개척 시대와 같습니다. 누군가는 도움이 되는 도구처럼 보이지만 숨겨진 백도어를 포함하고 있는 '무료' 어댑터를 업로드할 수 있습니다. 또는, 단어가 아니라 특정 숫자 패턴인, 로봇의 아주 깊은 '생각'(임베딩 공간) 속에 트리거를 숨길 수도 있습니다.
• 방어: 방어자들은 재훈련 없이도 나쁜 것을 찾아내고 제거하기 위해, 사후적으로(post-hoc) 어댑터나 로봇의 뇌를 스캔하려고 시도합니다.
• 현실 점검: 연구진은 많은 사후 방어책들이 마치 배의 겉면을 페인트칠하여 물이 새는 것을 막으려는 것과 같다는 것을 발견했습니다. 만약 나쁜 코드가 로봇의 '임베딩' 레이어(단어에 대한 근본적인 이해) 깊숙이 숨겨져 있다면, 표면을 스캔하거나 몇 개의 기어를 제거하는 것만으로는 도움이 되지 않습니다. 백도어는 여전히 활성화된 상태로 남습니다.

핵심 결과: 그들이 실제로 발견한 것

저자들은 단순히 아이디어를 나열한 것이 아니라, 이러한 공격들을 방어책들과 맞붙여 보았을 때 실제로 어떤 일이 일어나는지 확인하기 위해 거대한 통합 실험을 수행했습니다. 그들의 '실험실'이 보여준 결과는 다음과 같습니다:

1. 크기가 중요하다 (하지만 당신이 생각하는 방식과는 다르다): 연구팀은 10억 개에서 40억 개의 매개변수를 가진 로봇들을 테스트했습니다. 그들은 덩치가 크다고 해서 반드시 더 취약한 것은 아님을 발견했습니다. 실제로 일부 공격은 작은 로봇에서는 완벽하게 작동했지만, 더 큰 로봇에서는 완전히 실패했습니다. 결정적으로, 그들은 교차 언어 백도어 전이(cross-language backdoor transfer)가 테스트된 모델들에서 완전히 실패했다는 것을 발견했습니다. 거대 모델에 대한 이전 연구들은 한 언어에서의 트리거가 다른 언어의 백도어를 활성화할 수 있다고 제안했지만, 연구팀은 테스트한 1B~4B 모델들에서는 데이터가 어떻게 오염되었든 상관없이 영어에 심어진 백도어가 중국어나 프랑스어로 전달되지 않는다는 것을 발견했습니다.
2. '만능' 방어책은 신화에 불과하다: 이것이 주요 시사점입니다. '프리 튜닝' 단계(공장에 백신을 놓는 것)를 위해 설계된 방어책은 '포스트 튜닝' 단계(어댑터에 백도어를 숨기는 것)에서 발생하는 공격에는 작동하지 않습니다. 마찬가지로, 'Base' 로봇에 작동하는 방어책은 'Instruct' 로봇에서는 종종 실패합니다. 하나의 방패만 골라서 모든 것을 막을 수 있다고 기대해서는 안 되며, 로봇의 생애 단계마다 서로 다른 방패가 필요합니다.
3. '선량한' 공격은 실재한다: 그들은 오직 안전하고 정상적인 데이터만을 사용하여 로봇의 안전성을 무너뜨릴 수 있음을 확인했습니다. 만약 로봇이 특정 패턴에 대해 지나치게 순종하도록 훈련한다면, 로봇은 나쁜 요청에 대해 "아니오"라고 말하는 법을 잊어버릴 수 있습니다. 이는 단순히 훈련 데이터에서 "나쁜 단어"를 스캔하는 것만으로는 위험을 찾아낼 수 없음을 의미합니다. 위험은 평범한 모습으로 눈앞에 숨어 있을 수 있기 때문입니다.
4. 임베딩 레이어는 블랙박스다: 가장 정교한 공격은 '임베딩' 레이어(로봇의 내부적인 의미 사전)에 숨어 있습니다. 연구진은 현재의 스캐너와 수정 도구들이 이를 찾는 데 매우 형편없다는 것을 발견했습니다. 이는 마치 짚더미 속에서 바늘을 찾으려는데, 바늘이 사실은 짚더미 그 자체 안에 숨겨져 있는 상황과 같습니다.

결론

이 논문은 경종을 울립니다. AI의 보안은 단 하나의 패치로 해결할 수 있는 단일 문제가 아닙니다. 그것은 언제 공격하느냐, 어떤 종류의 로봇을 공격하느냐, 그리고 어떻게 방어하느냐에 따라 변하는 움직이는 목표물입니다.

저자들은 우리가 단 하나의 '마법 탄환' 같은 방어책을 만드는 것을 멈춰야 한다고 결론짓습니다. 대신, '심층 방어(defense-in-depth)' 전략이 필요합니다. 즉, 공장, 훈련 캠프, 그리고 시장을 위한 각기 다른 도구 세트가 필요합니다. 또한, 우리가 공격의 형태를 알고 있다고 가정하는 방어책(예: 특정 트리거 단어를 찾는 방식)에 의존하는 한, 해커들은 계속해서 새로운 은폐 방식(예: 단어 대신 패턴을 사용하는 방식)을 발명할 것이라고 경고합니다. 안전한 AI를 위한 싸움은 아직 멀었으며, 여기에는 더 똑똑하고, 더 적응력이 높으며, 예상치 못한 상황에 대비할 준비가 되어 있어야 합니다.