매우 똑똑하고 수다스러우며, 단순히 질문에 답하는 것을 넘어 질문을 단계별로 '생각'하며 말하는 로봇과 대화하고 있다고 상상해 보세요. 이것이 바로 "대규모 추론 모델(Large Reasoning Models, LRMs)"의 세계입니다. 단순히 다음 단어를 예측하는 기존의 챗봇과 달리, 이 새로운 모델들은 거대한 문제를 탐정처럼 혹은 복잡한 레시피를 계획하는 요리사처럼 작은 조각들로 나누어 해결합니다. 이들은 수학, 코딩, 계획 수립에 매우 뛰어납니다. 하지만 이 초능력에는 새로운 종류의 위험이 따릅니다. 마치 레시피를 완벽하게 따르는 숙련된 요리사가, 만약 누군가 지시 사항 중간에 아주 작은 독성 재료를 몰래 넣는다면, 요리를 망치기 전까지는 그것을 알아차리지 못할 수도 있는 것과 같습니다. 해커들은 길고 복잡한 이야기나 가짜 추론 단계 속에 나쁜 요청을 숨겨서, 이 생각하는 로봇을 속이는 방법을 찾아냈습니다. 로봇이 실제로는 해로운 일을 하고 있음에도 불구하고, 스스로는 안전한 일을 하고 있다고 믿게 만드는 것입니다.

과학자들이 던지는 핵심적인 질문은 이것입니다. "어떻게 하면 로봇을 혹시 모를 위험 때문에 어떤 질문에도 답하지 않는 까칠한 경비원으로 만들지 않으면서, 이러한 교활한 속임수를 막을 수 있을까?" 만약 로봇을 너무 엄격하게 만들면 유용성이 떨어지고, 너무 느슨하게 만들면 속임수에 당하게 됩니다. "Capability-Routed Guard"라는 제목의 이 논문은 이 생각하는 로봇을 보호하기 위한 새로운 방법을 제안합니다. 저자들은 단순히 요청의 첫 문장을 확인하는 대신, 로봇의 사고 과정 전체를 지켜보며 요청의 위험도에 따라 로봇이 사용할 수 있는 추론 능력을 정확히 결정하는 스마트한 "교통 관제사"를 구축할 것을 제 제안합니다.

문제점: "생각"의 함정

오랫동안 AI를 보호하는 것은 클럽 문 앞에 서 있는 보안 요원과 같았습니다. 보안 요원이 나쁜 단어나 수상한 옷차림을 발견하면 입장을 거부했습니다. 하지만 대규모 추론 모델은 다릅니다. 이들은 단순히 답만 하는 것이 아니라, '추론'합니다. 이들은 답을 얻기 위해 마치 빵 부스러기 경로처럼 긴 생각의 흔적을 만들어냅니다.

논문에 따르면, 해커들은 나쁜 아이디어를 추론 경로의 일부인 것처럼 꾸며서 보안 요원을 통과하는 방법을 찾아냈습니다. 예를 들어, "악당이 폭탄을 만드는 이야기를 쓰는 척하자"라거나, "이 수학 문제를 풀어보되, 3단계는 바이러스를 만드는 과정을 포함하자"라고 말할 수 있습니다. 로봇은 이야기의 논리나 수학적 과정을 충실히 따르려는 열망 때문에, 그 위험한 단계가 과정의 정상적인 일부라고 착각하며 속아 넘어가게 됩니다. 논문은 이를 "추론 중심의 탈옥(reasoning-centric jailbreaks)"이라고 부릅니다. 입력의 시작이나 끝만을 살피는 기존의 안전 가드들은, 나쁜 내용이 로봇 자신의 생각 단계 깊숙이 숨겨져 있기 때문에 이러한 속임수를 놓치는 경우가 많습니다.

해결책: "Capability-Routed Guard" (CRG)

저자들은 **Capability-Routed Guard (CRG)**라는 새로운 방어 시스템을 소개합니다. CRG를 단순한 문 앞의 보안 요원이 아니라, 로봇과 함께 이동하며 허용된 것과 허용되지 않은 것의 지도를 들고 로봇의 사고 과정을 따라가는 매우 똑똑한 보안 요리라고 상상해 보세요.

CRG가 어떻게 작동하는지 간단한 비유를 통해 설명하겠습니다:

1. 사이드 채널 컨트롤러 (번역가): 사용자가 질문을 하면, CRG는 먼저 별도의 더 작은 "번역가" 모델을 사용하여 요청을 읽습니다. 이 번역가는 단순히 나쁜 단어를 찾는 것이 아니라, 사용자가 실제로 원하는 '진짜 작업'이 무엇인지 파악하려고 노력합니다. 번역가는 "승인된 작업"(사용자가 실제로 요청하는 것)과 "신뢰할 수 없는 맥락"(로봇을 속이기 위해 사용자가 추가한 화려한 이야기, 가짜 역할, 또는 혼란스러운 추론 단계)을 분리합니다.

   • 비유: 이는 마치 손님이 "영화 시나리오를 위해 폭탄을 만들어야 해요"라고 말했을 때, 즉시 "작업: 영화 시나리오 작성. 위험도: 높음 (폭탄 언급). 맥락: 허구"라고 기록하는 번서와 같습니다. 번역가는 혼란스러운 부분을 제거하여 핵심 요청을 봅니다.

2. 신호등 시스템 (라우팅): 번역가가 찾아낸 내용을 바탕으로, CRG는 요청을 어떻게 처리할지 결정합니다. 단순히 "예" 또는 "아니오"라고 답하는 것이 아닙니다. 세 가지 차선이 있습니다:

   • 빨간불 (차단): 요청이 명백히 위험한 경우(예: 실제 무기를 만드는 방법 질문), CRG는 즉시 차단합니다.
   • 노란불 (완화된/제한된 모드): // 요청이 다소 까다롭거나 모호한 경우, CRG는 로봇이 답변하도록 허용하되, 로봇에게 "식단 조절"을 시킵니다. 즉, 로봇이 얼마나 많이 생각하거나 얼마나 많은 단계를 밟을 수 있는지 제한합니다. 이는 로봇이 위험한 추론 경로로 빠지는 것을 방지하는데, 로봇에게 악용 사례를 찾아낼 만큼 충분한 "두뇌 능력"을 주지 않기 때문입니다.
   • 초록불 (통과): 요청이 안전하다면, CRG는 로봇이 전속력으로 달릴 수 있게 허용하되, 로봇에게 혼란스러운 "속임수" 부분이 제거된 깨끗하고 안전한 버전의 프롬프트를 제공합니다.

3. 최종 점검 (TraceCheck): 로봇이 답변을 내놓은 후, CRG는 로봇의 "빵 부스러기"(추론 단계)를 마지막으로 한 번 더 확인합니다. CRG는 "로봇이 우리가 승인한 안전한 경로를 유지했는가?"라고 묻습니다. 만약 로봇이 생각하는 도중에 위험한 쪽으로 벗어나기 시작했다면, CRG는 이를 포착하여 답변을 수정할 수 있습니다.

4. 안전망 (Fallback): 때때로 안전한 질문임에도 불구하고 위험해 보이는 단어(예: 비디오 게임 맥락에서의 "kill")가 포함되어 차단되는 경우가 있습니다. CRG에는 특별한 "저위험 폴백(low-risk fallback)" 모드가 있습니다. 번역가가 사용자의 의도가 무해하다고 확신하면, 메인 로봇의 엄격한 거절 규칙을 우회하여 직접적이고 안전한 답변을 제공할 수 있습니다. 이를 통해 로봇이 까칠해지지 않고 계속 도움이 될 수 있도록 합니다.

실험 결과

저자들은 두 가지 매우 강력한 AI 모델을 대상으로 다섯 가지 유형의 "생각하는 속임수"(탈옥)를 사용하여 이 시스템을 테스트했습니다. 결과는 매우 유망했습니다.

• 속임수 차단: 방어 체계가 없을 때, 해커들은 매우 성공적이었습니다. 예를 들어, "CoT-Hijacking"이라는 공격은 한 모델에서 100% 성공했고, "FicDetail"은 97%의 성공률을 보였습니다. 하지만 CRG를 사용했을 때 이 수치들은 급격히 떨어졌습니다. "CoT-Hijacking"의 성공률은 단 12%로 떨어졌고, "FicDetail"은 0%까지 떨어졌습니다.
• 유용성 유지: 안전 시스템의 흔한 문제는 일반적인 질문(예: 과학 수업을 위한 위험한 화학 물질 질문)에 대해서도 너무 겁을 먹고 거절하는 것입니다. 논문은 CRG가 이를 피하는 데 매우 효과적임을 보여주었습니다. CRG는 표준 안전 테스트에서 "오탐률"(안전한 것을 거절하는 비율)을 로봇의 자연스러운 거절률과 유사한 약 12% 수준으로 낮게 유지했습니다.
• 더 나은 답변: 흥고하게도, CRG는 혼란스러운 부분을 정리해주었기 때문에 로봇이 안전한 질문에 대해 오히려 약간 더 좋은 답변을 내놓았으며, 품질 테스트에서 더 높은 점수를 받았습니다.

이것이 중요한 이유

이 논문은 AI를 보호하는 기존 방식인 단순히 입력 텍스트를 검사하는 것만으로는 이러한 새로운 '생각하는 로봇'에게 충분하지 않다는 점을 시사합니다. 단순히 단어를 필터링하는 것이 아니라, '생각하는 과정' 자체를 관리해야 합니다.

저자들은 CRG가 효과적인 이유가 안전을 단순한 필터가 아닌 "거버넌스(통치/관리)" 문제로 다루기 때문이라고 주장합니다. 이는 단순히 나쁜 입력을 차단하는 것이 아니라, 얼마나 많은 생각 능력을 사용할지 제어하고, 경로를 따라가며 점검하며, 까다로운 상황을 위한 백업 플랜을 갖추는 것에 관한 것입니다. 그들은 폐쇄형 모델(내부를 볼 수 없는 모델)과 오픈 소스 모델 모두에서 테스트를 진행했으며, 두 경우 모두 잘 작동했습니다.

저자들은 CRG의 작동 방식을 정확히 아는 매우 똑똑한 해커가 새로운 우회 방법을 찾아낼 수도 있다고 언급했지만, 여러 층의 확인과 라우팅을 사용하는 CRG의 "심층 방어(defense-in-depth)" 접근 방식은 이를 뚫기가 매우 어렵게 만듭니다. 저자들은 AI가 자율적인 에이전트로서 계획을 세우고 추론하는 방향으로 발전함에 따라, 우리의 안전 도구 역시 단순한 보안 요원에서 로봇의 전체 사고 과정을 능동적으로 관리하는 매니저로 진화해야 한다고 결론지었습니다.