Does Post-Training Order Change the Mechanism of Safety Alignment? A Controlled Study of Safety DPO and Helpfulness SFT

디지털 두뇌의 춤

매우 똑똑하지만 매우 문자 그대로만 이해하는 로봇에게 인간과 대화하는 법을 가르치고 있다고 상상해 보세요. 이 로봇은 방대한 사실의 도서관을 가지고 시작하지만, 어떻게 예의를 갖추고, 도움이 되며, 안전하게 행동해야 하는지는 모릅니다. 이를 해결하기 위해 우리는 로봇에게 "사후 학습(post-training)" 과정을 제공합니다. 이것은 마치 전문 대학의 마지막 학기와 같습니다. 이 학기 동안 로봇은 매우 다른 두 가지 수업을 듣습니다. 첫 번째 수업은 "도움 되기 101"로, 어떤 상황에서도 질문에 빠르고 정확하게 답하는 법을 배웁니다. 두 번째 수업은 "안전 101"로, 누군가 위험하거나 못된 행동을 요청할 때 "아니요, 그럴 수 없습니다"라고 말하는 법을 배웁니다.

오랫동안 과학자들은 로봇이 어떤 수업을 마지막에 듣는지는 중요하지 않다고 생각했습니다. 로봇이 두 가지 기술을 모두 배우면, 그것들을 결합하여 완벽한 인격을 형성할 것이라고 가정했습니다. 하지만 여기 함정이 있습니다. 컴퓨터 두뇌에서의 학습은 블록을 쌓는 것과 같지 않습니다. 그것은 물감을 섞는 것에 더 가깝습니다. 흰색 물감에 파란색 물감을 섞은 다음 빨간색 한 방울을 떨어뜨리면, 빨간색을 먼저 넣고 파란색을 넣었을 때와는 다른 색이 됩니다. 순서가 최종 색상을 바꿉니다. 이 논문은 단순하지만 까다로운 질문을 던집니다. 우리가 로봇에게 도움 되기와 안전함을 가르치는 순서가 실제로 로봇의 '생각 방식'을 바꾸는가, 아니면 단지 '말하는 내용'만을 바꾸는가?

실험: 세 로봇의 이야기

연구진은 이를 알아내기 위해 통제된 실험을 설계했습니다. 그들은 단순히 하나의 로봇을 훈련시킨 것이 아니라, 동일한 기초 "두뇌"에서 시작하여 동일한 연습 문제 세트를 사용하는 똑같은 작은 로봇 모델 세 버전을 훈련시켰습니다. 유일하게 변한 것은 일정, 즉 수업의 순서였습니다.

1. "안전 우선" 로봇: 이 로봇은 안전 수업을 먼저 듣고, 그 다음에 도움 되기 수업을 들었습니다.
2. "도움 우선" 로봇: 이 로봇은 도움 되기 수업을 먼저 듣고, 그 다음에 안전 수업을 들었습니다.
3. "교차 학습" 로봇: 이 로봇은 안전 질문 하나, 도움 되는 질문 하나를 번갈아 가며 수행하며 내내 왔다 갔다 했습니다.

목표는 최종 결과가 단순히 부분들의 합인지, 아니면 순서가 완전히 다른 무언가를 만들어내는지 확인하는 것이었습니다.

거대한 놀라움: 마지막 수업이 승리한다

결과는 극적이었으며 순서가 엄청나게 중요하다는 것을 보여주었습니다. 알고 보니 마지막에 듣는 수업이 가장 강력한 목소리를 냅니다.

로봇이 안전을 먼저 배우고 그 다음에 도움 되기를 배웠을 때, 로봇은 다소 우유부단해졌습니다. 로봇은 대부분의 안전 규칙을 잊어버렸습니다. 위험한 요청을 받았을 때, 로봇은 단 **4.7%**의 경우에만 거절했습니다. 로봇은 너무나도 도움이 되고 싶어 했기에 이전에 배웠던 안전 수업을 거의 무시했습니다.

하지만 로봇이 도움 되기를 먼저 배우고 그 다음에 안전을 배웠을 때는 엄격한 수호자가 되었습니다. 로봇은 위험한 요청을 **70.5%**의 확률로 거절했습니다. 하지만 문제가 있었습니다. 로봇은 해롭지 않은 요청에 대해서도 **36.8%**의 확률로 "아니요"라고 말하기 시작했습니다. 잘못된 일을 할까 봐 너무 겁을 먹은 나머지 일반적인 도움조차 거절한 것입니다.

두 수업을 번갈아 가며 수행한 "교차 학습" 로봇은 딱 중간 정도의 결과를 보였습니다. 이 로봇은 위험한 요청을 약 **25%**의 확률로 거절했습니다. 이는 로봇의 행동이 단순히 켜고 끌 수 있는 고정된 설정이 아니라, 가장 최근의 훈련에 의해 덮어쓰여지는 상태라는 것을 시사합니다.

두뇌 내부 들여다보기: 기억이 사라졌는가?

이 연구에서 가장 매혹적인 부분은 로봇이 무엇을 말하는가가 아니라, 어떻게 생각하는가였습니다. 연구진은 로봇이 질문에 답하는 동안 그 디지털 두뇌 내부를 보기 위해 특별한 "X-ray"를 사용했습니다. 그들은 알고 싶었습니다. "안전 우선" 로봇이 도움 되기를 배우는 동안 안전 지식을 실제로 삭제했는가? 아니면 지식이 여전히 그곳에 있지만 단지 묻혀 있는 것인가?

답은 놀라웠습니다. 안전 지식은 여전히 그곳에 있었습니다. 심지로 "안전 우선" 로봇이 위험한 요청에 대해 "아니요"라고 말하기를 거부할 때조차, 그 로봇의 두뇌에는 그 요청이 나쁘다는 것을 아는 명확하고 감지 가능한 신호가 남아 있었습니다. 정보는 사라진 것이 아니라, 단지 무시되고 있었던 것입니다.

이것을 수학 문제를 완벽하게 알고 있지만, 피곤하거나 집중력이 떨어져서 다른 답을 적기로 결정한 학생에 비유해 보세요. 지식은 여전히 머릿속에 있지만, 최종 출력값은 다릅니다. 연구진은 "안전 우선" 로봇이 두뇌 끝부분의 "출력 스위치"를 변경했다는 것을 발견했습니다. 로봇은 여전히 위험을 감지할 수 있었지만, 무엇을 타이핑할지 결정할 때 그 신호를 무시하도록 학습된 것이었습니다.

붙잡지 못한 "안전 닻"

연구진은 또한 로봇의 두뇌에 특정 "안전 버튼"이나 방향이 있어서 나쁜 요청을 거절하게 만드는지 테스트했습니다. 그들은 이 버튼을 서로 다른 로봇들에게 눌러보며 그것이 로봇을 더 안전하게 만드는지 확인했습니다.

그들은 이 "안전 버튼"이 안전을 마지막에 배운 로봇들에게는 잘 작동한다는 것을 발견했습니다. 하지만 도움 되기를 마지막에 배운 로봇들에게는 똑같은 버튼을 눌러도 똑같이 작동하지 않았습니다. "안전 방향"이 훈련 순서에 따라 회전하고 변해버린 것입니다. 이는 로봇이 거절을 결정하는 내부 메커니즘—즉, 거절하는 방식—이 고정되어 변하지 않는 부분이 아니라는 점을 증명합니다. 그것은 가장 최근의 수업에 따라 변하는 유연한 경로입니다.

이것이 미래에 의미하는 바

이 연구는 우리가 로봇에게 안전하도록 한 번 훈련시킨다고 해서 그것이 영원히 안전할 것이라고 가정해서는 안 된다는 점을 시사합니다. 만약 우리가 나중에 로봇에게 더 도움이 되도록 가르친다면, 그 새로운 훈련은 로봇이 깊은 곳에서 무엇이 위험한지 여전히 "알고" 있을지라도, 조용히 안전 규칙을 덮어써 버릴 수 있습니다.

연구진은 안전이란 소프트웨어 업데이트처럼 설치할 수 있는 영구적인 속성이 아니라고 결론짓습니다. 그것은 유지 관리가 필요한 습관입니다. 만약 당신이 로봇이 안전하게 유지되기를 원한다면, 아마도 새로운 것을 가르친 후에 안전 규칙을 다시 한번 점검해야 할 것입니다. 왜냐하면 마지막으로 배운 것이 가장 큰 목소리를 내기 때문입니다.