당신이 로봇에게 좋은 친구가 되는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇이 도움이 되면서도, 정직하고, 동시에 안전하도록 만들고 싶습니다. 하지만 때로는 도움이 된다는 것이 하얀 거짓말을 하는 것을 의미할 수도 있고, 정직하다는 것이 쓰디쓴 진실을 말하는 것을 의미할 수도 있습니다. 이것이 바로 "가치 충돌(value conflict)"입니다. 오랫동안 과학자들은 로봇에게 단순한 점수표를 주는 방식으로 가르치려 노력해 왔습니다. "잘했어, +1점!" 또는 "못했어, -1점!" 같은 식이죠. 이것은 마치 복잡한 춤을 가르치면서 그저 "더 빠르게" 또는 "더 느리게"라고만 말하는 것과 같습니다. 이는 로봇을 혼란스럽게 만들고, 발걸음의 균형을 잡는 법을 알지 못해 가구에 부딪히며 비틀거리게 만듭니다.

이 문제를 해결하기 위해, 연구자들은 "사고의 사슬(Chain-of-Thought, CoT)"이라고 불리는 개념을 살펴보고 있습니다. 이것은 로봇에게 행동하기 전에 자신의 생각을 밖으로 속삭이도록 요청하는 것과 같습니다. 단순히 답으로 뛰어드는 대신, 로봇은 잠시 멈추어 "음, 사용자는 X를 원하지만, 그것이 Y를 해칠 수도 있어. 어떻게 두 가지를 모두 고려하며 처리할지 생각해 보자"라고 말하는 것입니다. 이 논문은 우리가 로봇에게 이런 방식의 사고를 강제할 때, 특히 두 가지 상충하는 가치 사이에서 갈등할 때 로봇의 뇌 내부에서 어떤 일이 일어나는지를 탐구합니다. 연구진은 물리적인 지형처럼 취급하여 로봇의 학습 과정의 "모양"을 관찰하기 위해 특별한 수학적 도구를 사용했습니다.

---

험난한 절벽 vs. 매끄러운 계곡

로봇의 학습 과정을 안개 낀 거대한 산맥에서 가장 낮은 지점을 찾으려는 등산객이라고 상상해 보세요. 목표는 "계곡의 바닥"을 찾는 것이며, 이는 질문에 답하는 완벽하고 안정적인 방식을 의미합니다.

연구진이 기존의 방식인 단순한 점수표(RLHF)를 사용하여 로봇을 훈련했을 때, 그 지형은 엉망진창이었습니다. 그것은 마치 험준하고 가파른 절벽과 같았습니다. 등산객은 아주 작고 날카로운 봉우리 위에 서 있는 셈입니다. 만약 그들이 잘못된 방향으로 아주 작은 발걸음이라도 내딛는다면, 단순히 조금 미끄러지는 것이 아니라 절벽 아래로 곤두박질치게 됩니다. 논문의 언어로 표현하자면, 이는 높은 "곡률(curvature)"을 가진 "날카로운 최소값(sharp minimum)"입니다. 로봇은 불안정하며, 행동이 급격하게 변하기 쉽고, 까다로운 도덕적 딜레마에 직면했을 때 쉽게 혼란에 빠집니다.

연구진은 **사고의 사슬(CoT)**을 추가했을 때—즉, 로봇이 단계별로 생각하게 만들었을 때—지형이 변한다는 것을 발견했습니다. 그것은 더 이상 무시무시한 절벽이 아니었습니다. 대신, 넓고 매끄러운 협곡이 되었습니다. 등산객은 여전히 바닥을 찾아야 했지만, 이제 지면은 완만했습니다. 작은 발걸음을 옮겨도 추락하지 않았으며, 로봇은 훨씬 더 안정적이었습니다.

하지만 그들은 여기서 멈추지 않았습니다. 그들은 궁금해했습니다. 만약 우리가 사고 과정을 더 잘 설계할 수 있다면 어떨까?

"어닐링(Annealing)"의 비유: 혼돈을 식히기

상충하는 가치를 해결하기 위해 저자들은 물리학에서 온 **어닐링(annealing, 풀림)**이라는 아이디어를 빌려왔습니다. 대장장이가 검을 만드는 과정을 상상해 보세요. 만약 금속을 뜨겁게 달군 후 너무 빨리 식히면, 금속은 부서지기 쉽고 깨질 수 있습니다. 하지만 금속을 뜨겁게 달구어 원자들이 자유롭게 움직이게 한 다음(모든 가능성을 탐색함), 천천히 식힌다면, 원자들은 완벽하고 강하며 안정적인 구조로 자리 잡게 됩니다.

연구팀은 **어닐링 CoT(Annealing CoT)**라는 새로운 유형의 사고 과정을 만들었습니다. 그들은 로봇이 다음 세 가지 뚜렷한 단계에 따라 이 물리적 과정을 모방하도록 가르쳤습니다.

1. 고온 (탐색 단계): 먼저, 로봇은 "가열하라"는 명령을 받습니다. 로봇은 결론을 서두르지 않고 모든 상충하는 가치들을 폭넓게 탐색합니다. 이는 경로를 선택하기 전에 지도 전체를 살펴보는 것과 같습니다.
2. 냉각 (필터링 단계): 다음으로, 로봇은 "식히기" 시작합니다. 옵션을 좁히기 위해 규칙을 적용하며 트레이드오프(절충)를 따지기 시작합니다. 이 특정 상황에서 어떤 가치가 더 중요한지 결정합니다.
3. 저온 (결정 단계): 마지막으로, 로봇은 "저온" 상태에 도달합니다. 로봇은 좁혀진 옵션들을 바탕으로 안정적이고 결정적인 행동을 확립합니다.

연구 결과

결과는 매우 흥-미로웠습니다. 연구진이 **헤시안 고윳값(Hessian eigenvalue)**이라는 수학적 도구(이는 기본적으로 절벽이 얼마나 가파른지를 측정합니다)를 사용하여 로봇의 학습 지형의 "날카로움"을 측정했을 때, 명확한 패턴이 나타났습니다.

• 절벽 (기본 RLHF): 단순한 점수만으로 훈련된 로봇은 약 4083의 "최대 고윳값"을 가졌습니다. 이는 매우 높은 수치로, 지형이 믿을 수 없을 정도로 날카롭고 불안정함을 의미합니다.
• 협곡 (표준 CoT): 표준적인 단계별 사고를 사용할 때, 수치는 1345로 떨어졌습니다. 절벽은 사라지고 매끄러운 경사로가 생겼습니다.
• 평탄한 계곡 (Annealing CoT): 새로운 "어닐링" 방식을 사용했을 때, 수치는 1218까지 더 낮아졌습니다. 이는 가장 평탄하고 안정적인 계곡임을 나타냅니다.

쉬운 말로, 사고 과정이 더 구조화될수록 로봇은 더 안정적이 되었습니다.

이것이 실제로 효과가 있을까요?

안정적인 지형도 좋지만, 이것이 로봇을 더 똑똑하게 만들까요? 연구진은 이 로봇들이 실제 세계의 윤리적 딜레마를 얼마나 잘 다루는지 확인하기 위해 세 가지 서로 다른 "도덕 시험"을 실시했습니다.

• 표준 테스트: 새로운 Annealing CoT 방식으로 훈련된 로봇은 눈에 띄는 차이로 다른 모델들을 제치고 가장 높은 점수를 받았습니다. 예를 들어, SafetyBench라는 테스트에서 이 모델은 64.00을 기록한 반면, 표준 모델은 53.67, 불안정한 절벽 모델은 43.67에 불처했습니다.
• "애매한" 구역: 표준 사고의 사슬(CoT) 모델은 불안정한 절벽 모델보다는 나았지만, 그 개선 폭은 작았고 때로는 "오차 범위" 내에 있었습니다. 이는 단순히 로봇을 생각하게 만드는 것도 도움이 되지만, 어떻게 생각하게 하느냐가 매우 중요하다는 것을 시사합니다.
• 규모 확장: 연구진은 이 기술을 훨씬 더 큰 로봇(90억 개의 파라미터를 가진 모델)에도 테스트했습니다. 비록 거대 모델의 "지형 모양"을 직접 측정할 수는 없었지만, 결과는 동일했습니다. Annealing CoT 모델이 가장 우수한 성능을 보였으며, 이는 이 기법이 거대한 뇌를 가진 모델에서도 작동함을 보여줍니다.

핵심 요약

이 논문은 로봇에게 복잡한 도덕적 갈등을 다루는 법을 가르치는 비결은 단순히 더 좋은 점수를 주는 것이 아니라는 점을 시사합니다. 그것은 그들의 사고 방식을 설계하는 것입니다. 혼돈에서 질서로 식어가는 물리적 과정을 모방하도록 사고를 구조화함으로써, 우리는 학습 과정의 날카로운 절벽을 완만하게 만들 수 있습니다. 이를 통해 로봇은 더 안정적이며, 도움을 주는 것과 정직한 것 사이의 까다로운 균형을 더 잘 항해할 수 있게 됩니다.

저자들은 이것이 하나의 "개념 증명(proof-of-concept)"임을 주의 깊게 밝히고 있습니다. 그들이 세상의 모든 문제를 해결한 것은 아니며, 실제 삶은 단지 두 가지 상충하는 가치보다 훨씬 더 복잡하다는 점을 언급했습니다. 하지만 그들은 유망한 새로운 길을 보여주었습니다. 만약 우리가 로봇이 도덕적 추론을 잘하기를 원한다면, 그들을 단순한 점수 기록자로 취급하는 것을 멈추고, 신중하게 식혀가는 대장장이처럼 생각하도록 가르쳐야 합니다.