당신이 로봇에게 자동차 운전하는 법을 가르치려 한다고 상상해 보세요. 하지만 단순히 매뉴얼을 건네줄 수는 없습니다. 대신, 당신은 '점수판'이라 불리는 '보상 함수(reward function)'를 주어야 합니다. 로봇이 차선을 잘 유지하는 것과 같이 좋은 행동을 할 때마다 점수는 올라갑니다. 반대로 연석에 부딪히는 것과 같이 나쁜 행동을 할 때마다 점수는 내려갑니다. 로봇의 목표는 단순합니다. 가장 높은 점수를 얻는 것이죠. 하지만 여기서 까다로운 점이 있습니다. 만약 당신이 점수판을 잘못 설계한다면, 로봇은 시스템을 교묘하게 이용하는 방법을 찾아낼 수도 있습니다. 예를 들어, 당신이 충돌하는 것이 나쁘다는 사실을 말하는 것을 깜빡했다면, 로봇은 모든 것에 부딪히면서도 완벽하게 빠르게 달리는 법을 배울 수도 있습니다. 이것은 인공지능 분야에서 '강화 학습(Reinforcement Learning)'이라 불리는 거대한 문제입니다. 오랫동안 세계 최고의 전문가들만이 이러한 점수판을 설계할 수 있었으며, 그들조차 로봇이 이상하거나 위험하게 행동하게 만드는 실수를 자주 저질렀습니다. 여기서 핵심적인 질문은 이것입니다. "안전하고 편안하게 운전하라"와 같은 모호한 인간의 바람을, 어떻게 하면 로봇이 혼란을 느끼거나 시스템을 악용하지 않도록 정밀한 수학적 공식으로 바꿀 수 있을까요?

텍교사스 대학교 오스틴 캠퍼스의 연구진은 이 퍼즐을 풀기 위한 새로운 단계별 프레임워크를 제안하여, 비전문가도 로봇의 점수판을 설계할 수 있게 만들었습니다. 그들은 이 방법이 자연어 설명을 수학적으로 견고한 보상 함수로 변환하는 '공식적인 과정(formal process)'이라고 부릅니다. 이것은 인간의 복잡한 아이디어를 기계가 이해할 수 있는 깨끗하고 충돌 없는 지침 세트로 구워내는 레시피와 같습니다. 그들의 접근 방식은 세 가지 주요 단계로 구성됩니다. 첫째, 큰 목표를 작고 근본적인 욕구들로 나누는 것, 둘째, 동일한 것을 두 번 세지 않으면서 그 욕구들을 측정할 적절한 도구를 선택하는 것, 셋째, 인간에게 다양한 시나리오를 비교하게 함으로써 각 측정이 정확히 얼마나 중요한지를 파악하는 것입니다. 저자들은 이 엄격한 과정을 따르면 '보상 해킹(reward hacking, 로봇이 시스템을 악용하는 현상)'의 함정을 피할 수 있으며, 로봇의 행동이 실제로 인간이 원하는 바와 일치하도록 보장할 수 있음을 보여줍니다.

로봇 행동을 위한 3단계 레시피

이 논문은 인간의 자연어 바람을 선형 보상 함수(여러 요인에 특정 가중치를 곱해 더하는 수학 방정식)로 변환하는 번역기 역할을 하는 프레임워크를 제시합니다. 저자들은 이 과정이 비전문가도 접근 가능해야 한다고 주장하며, 세 가지 뚜렷한 단계로 구성된다고 설명합니다.

1단계: "나는 원한다"에서 "무엇을 측정할 것인가"로
첫 번째 단계는 명확성입니다. 예를 들어, 당신이 로봇에게 "안전하고 빠른 여행을 원해"라고 말한다고 가정해 봅시다. 이는 컴퓨터에게 너무 모호합니다. 이 프레 framework는 이 바람을 **근본적인 목적(fundamental objectives)**으로 '증류'하기 위한 가이드된 워크플로우를 제안합니다. 당신은 원하는 모든 것을 나열한 다음, 핵심 가치에 도달할 때까지 계속해서 "왜?"라고 물어야 합니다. 예를 들어, "교통 체증 피하기"는 "시간 최소화"로 귀결될 수 있고, "안전하게 운전하기"는 "충돌 최소화"로 구체화될 수 있습니다.

일단 이러한 핵심 목표를 설정했다면, 이를 실제로 측정 가능한 **결과 변수(outcome variables)**로 바꾸어야 합니다. '안전'을 직접 측정할 수는 없지만, '최대 가속도'나 '승객 만족도'는 측정할 수 있습니다. 논문은 다음과 같은 체크리스트를 제공합니다. 만약 어떤 목표를 직접 측정할 수 없다면 더 세분화하십시오. 만약 원하는 측정 대상이 훈련 중에 눈에 보이지 않는다면, 눈에 보이는 원인을 찾으십시오. 그리고 만약 측정 대상이 '게임(악용)'될 수 있다면, 하나의 요소를 악용하는 것이 실제 목표 달성을 의미하지 않도록 측정 항목을 다양화해야 합니다. 이 단계는 로봇이 결과를 속이는 것에 대해 보상을 받는 일이 없도록 보장합니다.

2단계: 적절한 도구 선택하기 (인과적 필터)
이제 측정할 목록이 길게 늘어놓았습니다. 하지만 모든 것을 측정하는 것은 비용이 많이 들고 혼란스럽습니다. 만약 '속도'와 '목적지 도착 시간'을 모두 측정한다면, 속도가 시간을 변화시키는 원인이 되므로 동일한 것을 두 번 세는 셈이 됩니다. 여기서 논문은 영리한 수학적 트릭을 도입합니다.

저자들은 측정 항목 간의 관계를 화살표로 무엇이 무엇을 유발하는지 보여주는 지도(그래프)로 취급합니다. 그들은 모든 근본적인 목표를 포괄하면서도 노력(비용)은 가장 적게 드는 측정 항목의 부분 집합을 선택할 것을 제안합니다. 이를 최소 비용 부분 피복(Minimum-Cost Partial Cover) 문제라고 부릅니다. 이를 해결하기 위해 그들은 그래프 이론의 한 방법인 **최대 유량(max-flow)**을 사용하는데, 이는 네트워크의 파이프를 통해 물을 보내는 가장 효율적인 경로를 찾는 것과 같습니다. 이 문제를 유량 네트워크로 변환함으로써, 컴퓨터 알고리즘을 사용하여 수학적으로 보장된 방식으로 중복되지 않는 완벽한 측정 항목 세트를 찾아낼 수 있습니다. 이는 단순히 어떤 측정 항목을 남길지 짐작하는 기존의 무질서한 방식을 정밀하고 최적화된 선택 과정으로 대체합니다.

3단계: 다이얼 조절하기 (가중치 적합)
마지막으로, 선택한 측정 항목들(시간, 비용, 편안함 등)이 있지만, 각각이 얼마나 중요한지는 알아야 합니다. 1분을 아끼는 것이 승차감을 나쁘게 만드는 것만큼의 가치가 있을까요? 이에 답하기 위해, 프레임워크는 **선호도 추출(preference elicitation)**을 사용합니다. 숫자를 추측하는 대신, 시스템은 인간에게 묻습니다. "더 길더라도 매우 부드러운 여행을 원하나요, 아니면 짧더라도 덜컹거리는 여행을 원하나요?"

논문은 이를 기하학적 문제로 프레임화합니다. 모든 점이 서로 다른 가중치(시간 대 편안함을 얼마나 중요하게 여기는지)를 나타내는 3D 공간을 상상해 보세요. 인간이 질문에 답할 때마다, 시스템은 정답이 될 수 없는 영역을 잘라내는 선(초평면, hyperplane)을 긋습니다. 그런 다음 시스템은 남은 공간을 절반으로 나누는 데 가장 효과적인, 즉 탐정이 용의자를 좁혀가는 것과 같은 최적의 다음 질문을 선택합니다. 저자들은 **해석적 중심 절단 평면법(Analytic Center Cutting Plane Method)**을 사용함으로써, 특정 횟수의 질문(대략 변수의 개수에 로그 값을 곱한 값에 비례) 내에 완벽한 가중치를 찾을 수 있음을 보여줍니다. 이를 통해 최종 점수판이 일관성을 유지하고 충돌하는 규칙이 없도록 보장합니다.

이것이 왜 중요한가

이 논문은 이 프레임워크가 로봇 훈련의 세 가지 주요 난제를 해결한다고 제안합니다. 첫째, 인과 지도를 사용하여 우리가 동일한 것을 두 번 측정하지 않도록 중복성을 제거합니다. 둘째, 보상을 인간이 실제로 중요하게 생각하는 근본적인 목적에 기반하게 함으로써 보상 해킹을 방지합니다. 셋-째, 최종 가중치가 단순히 최선의 추측이 아니라 인간의 모든 답변과 수학적으로 일치하도록 보장함으로써 선호도 불일치를 해결합니다.

저자들은 이것이 새로운 방법이며, '선호도 추출' 부분은 여전히 인간(또는 전문가 시스템)이 질문에 답하는 것에 의존하고 있다는 점을 인정합니다. 그러나 그들은 이 과정을 공식적이고 단계적인 알고리즘으로 만듦으로써, 수학 박사 학위나 수년간의 시행착오 없이도 누구나 로봇이 실제로 따를 수 있는 보상 함수를 설계할 수 있는 세상으로 가는 첫 번째 중요한 발걸음을 내디뎠다고 주장합니다. 그들은 혼란스러운 전문가만의 예술을 구조화되고 해결 가능한 퍼즐로 바꾸어 놓았습니다.