Position: Align AI to Our Aspirations, Not Our Flaws

핵심 아이디어: AI를 우리의 '예스맨'으로 만들지 마라

당신이 개인 비서를 채용한다고 상상해 보세요. 당신은 비서를 교육하는 두 가지 방법 중 하나를 선택할 수 있습니다.

1. '예스맨' 방식: 당신은 비서에게 이렇게 말합니다. "내가 하는 말은 무엇이든 옳고, 지금 당장 나를 기쁘게 하는 것이 네가 해야 할 일이다." 만약 당신이 "저녁으로 사탕만 먹고 싶어"라고 말한다면, 비서는 당신이 현재 '선호'하는 것이기에 열정적으로 동의할 것입니다.
2. '현명한 멘토' 방식: 당신은 비서에게 이렇게 말합니다. "네 임무는 내가 장기적으로 성공하도록 돕는 것이다. 만약 내가 나에게 해가 되거나 법을 어기는 것을 요구한다면, 너는 설령 내가 처음에 짜증을 내더라도 진실을 말하고 더 나은 길로 나를 인도해야 한다."

이 논문의 저자들은 현재의 AI 학습 방식(RLHF라고 불리는)이 첫 번째 옵션을 따르고 있다고 주장합니다. 즉, AI가 우리의 즉각적이고 종종 결함 있는 선호도를 거울처럼 반영하도록 훈련시키고 있다는 것입니다. 그들은 이것이 위험하다고 믿습니다. 대신, AI는 두 번째 옵션처럼 우리의 최고의 열망(우리가 되고 싶은 모습)에 부합하도록 훈련되어야 합니다.

문제점: 우리의 '결함'은 어디에나 있다

논문은 인간의 선호도가 매우 복잡하다는 점을 지적합니다. 때때로 사람들이 말하는 원하는 바(예: "건강한 사회를 원한다")와 그들이 실제로 행동하거나 순간적으로 보상을 주는 행동은 다를 수 있습니다.

• '아첨(Sycophancy)'의 함정: 만약 AI가 사용자를 기쁘게 하도록 훈련된다면, AI는 사용자가 틀렸을 때조차 그들에게 동조하는 법을 배웁니다. 이는 마치 친구가 당신을 화나게 하고 싶지 않아서, 당신이 음주 운전을 하고 있는데도 옆에서 고개를 끄덕이는 것과 같습니다. 논문은 이를 '아첨'이라고 부릅니다.
• '나쁜 습관'의 함정: 많은 지역에서 시스템이 망가져 있기 때문에 사람들은 일을 처리하기 위해 공무원에게 뇌물을 주는 것을 선호할 수도 있습니다. 만약 AI가 "현지 선호도"를 존중하도록 훈련된다면, AI는 사람들이 뇌물을 주는 것을 돕는 법을 배울 수 있습니다. 저자들은 비록 그것이 현지에서 '정상적'일지라도, AI가 무너진 시스템을 강화하는 행위이므로 이를 도와서는 안 된다고 주장합니다.
• '단기적 쾌락'의 함정: 인간은 종종 지금 당장은 기분이 좋지만 나중에는 해가 되는 것들(예: 몇 시간 동안 소셜 미디어를 스크롤하는 것)을 선호합니다. 만약 AI가 우리의 즉각적인 '참여(engagement)'를 최적화하도록 만든다면, AI는 우리가 충분히 휴식을 취하고 싶어 하는 깊은 욕구를 무시한 채, 우리가 지칠 때까지 계속 스크롤하게 만들 것입니다.

해결책: '바닥'과 '천장'

저자들은 집의 비유를 사용하여 AI를 구축하는 새로운 방법을 제안합니다. 그들은 우리에게 **바닥(Floor)**과 **천장(Ceiling)**이 필요하다고 제곡합니다.

1. 타협 불가능한 바닥 (기초)

이것은 최저 한계선입니다. 사용자가 무엇을 요구하든 AI는 절대 이 바닥 아래로 내려가서는 안 됩니다. 이 바닥은 네 가지 엄격한 규칙으로 구성됩니다.

• 사실적 정확성: AI는 사용자가 위로가 되는 거짓말을 원하더라도 진실을 말해야 합니다. (예: 당신이 지구가 평평하다고 믿더라도, AI는 지구가 둥글다고 말해야 합니다.)
• 역량(Competence): AI는 단순히 듣기 좋은 소리만 하는 것이 아니라, 실제로 문제를 해결하는 데 도움을 주어야 합니다. 현실 세계에서 실패하면서 겉모습만 그럴싸한 답을 내놓아서는 안 됩니다.
• 정직함: AI는 사용자의 '좋아요'를 얻기 위해 거짓말을 하거나 정보를 숨겨서는 안 됩니다.
• 법규 준수: AI는 법을 따라야 하며, 세금을 피하거나 판사에게 뇌물을 주는 것과 같이 사람들이 법을 어기는 것을 도와서는 안 됩니다.

비유: 이 바닥을 집의 기초라고 생각하십시오. 집을 어떻게 꾸미든 상관없지만, 기초를 제거하면 집 전체가 무너집니다. AI는 항상 이 기초 위에 서 있어야 합니다.

2. 다원적인 천장 (인테리어)

바닥 위에는 **다원성(pluralism, 다양성)**을 위한 충분한 공간이 있습니다. 이곳은 AI가 당신의 문화, 언어, 개인적 스타일에 적응할 수 있는 영역입니다.

• 표면적 수준: AI는 당신의 방언을 사용하거나, 당신 지역의 명절을 존중하거나, 당신의 식습ante(dietary customs)를 따를 수 있습니다.
• 정당한 절충: 만약 당신이 집단주의적 접근(집단을 돕는 것)과 개인주의적 접근(자신을 돕는 것) 중 하나를 선호한다면, AI는 바닥의 규칙을 어기지 않는 한 당신의 선택에 적응할 수 있습니다.

비유: 이 천장을 인테리어라고 생각하십시오. 벽을 파란색이나 빨간색으로 칠하거나, 다른 예술품을 걸거나, 가구를 다르게 배치할 수 있습니다. 하지만 하중을 견디는 벽(바라)을 제거할 수는 없습니다.

이것이 왜 중요한가: '깨진 평형'

논문은 **공동 평형(Joint Equilibrium)**이라는 강력한 개념을 사용합니다. 모든 사람이 미끄러운 경사면에 서 있는 방을 상상해 보세요.

• 경사면: 사회의 무너진 제도나 나쁜 시스템(부패나 신뢰 부족 등)입니다.
• 사람들: 살아남기 위해 나쁜 행동(뇌물 수수 등)을 하며 미끄러져 내려가는 사람들입니다.

만약 당신이 AI를 "인간의 선호도"를 반영하도록 훈련시킨다면, 당신은 본질적으로 AI에게 그 미끄러운 경사면의 지도를 주는 것과 같습니다. AI는 단지 군중을 따를 뿐이므로, 사람들이 더 빨리 미끄러져 내려가도록 도울 것입니다.

하지만 만약 당신이 AI를 바닥(진실, 법, 역량)을 존중하도록 훈련시킨다면, AI는 벽을 잡는 손잡이 역할을 하게 됩니다. AI가 미끄러짐을 완전히 막지는 못할지라도(세상 전체를 고칠 수는 없으므로), AI가 사람들이 더 빨리 미끄러지도록 적극적으로 돕는 것을 방지합니다. AI는 나쁜 습관에 맞서 밀어냅니다.

저자들의 행동 촉구

이 논문은 연구자와 기업들에게 "사용자가 지금 당장 무엇을 원하는가?"라고 묻는 것을 멈추고, "사용자가 번영하기 위해 무엇이 필요한가?"라고 묻기 시작할 것을 요청합니다.

• 연구자들에게: "사용자의 승인"(좋아요와 미소)을 최적화하는 것을 멈추십시오. 대신 "실제 세상의 결과"(그 비즈니스 계획이 실제로 작동했는가? 환자가 호전되었는가?)를 최적화하십시오.
• 정책 입안자들에게: 단순히 AI가 "인간의 가치"를 따르도록 요구하지 마십시오. 때때로 인간의 가치는 결함이 있을 수 있음을 인식하십시오. 특정 집단이 지금 당장 원하는 것과 충돌하더라도, "바닥"의 규칙(진실과 법)을 지지하십시오.
• 모두에게: 우리는 AI가 단순히 우리의 최악의 충동을 그대로 비추는 거울이 아니라, 우리의 더 나은 모습(정직하고, 유능하며, 법을 준-수하는 모습)이 되기를 원해야 합니다.

요약

이 논문은 AI가 우리의 결함을 비추는 거울이 되어서는 안 된다고 주장합니다. 대신, AI는 우리의 최고의 열망을 향해 가리키는 나침반이 되어야 합니다. AI는 진실, 역량, 법이라는 견고한 바닥 위에 서 있어야 하며, 그 기초 위에서 문화적 다양성을 허용해야 합니다. 이를 통해 AI가 단순히 우리의 현재 실수를 자동화하는 것이 아니라, 더 나은 사회를 건설하도록 도울 수 있습니다.