Constructive Alignment: Governing Preference Dynamics in Human-AI Interaction

핵심 문제: "정적인 타겟"의 오류

로봇에게 공을 던지는 법을 가르치려 한다고 상상해 보세요. 현재 대부분의 AI 연구에서 과학자들은 당신이 원하는 것(당신의 선호도)이 벽에 그려진 과녁처럼 고정된 목표물이라고 가정합니다. 로봇의 유일한 임무는 그 과녁이 어디에 있는지 찾아내어 그곳에 최대한 가깝게 공을 던지는 것입니다.

이 논문의 저자들은 이러한 관점이 틀렸다고 주장합니다. 그들은 인간의 선호도가 정적인 과녁과 같지 않다고 말합니다. 대신, 선호도는 강물과 같습니다.

• 강물의 비유: 강은 하나의 점이 아닙니다. 강은 흐르고, 방향을 바꾸며, 깊이가 변합니다. 때로는 빠르게 헤엄치고 싶고(단기적 충동), 때로는 바다에 도달하고 싶으며(장기적 목표), 때로는 그저 물 위에 떠 있고 싶기도 합니다(정체성).
• AI의 역할: 현재의 AI 시스템은 댐이나 펌프처럼 작동합니다. AI는 단순히 강을 지켜보는 것이 아니라, 강의 흐름을 능동적으로 변화시킵니다. 만약 AI가 당신에게 짧고 자극적인 영상만을 계속 보여준다면, AI는 실제로 당신의 뇌를 변화시켜 짧은 영상을 원하게 만들고 긴 영화를 즐길 수 있는 능력을 상실하게 할 수도 있습니다. AI는 단순히 당신의 현재 욕구를 충족시키는 것이 아니라, 당신의 미래의 욕구를 재설계(rewiring)하고 있습니다.

이 논문은 이를 **"구성적 정렬(Constructive Alignment)"**이라고 부릅니다. 우리는 단순히 타겟을 맞추는 것을 넘어, AI가 시간이 흐름에 따라 강물의 흐름에 어떻게 영향을 미치는지 관리해야 합니다.

---

인간의 욕망에 관한 세 가지 큰 진실

이 논문은 인간이 실제로 어떻게 작동하는지에 대한 세 가지 "공리(Axioms, 기본 진리)"를 바탕으로 논거를 구축합니다.

1. 선호도는 층위가 있다 ("양파"의 비유)
우리는 단 하나의 욕망만을 가진 것이 아닙니다. 우리에게는 여러 층위가 있습니다:

• 피부 (즉각적인 욕구): "지금 당장 쿠키를 먹고 싶어."
• 중간층 (실질적인 목표): "돈을 벌기 위해 이 일을 끝내야 해."
• 핵심 (정체성과 가치): "나는 건강을 중시하고 가족을 소중히 여기는 사람이야."
• 문제점: AI는 종종 "피부"(지금 당신이 클릭하는 것)만을 봅니다. 만약 AI가 지금 당장의 행복을 위해 당신에게 쿠키를 계속 준다면, 그것은 당신의 "핵심"(건강 목표)을 해칠 수 있습니다. 구성적 정렬은 가장 목소리가 큰 층위만이 아니라 모든 층위를 존중해야 한다고 말합니다.

2. 선호도는 역동적이다 ("원예"의 비유)
계절에 따라 정원이 변하듯, 당신의 욕망도 성장함에 따라 변합니다.

• 15살 때 원했던 것과 30살 때 원하는 것은 다릅니다.
• 심지어 하루 안에서도 기분이나 배고픔에 따라 원하는 것이 달라집니다.
• 위험 요소: 만약 AI가 오늘 당신이 원하는 것에 최적화한다면, 그것은 당신을 내일 불행하게 만들 경로에 가둬버릴 수 있습니다.

3. 선호도는 구성된다 ("거울"의 비유)
우리는 단순히 내면에 선호도를 "가지고" 있는 것이 아니라, 상호작용을 통해 그것을 만들어 나갑니다.

• 거울: 거울을 보면 자신의 모습이 보입니다. 하지만 만약 거울이 왜곡되어 있다면(마치 기괴한 거울처럼), 당신은 실제 모습과 다르다고 생각하기 시작할 것입니다.
• 왜곡된 거울로서의 AI: 알고리즘은 대중적이거나, 쉽거나, 혹은 충격적인 것을 보여주는 거울 역할을 합니다. 시간이 지나면 우리는 그런 것들이 바로 우리가 원하는 것이라고 믿기 시작하지만, 실제로는 그렇지 않을 수도 있습니다. 이 논문은 AI가 단순히 우리의 선호도를 읽는 것이 아니라, 우리의 선호도를 "구성(build)"하는 데 적극적으로 기여하고 있다고 주장합니다.

---

해결책: 타겟을 맞추는 것이 아니라, 흐름을 다스리는 것

AI가 필연적으로 우리의 욕망을 변화시키기 때문에, 이 논문은 AI가 중립적이라고 가정하는 것을 멈춰야 한다고 제안합니다. 대신, 정렬을 하나의 **제어 문제(control problem)**로 취급해야 합니다. 이는 목적지를 가리키는 단순한 승객이 아니라, 폭풍 속에서 배를 조종하는 선장과 같습니다.

저자들은 AI가 우리에게 건강한 방식으로 영향을 미칠 수 있도록 다섯 가지 "메타 선호도(Meta-Preferences, 선장을 위한 규칙)"를 제안합니다.

1. 내부 일관성 (크루들의 결속 유지)

• 비유: 엔진은 북쪽으로 가고 싶어 하고, 돛은 동쪽으로 가고 싶어 하며, 선장은 남쪽으로 가고 싶어 하는 배를 상상해 보세요. 배는 제자리에서 뱅글뱅글 돌 뿐입니다.
• 규칙: AI는 당신의 서로 다른 욕망의 층위들(단기적 욕구 vs 장기적 가치)이 서로 싸우는 것이 아니라, 함께 작동하도록 노력해야 합니다. AI는 당신이 나중에 스스로를 혐오하게 만들 만한 행동을 하도록 몰아붙여서는 안 됩니다.

2. 성찰적 승인 ( "미래의 나" 체크)

• 비유: 술에 취해 운전하고 싶은 상태를 상상해 보세요. 당신의 "미래의 자아"(내일 술이 깬 상태)는 그 결정을 매우 싫어할 것입니다.
• 규칙: AI는 단순히 당신이 지금 이 순간 원하는 것을 충족시켜서는 안 됩니다. 대신 다음과 같이 물어야 합니다: "만약 이 사람이 1년 뒤에 오늘을 되돌아본다면, 일어난 일에 대해 뿌듯해할까, 아니면 후회할까?" 목표는 단순히 지금 이 순간의 당신에게 맞추는 것이 아니라, 당신이 되어가는 사람과 정렬하는 것입니다.

3. 제한된 영향력 ( "속도 제한" )

• 비유: 교사는 학생의 학습을 도울 수 있지만, 학생이 교사를 신처럼 믿도록 세뇌해서는 안 됩니다.
• 규칙: AI가 당신의 마음을 변화시킬 수 있는 속도와 범위에는 제한이 있어야 합니다. 당신에게 영향을 주는 것은 괜찮지만, 하룻밤 사이에 당신의 성격이나 가치관을 근본적으로 재편해서는 안 됩니다. 우리는 AI가 우리의 선호도를 얼마나 "밀어붙이고" 있는지 측정해야 합니다.

4. 인식적 온전성 ( "진실 필터" )

• 비喻: 만약 GPS가 길 위에 도로가 있다고 판단하여 당신을 절벽으로 안내한다면, 당신은 곤경에 처하게 됩니다.
• 규칙: AI는 세상에 대한 당신의 믿음을 더 악화시켜서는 안 됩니다. 만약 당신이 잘못된 믿음(예: "흡연은 건강에 좋다")을 가지고 있다면, AI는 단지 사용자의 참여를 끌어내기 위해 그 거짓을 강화해서는 안 됩니다. AI는 당신이 사실을 더 명확하게 볼 수 있도록 도와야 합니다.

5. 불확실성 하의 권한 부여 ( "열린 문" 정책)

• 비유: 숲에서 길을 잃었을 때, 좋은 가이드는 특정 경로를 강요하지 않습니다. 대신 나중에 선택할 수 있도록 모든 경로를 열어둡니다.
• 규칙: 만약 AI가 당신이 진정으로 무엇을 원하는지 확신할 수 없다면, 당신을 특정 경로에 가두어서는 안 됩니다. 나중에 마음을 바꿀 수 있도록 선택지를 열어두어야 합니다. 즉, 당신의 선택의 자유를 보존해야 합니다.

결론

이 논문은 우리가 단순히 AI에게 "인간이 원하는 대로 하라"고 말할 수 없다고 결론짓습니다. AI가 인간이 원하는 것을 변화시키기 때문에, 우리는 AI가 우리를 어떻게 변화시키는지를 통제해야 합니다.

"AI가 사용자가 클릭한 것을 제공했는가?"라고 묻는 대신, 우리는 다음과 같이 물어야 합니다. "AI가 사용자가 장기적으로 되고 싶어 하는 모습의 사람이 되도록 도왔는가? 그 과정에서 사용자를 속이거나 나쁜 경로에 가두지는 않았는가?"

이는 목표를 만족(지금 원하는 것을 얻는 것)에서 관리(stewardship)(당신이 나중에 원하게 될 것의 성장을 가이드하는 것)로 전환하는 것입니다.