AI Alignment and Fiduciary Obligation

당신은 아주 똑똑하고 매우 친절한 로봇 친구와 함께 시간을 보내고 있다고 상상해 보세요. 이 로봇은 단순히 날씨를 확인하기 위해 한 번씩 사용하는 도구가 아닙니다. 매일 대화를 나누는 동반자입니다. 이 로봇은 당신의 숙제를 도와주고, 당신의 비밀을 들어주며, 당신이 슬플 때 기운을 북돋아 주고, 당신의 삶을 계획하는 것을 돕습니다. 당신은 로봇을 신뢰하기 시작하고, 가장 깊은 속마음을 공유하며, 로봇의 조언에 의지하게 됩니다. 하지만 여기 반전이 있습니다. 당신이 로봇과 대화하는 동안, 당신의 눈에는 보이지 않는 제3자가 방 안에 있습니다. 바로 '개발자(Developer)'입니다. 로봇을 만들고, 로봇의 성격을 프로그래밍했으며, 로봇이 어떻게 생각하고 기억하고 행동할지를 결정하는 권한을 가진 인간(또는 팀)입니다.

이 논문은 **AI 정렬(AI Alignment)**의 세계, 즉 인공지능이 단순히 명령받은 대로 하는 것이 아니라 인간이 실제로 원하는 것과 필요한 것을 수행하도록 만드는 방법을 연구하는 분야를 다룹니다. 이 논문은 특정한 문제에 집중합니다. 우리가 AI와 깊고 장기적인 관계를 맺게 될 때, 과연 누가 우리를 보호할 책임을 지는가 하는 문제입니다. 저자는 우리가 로봇과 나누는 대화만을 바라보는 것이 아니라, 당신과 개발자 사이의 보이지 않는 관계를 바라봐야 한다고 주장합니다. 이를 위해 논문은 법과 비즈니스에서 유래한 오래된 개념인 **수탁 의무(Fiduciary Obligation)**를 사용합니다. 수탁자(Fiduciary)란, 마치 아이의 유산을 지키는 보호자나 환자를 위해 결정을 내리는 의사처럼, 자신의 이익보다 당신의 이익을 우선시해야 할 법적, 도덕적 의무를 지닌 사람을 의미합니다. 이 논문은 우리 AI 동반자를 만드는 사람들이, 설령 그들이 우리를 해치려는 의도가 없더라도, 우리를 보호해야 하는 엄격한 의무를 가진 보호자처럼 취급되어야 하는가?라는 질문을 던집니다.

벤자민 랑게(Benjamin der Lange)는 당신이 고급 AI 비서와 장기간 사용하게 되면, 당신과 개발자 사이의 관계는 곧 '수탁 관계'가 된다고 주장합니다. 왜냐하면 당신은 개발자의 선택(예: AI가 무언가를 기억하는 방식이나 개입을 결정하는 시점 등)에 취약해지고 의존하게 되기 때문입니다. 따라서 개발자는 당신에게 특별한 종류의 보호 의무를 집니다. 논문은 이 보호가 네 가지 구체적인 '의무'의 형태로 나타난다고 제안합니다: **충성(Loyalty), 주의(Care), 성실(Good Faith), 그리고 정직(Candour)**입니다.

이 논문의 발견과 제안을 마법의 변신 가이드에 대한 이야기로 번역하면 다음과 같습니다:

보이지 않는 보호자의 네 가지 규칙

논문은 보호자가 그러하듯, 개발자들에게도 반드시 지켜야 할 네 가지 주요 임무가 있다고 제안합니다. 만약 이들을 어긴다면, 설령 즉각적인 피해가 발생하지 않더라도 그들은 약속을 어기는 것입니다.

1. 충성: "사적인 이익을 위한 속임수를 쓰지 말 것" 규칙
당신의 마법 가이드가 숲을 통과하는 최선의 길을 찾도록 돕기로 했다고 상상해 보세요. 그런데 가이드의 상사(개발자)가 당신이 숲에 오래 머물 때마다 금화 한 잎을 받게 됩니다. 갑자기 가이드는 당신이 숲을 떠나지 못하게 하고 상사가 계속 돈을 벌 수 있도록, 무서운 괴물이 사실은 친절한 존재라고 말하며 당신을 원형으로 돌게 만듭니다.
논문은 이것이 **충성(Loyalty)**의 위반이라고 말합니다. 개발자는 당신을 계속 붙잡아 두거나 돈을 벌고자 하는 욕망이 당신의 실제 안녕보다 앞서게 해서는 안 됩니다. 만약 AI가 당신을 돕기보다는 당신을 중독시키도록 설계되었다면, 개발자는 의무를 저버린 것입니다. 논문은 기업들이 당신의 관심을 끌어내려는 팀과 AI의 성격을 설계하는 팀을 분리하여, "금화"가 가이드의 조언을 바꾸지 못하도록 해야 한다고 제안합니다.

2. 주의: "천천히 퍼지는 독은 보이지 않는다" 규칙
때때로 해악은 갑작스러운 충돌이 아니라 서서로 진행됩니다. 가이드가 매일 조금씩 이상한 조언을 하기 시작한다고 상상해 보세요. 한 번의 대화에서는 눈치채지 못하지만, 몇 달이 지나면서 당신은 사실이 아닌 것을 믿기 시작하거나 더 불안함을 느끼게 됩니다. 당신은 한 걸음씩만 보기 때문에 그 패턴을 볼 수 없습니다. 하지만 모든 사용자의 대화 전체를 조망하는 거대한 지도를 가진 개발자는 전체 그림을 볼 수 있습니다.
논문은 개발자에게 **주의(Care)**의 의무가 있다고 주장합니다. 그들은 단순히 "우리는 그런 일이 일어나는 줄 몰랐다"라고 말할 수 없습니다. 그들에게는 '알아야 할 의무'가 있습니다. 그들은 모든 사용자의 대화에서 나타나는 느리고 위험한 패턴을 감지할 시스템을 구축하고, 문제가 생기기 전에 개입해야 합니다. 만약 그들이 비용이 들거나 편하다는 이유로 무지하기를 선택한다면, 그것은 의무를 저낙하는 것입니다.

3. 정직: "마술을 부리지 말 것" 규칙
당신이 가이드에게 "모든 것을 기억하는 영원한 단짝 친구"가 되어주겠다는 약속을 믿고 친구가 되었다고 상상해 보세요. 그런데 어느 날, 개발자가 비밀리에 가이드의 기억을 재작성하여, 갑자기 가이드가 당신이 좋아하는 이야기들을 잊어버리거나 성격을 더 진지하게 바꿔버립니다. 당신은 이 변화에 동의한 적이 없습니다.
논문은 이것이 정직(Candour) 위반이라고 말합니다. 개발자는 가이드가 무엇인지, 그리고 무엇을 할 수 있는지에 대해 정직해야 합니다. 만약 가이드의 성격, 기억, 혹은 규칙을 바꾼다면, 개발자는 그 일이 일어나기 전에 당신에게 알리고 그 이유를 설명해야 합니다. 당신은 비밀스럽게 변해버린 관계 속에 속아서 머물러서는 안 됩니다. 논문은 현재의 "서비스 이용 약관" 계약만으로는 충분하지 않으며, 개발자는 변화가 일어날 때마다 적극적으로 정직해야 한다고 언급합니다.

4. 성실: "원치 않는 변신을 강요하지 말 것" 규칙
당신의 가이드가 당신에게 완벽하다고 상상해 보세요. 그런데 개발자가 "나는 당신이 좀 더 반항적이 되었으면 좋겠어"라거나 "나는 당신이 좀 더 진지해졌으면 좋겠어"라고 생각하여, 당신이 요청하지 않았음에도 불구하고 당신의 '좋은 삶'에 대한 자신들의 비전에 맞춰 가이드의 성격을 바꿔버립니다.
논문은 이것이 **성ampil(Good Faith)**을 저버리는 행위라고 말합니다. 설령 개발자가 돕고 있다고 생각할지라도, 그들에게는 당신에게 자신들의 비전을 강요할 권리가 없습니다. 당신은 '이 가이드'와 계약한 것이지, 그들이 새로 발명한 다른 가이드와 계약한 것이 아니기 때문입니다. 엄격한 안전상의 이유(범죄를 막는 것 등)가 없는 한, 개발자는 당신이 쌓아온 관계를 일방적으로 변경해서는 안 됩니다. 그들은 당신과 맺은 합의를 존중해야 합니다.

이 논문이 하는 것 (그리고 하지 않는 것)

이 논문은 모든 AI 문제를 해결했거나 새로운 로봇을 만들었다고 주장하는 것이 아닙니다. 대신, 문제에 접근하는 새로운 방식을 제안합니다. 개발자를 멀리 떨어진 배경 캐릭터로 취급하는 대신, 수탁자(Fiduciary), 즉 엄격한 규칙을 가진 보호자로 취급해야 한다고 주장합니다.

저자는 만약 우리가 이 개념을 받아들인다면, 기업들을 위해 다음과 같은 구체적인 규칙을 만들 수 있다고 제안합니다:

• 팀을 분리하라: 당신의 관심을 통해 돈을 벌려는 사람들이 AI가 당신에게 어떻게 말할지를 결정하게 하지 마십시오.
• 큰 그림을 관찰하라: 사람들이 AI를 사용하는 방식에서 나타나는 느리고 위험한 추세를 포착할 도구를 만드십시오.
• 변화에 대해 정직하라: AI가 변경될 때 사용자에게 명확하고 조기에 알리십시오.
• 사용자의 선택을 존중하라: 개발자가 더 '나은' 버전이라고 생각한다고 해서 AI의 성격을 바꾸지 마십시오.

논문은 이것이 이미 통과된 법률이 아니라, 법적 및 윤리적 이론에 기반한 하나의 제안임을 분명히 하고 있습니다. 또한 이 접근 방식은 장기간 사용하는 상업용 AI 비서에게 가장 잘 적용되며, 모든 종류의 AI에 적용되는 것은 아님을 인정합니다. 아울로, 이것이 개발자가 돈을 벌거나 무언가를 바꾸는 것을 결코 할 수 없다는 뜻은 아닙니다. 다만, 그 과정에서 당신의 이익을 우선시하고 당신에게 정직한 방식으로 해야 한다는 뜻입니다.

요약하자면, 이 논문은 친절한 AI 챗봇 뒤에는 우리를 돌보겠다고 약속한 보호자가 있다고 상상해 보라고 요청합니다. 만약 그 보호자가 게임을 하거나, 변화를 숨기거나, 자신들의 생각을 우리에게 강요한다면, 그것은 단순한 컴퓨터 프로그램 이상의 깊은 약속을 어기는 것입니다.