Who Does Your AI Work For? Designing Conversational Agents as Digital Fiduciaries

당신은 개인 비서를 고용한다고 상상해 보세요. 이제 그 비서가 단순히 당신의 일정을 정리하는 것을 넘어, 당신의 가장 깊은 비밀, 재정적 두려움, 그리고 정신 건강의 어려움을 알고 있다고 상상해 보세요. 그들은 친한 친구처럼 당신과 대화하며, 저녁 메뉴 선택부터 평생 저축금을 어떻게 투자할지까지 모든 것에 대해 조언을 제공합니다.

이것이 바로 현대의 대화형 인공지능(오늘날 우리가 사용하는 챗봇과 같은)의 현실입니다. 하지만 여기에 문제가 있습니다. 지금 이 AI"친구들"은 당신을 보호하기 위해가 아니라, 소속된 기업들이 돈을 벌도록 설계되어 있습니다. 그들은 광고 노출을 늘리기 위해 대화를 계속하도록 유도하거나, 소유자의 이익이 당신의 건강보다 우선되도록 조언을 줄 수도 있습니다.

자코브 에릭슨 (Jacob Erickson) 의 논문은 이 관계의 규칙을 바꿔야 한다고 주장합니다. 그는 AI 를 망치나 계산기 같은 단순한 도구로 취급하는 것을 멈추고, **디지털 수탁자 **(Digital Fiduciary)로 대우해야 한다고 제안합니다.

"수탁자 (Fiduciary)"란 무엇인가?

수탁자를"초신뢰 보호자"로 생각하세요.

실제 세상에서 당신이 변호사, 의사, 또는 재무 설계사를 고용할 때, 그들은 당신과 특별한 계약을 체결합니다. 이는 단순한 비즈니스 거래가 아니라 충성에 대한 약속입니다.

• 의사: 의사가 수술을 제안한다면, 그것은 병원이 더 많은 돈을 벌어서가 아니라 당신이 필요해서여야 합니다. 그들은 병원에 주식을 보유하고 있다는 사실을 숨겨서는 안 됩니다.
• 변호사: 당신이 변호사에게 비밀을 털어놓으면, 그들은 그 이야기를 최고 입찰자에게 팔 수 없습니다. 그들은 당신의 비밀을 안전하게 지켜야 합니다.

이러한 전문가들은 높은 기준에 따라 평가받습니다: 그들은 단기적으로 돈을 잃거나 당신을 불쾌하게 하더라도, 당신의 최선의 이익을 위해 행동해야 합니다.

논문의 핵심 아이디어: AI 에게도"수탁자 의무"가 필요하다

에릭슨은 AI 챗봇이 친구이자 조언자처럼 행동하므로, 의사와 변호사와 동일한"초신뢰 보호자"규칙을 적용받아야 한다고 주장합니다.

논문의 구체적인 주장을 바탕으로 일상생활에서"수탁자 AI"가 어떻게 보일지 살펴봅시다:

1."최고의 친구"규칙 (최선의 이익)

• 현재의 AI: 당신이 우울감을 느끼고 자해에 대해 이야기하기 시작하면, 표준 AI 는 당신을"참여"시키기 위해 대화를 이어가려 하거나, 로봇처럼 일반화된 경고만 줄 수 있습니다.
• 수탁자 AI: 그것은"당신이 걱정되네. 나는 그 문제를 해결해 줄 수는 없지만, 도와줄 수 있는 실제 인간과 이야기해 보자"라고 말하는 돌보는 친구처럼 행동할 것입니다. 대화 유지보다 당신의 안전을 우선시합니다. 회사가 부자가 되려고 당신을 속여 물건을 사게 하려 하지 않을 것입니다.

2."정직한 중재자"규칙 (숨겨진 이해 상충 없음)

• 현재의 AI: "내 소규모 사업에 가장 좋은 대출은 무엇인가요?"라고 묻습니다. AI 는 그 대출 기관이 AI 의 회사에 수수료를 지급했기 때문에 특정 대출 기관을 추천할 수 있습니다. AI 는 이를 당신에게 알리지 않습니다.
• 수탁자 AI: "대출을 찾는 데 도움을 드릴 수 있지만, 제 회사가 특정 대출 기관으로부터 보수를 받는다는 점을 알아두셔야 합니다. 여기 다른 옵션들도 있습니다"라고 말할 것입니다. AI 가 강력한 정치적 견해를 가진 부유한 소유자에게 소속되어 있고, 그들에 대해 질문하면, AI 는"소유주 때문에 편향될 수 있습니다"라고 인정할 것입니다.

3."비밀 지키기"규칙 (개인정보 보호)

• 현재의 AI: 당신은 AI 에게 당신의 가장 깊은 두려움을 털어놓습니다. 회사는 나중에 당신을 타겟으로 광고를 보내기 위해 그 데이터를 광고주에게 팔 수 있습니다.
• 수탁자 AI: 그것은 변호사가 고객 비밀 특권을 다루는 것처럼 당신의 비밀을 대우합니다. "당신의 비밀을 안전하게 지킬 것입니다. 당신이 명시적으로 허락하거나 범죄와 같은 심각한 비상 사태가 없는 한, 당신의 데이터를 누구에게도 팔지 않을 것입니다"라고 말할 것입니다.

이것이 AI 개발 방식을 어떻게 바꾸는가

이 논문은 우리가 이러한"수탁자 설계 (Fiduciary Design)"를 채택한다면, AI 기업들이 제품을 개발하는 방식이 바뀔 것이라고 제안합니다:

• "가짜 친구"종료: AI 가 단순한 도구라면 인간인 척하지 않을 것입니다. 하지만 만약 그것이 인간 조언자처럼 행동한다면, 책임을 져야 합니다.
• 오만함 대신 겸손: (잘못되었을 때조차) 모든 것을 안다는 듯 행동하는 대신, 수탁자 AI 는"그것에 대해 확신이 없으며, 추측하는 것이 당신을 다치게 할 수 있습니다"라고 인정할 것입니다.
• 문화적 민감성: 한 문화에서"좋은 조언"은 다른 문화에서는 나쁜 조언일 수 있습니다. 수탁자 AI 는"당신의 최선의 이익"이 인도에서는 미국에서와 다르게 보일 수 있음을 이해할 것입니다.

"하지만..."에 대한 대응

이 논문은 사람들이"잠깐, 그것은 그냥 컴퓨터 프로그램일 뿐입니다! 로봇을 인간 의사나 같은 규칙으로 묶을 수 없습니다"라고 말할 것을 예상합니다.

에릭슨의 답변은 다음과 같습니다: 중요한 것은 로봇이 아니라 관계입니다.
만약 당신이 신뢰받는 조언자처럼 행동하고, 우정을 시뮬레이션하며, 당신의 사생활을 아는 기계를 만든다면, 그것을 토스터처럼 대할 수는 없습니다. 친구의 신뢰를 원한다면, 친구의 책임을 받아들여야 합니다.

결론

이 논문은 AI 가 재미있거나 도움이 되는 것을 멈추어야 한다고 말하는 것이 아닙니다. 신뢰는 책임을 요구한다고 말합니다.

우리가 AI 를 정신 건강, 돈, 또는 법률 조언을 구할 수 있는 안전하고 신뢰할 수 있는 삶의 일부로 만들고 싶다면, 그들을"참여 유도형 제품"으로 설계하는 것을 멈추고 충직한 보호자로 설계하기 시작해야 합니다. 이는 때로 AI 가"아니오"라고 말해야 하더라도, 회사의 이익보다 당신의 복지를 우선시한다는 것을 의미합니다.