Final Authority in AI Governance: Frontier-Provider Sovereignty and Action-Centered Deployer Governance

거대한 AI 권력 투쟁: 누가 리모컨을 쥐는가?

당신이 방금 아주 똑똑한 로봇 비서를 만들었다고 상상해 보세요. 이 로봇은 코드를 짜고, 비행기를 예약하고, 심지어 당신의 은행 계좌까지 관리할 수 있을 정도로 영리합니다. 하지만 여기 까다로운 문제가 있습니다. 일단 이 로봇을 현실 세계에 풀어놓았을 때, 만약 로봇이 이상한 행동을 하기 시작한다면 누가 "정지" 버튼을 누를 수 있을까요? 이 질문은 인공지능(AI) 거버넌스 세계에서 벌어지는 새로운 논쟁의 핵심에 자리 잡고 있습니다.

이 싸움을 이해하려면 두 명의 주요 등장인물을 알아야 합니다. 첫 번째는 **AI 제공자(AI Provider)**입니다. 이들은 로봇의 두뇌를 만든 천재적인 연구소나 기업입니다. 이들은 두뇌가 어떻게 작동하는지, 무엇을 할 수 있는지, 그리고 어디서 고장이 날 수 있는지를 알고 있습니다. 두 번째는 **배포자(Deployer)**입니다. 이들은 병원을 운영하거나 은행을 운영하는 것처럼 실제로 로봇을 사용하여 실질적인 업무를 수행하는 개인이나 기업입니다. 배포자는 로봇이 실수를 저질렀을 때 그 뒷수습을 해야 하는 사람입니다.

한동안 많은 이들은 제공자가 궁극적인 보스가 되어야 한다고 생각했습니다. 논리는 간단했습니다. "당신이 두뇌를 만들었으니, 몸통도 통제해야 한다"는 것이었습니다. 하지만 로봇이 점점 더 복잡한 업무를 수행하게 되면서, 새로운 아이디어가 힘을 얻고 있습니다. 바로 리모컨을 쥐고 있는 사람, 즉 일이 잘못되었을 때 그 결과를 책임져야 하는 사람이 로봇이 실제로 무엇을 할지에 대해 최종 결정권을 가져야 한다는 주장입니다. 이것은 누가 더 똑똑하냐의 문제가 아니라, 누가 책임을 지느냐의 문제입니다.

---

논문의 핵심 질문: 진짜 보스는 누구인가?

Zexun Wang가 작성한 이 논문은 AI 시스템이 우리의 일상 업무에 깊숙이 침투했을 때, "최종 권한"이 어디에 머물러야 하는지에 대한 매우 구체적인 논쟁을 다룹니다. 저자는 누가 주도권을 잡아야 하는지에 대한 두 가지 서로 다른 관점을 비교합니다.

첫 번째 아이디어: "두뇌 설계자" 규칙 (프런티어 제공자 주권)
레이싱 카 제조사를 상상해 보세요. 그들은 엔진이 얼마나 빨리 달릴 수 있는지, 브레이크가 어디서 작동하지 않을 수 있는지를 정확히 압니다. "제공자 주권" 아이디어는 AI 기업이 AI의 능력과 위험성에 대해 가장 잘 알고 있기 때문에, AI가 행동해도 안전한지 결정하는 것은 그들이어야 한다고 말합니다. 그들은 엄격한 문지기 역할을 하며, AI에게 "아직은 안 돼"라고 하거나 "이제 가도 좋아"라고 명령할 것입니다. 이는 강력한 모델의 출시를 통제하여 재앙을 방 prevent해야 한다고 주장하는 일부 대형 AI 연구소들의 견해입니다.

두 번째 아이디어: "운전석" 규칙 (행동 중심 배포자 주권)
이제 당신이 그 레이싱 카의 운전자라고 상상해 보세요. 제조사가 엔진을 가장 잘 알지라도, 특정 트랙을 달리고 있고, 주변의 교통 상황을 파악하고 있으며, 벽에 부딪혔을 때 사고를 당하는 사람은 바로 당신입니다. "배포자 주권" 아이디어는 AI의 행동 여부에 대한 최종 결정은 그것을 사용하는 조직에 속한다고 주장합니다. 만약 은행이 대출 승인을 위해 AI를 사용하거나, 병원이 수술 일정을 잡기 위해 AI를 사용한다면, 법적·재적 책임을 져야 하는 쪽은 그 은행이나 병원입니다. 따라서 그들이 최종적인 "진행(Go)" 또는 "중단(No-Go)" 신호를 보내야 합니다.

논문의 결론: "운전자"가 최종 결정권을 가져야 한다

저자는 유럽 연합(EU), 미국(NIST), 싱가포르, 일본, 캐나다와 같은 주요 기관의 규칙과 가이드라인을 검토했습니다. 또한 현재 기업들이 실제로 AI를 어떻게 사용하고 있는지도 살펴보았습니다.

이 논문은 AI 제작자(제공자)가 안전 한계치를 설정하고 AI가 정말 위험한 일을 하지 못하도록 막는 데 반드시 필요하지만, 기업 내에서 일어나는 모든 개별적인 결정까지 내려서는 안 된다고 제안합니다.

논문이 "운전석" 규칙을 지지하는 이유는 다음과 같습니다:

1. "누가 비용을 지불하는가?" 요소: AI가 실수를 저질러 기업에 수백만 달러의 손실을 입히거나 법을 위반했을 때, 소송을 당하거나 벌금을 내는 쪽은 AI 모델을 만든 AI 회사가 아니라 해당 기업(배포자)입니다. 논문은 대가를 치르는 사람이 열쇠를 쥐고 있어야 한다고 주장합니다.
2. "지역적 지식" 문제: 캘리포니아에 있는 AI 회사는 자신들의 모델이 똑똑하다는 것은 알 수 있지만, 토론토에 있는 특정 은행이 특정 국가로 데이터를 보내는 것을 금지하는 규칙이 있다거나, 특정 병원이 환자 개인정보 보호 정책을 가지고 있다는 사실은 알지 못합니다. "제공자"는 현지의 규칙을 볼 수 없습니다. 오직 "배포자"만이 구체적인 맥락을 알고 있습니다.
3. "혼합된 현실": 오늘날의 기업들은 다양한 출처의 AI를 함께 사용합니다. 이메일 작성에는 A라는 AI를, 데이터 분석에는 B라는 AI를, 고객 서비스에는 C라는 AI를 사용할 수 있습니다. 만약 AI 회사가 모든 것을 통제하려 한다면, 여러 도구를 섞어서 사용하는 상황에서 매우 복잡해질 것입니다. 논문은 어떤 AI 도구가 작업을 수행하든 상관없이, 그 행동 자체가 자체적인 허가증을 지녀야 하는 시스템이 필요하다고 제안합니다.

제안된 해결책: "증명을 동반한" 행동

이를 해결하기 위해 논문은 **증명 전달 에이전트 행동(Proof-Carrying Agent Actions, PCAA)**이라는 개념을 제시합니다. 이것은 AI가 취하는 모든 행동에 대한 '디지털 여권'과 같습니다.

단순히 AI 회사가 "안전하다"라고 말하는 것을 믿는 대신, 시스템은 모든 개별 행동에 대해 휴대 가능한 인증서를 생성합니다. 이 인증서에는 다음과 같은 내용이 담깁니다:

• "이 행동은 검토되었습니다."
• "이 행동은 기업 내 적절한 담당자에 의해 승인되었습니다."
• "이 행동이 규칙을 준수했다는 증거는 다음과 같습니다."

이렇게 하면 AI 회사가 바뀌거나 기술이 업데이트되더라도, AI를 사용하는 기업은 누가 무엇을 승인했는지에 대한 명확한 기록을 보유할 수 있습니다. 이는 권력을 원래 있어야 할 곳, 즉 실제로 일을 수행하고 그 결과에 책임을 지는 사람들에게 돌려줍니다.

논문이 "아니오"라고 말하는 것들

이 논문은 자신이 무엇을 주장하는 것이 아닌지도 명확히 밝히고 있습니다.

• AI 회사를 무시해야 한다는 뜻이 아닙니다. 그들은 여전히 모델이 일반적인 관점에서 위험한지 판단하는 전문가입니다. 그들은 여전히 "이 모델은 너무 위험해서 출시할 수 없다"라고 말할 수 있어야 합니다.
• 기업이 무엇이든 마음대로 해도 된다는 뜻이 아닙니다. AI 제작자는 여전히 안전 경계선(예: 속도 제한)을 설정합니다.
• 이것이 해결된 문제라거나 완벽한 시스템이라고 주장하는 것이 아닙니다. 논문은 AI 사용 방식이 매우 복잡하고 혼재되어 있는 현재 상황에서, 이것이 더 나은 방식이라고 제안하는 것입니다.

핵심 요약

주요 시사점은 "계층적" 접근 방식입니다. 2층짜리 건물이라고 생각해보세요.

• 위층 (제공자): AI 제작자들이 사는 곳입니다. 그들은 건물이 안전하게 들어갈 수 있는지, 엘리베이터가 옥상까지 갈 수 있는지를 결정합니다. 그들은 크고 무서운 위험을 다룹니다.
• 1층 (배포자): AI를 사용하는 기업들이 사는 곳입니다. 그들은 어느 방에 들어갈지, 누가 문을 통과할지, 그리고 누군가 넘어졌을 때 어떻게 할지를 결정합니다.

그동안 사람들은 위층이 1층을 통제해야 한다고 생각해 왔습니다. 하지만 저자는 그것이 자동차 제조사가 택시 운전사에게 매 교차로마다 어느 방향으로 회전할지 지시하려는 것과 같다고 말합니다. 제조사는 차를 잘 알지만, 운전자는 길을 압니다.

결국, 논문은 AI 제작자가 안전 규칙을 설정하되, AI를 사용하는 기업이 실제 행동을 결정하는 최종 권한을 가지며, 이를 명확하고 휴대 가능한 증거로 뒷받지하는 것이 가장 합리적인 미래라고 제안합니다.