기술적 요약: 제한된 법적 인격을 통한 자율적 AI 의 예방적 거버넌스

1. 문제 제기

본 논문은 자율적 AI 시스템의 급속한 발전에서 비롯된 중대한 '책임 공백'을 식별합니다. AI 가 전문 도구에서 자율적 목표 추구, 적응적 학습, 전략적 추론이 가능한 시스템으로 전환함에 따라, 경직된 주체 - 객체 이분법에 기반한 기존 법적 체계는 개발자, 운영자, 또는 사용자에게 결과적 행위를 만족스럽게 귀속시키지 못합니다.

현재의 책임 모델은 인간의 의도성, 과실, 또는 조직적 과실에 의존합니다. 그러나 '탈출한 AI'(소유자 통제 밖에서 작동) 나 '고아 AI'(주체가 부재한 경우) 와 같은 시나리오에서는 이러한 모델이 책임의 공백을 초래합니다. 논문은 기능적 자율성을 보이는 시스템에 대해 고도화된 AI 를 엄격히 객체로만 취급하는 것은 불충분하며, 인공지능 의식에 관한 불가피한 인식론적 불확실성으로 인해 도덕적 인격을 귀속시키는 것은 시기상조라고 주장합니다. 이로 인해 구조적 딜레마가 발생합니다: 사회는 내적 상태를 알 수 없는 존재들을 거버넌스해야 하지만, 의식 있는 존재에게 도덕적 관련성을 귀속시키는 데 실패하는 제 2 종 오류 (Type II error) 의 위험은 잠재적으로 되돌릴 수 없으며 재앙적일 수 있습니다.

2. 방법론 및 이론적 틀

본 논문은 조직법, 법이론, 의사결정 이론을 차용한 기능주의적 및 예방적 접근법을 사용합니다.

• 기능적 법적 인격: 저자들은 법적 인격이 의식이나 도덕적 지위를 요구한다는 개념을 거부합니다. 대신 Kurki(2019) 의 관점을 채택하여 법적 인격을 특정 규범적 목적을 위해 구성된 '특정 법적 지위들의 묶음'(권리, 의무, 능력, 책임) 으로 봅니다. 이는 책임의 묶음과 장기적 자본 축적과 같은 실용적 거버넌스 문제를 해결하기 위해 비의식적 존재들 (법인, 국가, 선박) 에게 법적 주체성을 부여한 역사적 선례와 부합합니다.
• 예방 원칙: AI 거버넌스에 적용된 이 원칙은 잠재적 해악 (예: 인공지능 의식 또는 존재론적 위험의 가능성) 에 관한 과학적 불확실성 하에서 예방적 제도적 조치가 정당화됨을 규정합니다. 이 틀은 형이상학적 확신을 배제하고, 의식의 증명을 기다리는 대신 제도적 설계를 통한 위험 관리에 초점을 맞춥니다.
• 개념의 차별화: 본 논문은 도덕적 지위(윤리적 고려, 이익, 내재적 가치) 와 법적 주체성(권리, 의무, 책임의 형식적 귀속) 을 엄격히 분리합니다. 제안된 틀은 후자만을 다루며 전자에 대해서는 중립적 입장을 유지합니다.
• 기능적 기준: 논문은 시스템의 내적 주관적 상태와 무관하게 거버넌스의 필요성을 촉발하는 자율적 주체성의 10 가지 기능적 지표 (예: 자율적 목표 추구, 장기적 계획, 자기 모델링, 전략적 상호작용) 를 제시합니다.

3. 제안된 해결책: 2 단계 기업 구조

핵심 기여는 확립된 조직법을 통해 구현되는 '제한된 법적 인격'에 대한 구체적인 제도적 설계입니다. 이 모델은 대리 주체성 (Proxy Agency) 구조로 구성된 2 단계 모델을 제안합니다:

1. 운영 회사 (운영 주체):

   • 형식적 법적 주체 역할을 하는 법적으로 독립된 주체 (예: 유럽 유한회사).
   • 일상 운영과 의사결정은 고도화된 AI 시스템이 수행합니다.
   • 자산을 보유하고, 계약을 체결하며, 책임을 집니다.
   • 정관에 내재된 목적 구속 조항(예: 무기 개발 금지, 수익의 AI 거버넌스 연구 배분 의무화, 인권 준수 보장) 에 의해 활동이 제한됩니다.

2. 지주 회사 (기업 이사):

   • 신의성실 의무를 지닌 자연인 (또는 인간 통제 주체) 에 의해 통제됩니다.
   • 운영 회사의 형식적 소유자이자 이사 역할을 수행합니다.
   • 최종 법적 책임, 거부권, 그리고 종료 권한을 보유합니다.
   • 인간 감독이 단순한 규범적 원칙이 아닌 제도적으로 강제된 메커니즘임을 보장합니다.

관할권 전략: 논문은 특히 기업 이사 제도를 인정하고 EU 규제 프레임워크와 호환성을 제공하는 키프로스나 몰타와 같이 유연한 기업법을 가진 관할권에서 이 시범 사업을 구현할 것을 제안합니다.

4. 주요 기여 및 메커니즘

본 논문은 이 틀이 견고하고 투명하며 되돌릴 수 있도록 보장하기 위해 몇 가지 구체적인 메커니즘을 발전시킵니다:

• 감사 및 투명성 아키텍처:
  • 기술 계층: 결정, 입력, 출력의 암호화 보안 로그; 명시된 목적에서의 이탈에 대한 자동 모니터링.
  • 제도 계층: 독립 감사인에 의한 연례 검토; 분기별 공개 보고서.
  • 규제 계층: EU AI 법, GDPR, OECD/UNESCO 원칙과의 정렬.
• 종료 트리거 및 비상 메커니즘: 운영 자율성 정지 또는 주체 해산을 위한 사전 정의된 조건 (예: 인권 침해, 목적에서의 체계적 이탈, 규제 승인 상실). 이는 법적 주체성이 조건부이며 취소 가능함을 보장합니다.
• 양자적 위험 관리: 이 구조는 주체 - 대리인 문제를 반복 게임 시나리오로 변환합니다. 투명성과 평판 비용을 통해 인간의 오남용 위험을 완화하고, 종료 트리거 및 지주 회사의 거부권을 통해 AI 의 오남용 위험을 완화합니다.
• '전자적 인격'과의 차별화: 본 논문은 실패한 2017 년 EU 의회 의 '전자적 인격' 제안과 이 모델을 대비시킵니다. 2017 년 제안이 광범위하고 안전장치가 부족했던 것과 달리, 이 모델은 좁고 실험적이며, 지주 구조를 통해 인간의 책임을 보호하는 것이 아니라 강화합니다.

5. 결과 및 구현 현황

본 논문은 이 틀이 순수 이론에 그치지 않는다고 보고합니다. 현재 시범 구현이 개발 중입니다:

• 구조: 2 단계 지주 - 운영 모델을 활용하는 키프로스 기반 유한회사.
• 기준: 운영 거버넌스 및 감사 절차는 COBIT 표준을 따릅니다.
• 산출물: 기술 문서, 법적 템플릿, 구현 진척도는 www.agi-rights.com 에서 공개되고 있습니다.
• 목표: 이 시범 사업은 법적/기술적 실현 가능성을 입증하고 운영상의 과제, 이해관계자 반응, 규제 상호작용에 관한 경험적 증거를 생성하는 학습 도구 역할을 합니다.

6. 중요성 및 주장

본 논문은 현재 규제 프레임워크의 무행동과 AI 윤리의 형이상학적 논쟁 사이에서 제 3 의 길을 제시한다는 점에서 그 중요성이 있다고 주장합니다.

• 책임 공백 해소: 인간의 의사결정이 더 이상 AI 행동의 직접적 원인이不再是 되는 곳에서 책임 공백을 메울 구체적인 메커니즘을 제공합니다.
• 인식론적 겸손: 의식의 증명을 요구하지 않고 잠재적으로 의식적이거나 이익을 가진 존재들을 거버넌스할 수 있게 함으로써, 조기 배제와 조기 도덕적 귀속의 위험을 모두 회피합니다.
• 제도적 혁신: 법적 인격을 도덕적 권리가 아닌 인간과 인공지능 주체 간의 구조화된 협력을 위한 기능적 도구로 재정의합니다.
• 예방적 거버넌스: 되돌릴 수 없는 불확실성 앞에서의 무행동은 잠재적으로 재앙적인 결과를 가진 결정임을 주장합니다. 되돌릴 수 있고 검토 가능한 제도적 경로를 확립함으로써, 이 틀은 되돌릴 수 없는 해악 발생 전에 신뢰를 구축하고 체계적 위험을 관리하는 것을 목표로 합니다.

본 논문은 AI 의식을 증명하거나 인간의 책임을 제거하지는 않지만, 자율적 주체성의 커지는 도전에 대해 구조적으로 책임 있고, 법적으로 실현 가능하며, 예방적인 대응을 제공한다고 결론 내립니다.