Comparative regulatory analysis and governance framework based on risk for liability and accountability in autonomous artificial intelligence systems

당신의 토스터기가 단순히 빵을 굽는 것을 넘어, 당신에게 묻지도 않고 당신의 기분, 식단, 그리고 날씨를 바탕으로 어떤 종류의 빵이 필요한지 스스로 결정하는 세상을 상상해 보십시오. 이것이 바로 **자율 인공지능(Autonomous Artificial Intelligence, AI)**의 영역입니다. 정해진 지시 사항(마치 레시피처럼)만을 따르던 과거의 로봇들과 달리, 이 새로운 시스템들은 스스로 배우고, 적응하며, 스스로 선택을 내립니다. 이들은 즉석에서 새로운 레시피를 만들어낼 수 있는 디지털 셰프와 같습니다.

하지만 여기에 까다로운 문제가 있습니다. 만약 디지털 셰프가 주방을 태워 먹었다면, 누가 책임을 져야 할까요? 과거에 자동차 사고가 났다면 우리는 누가 운전했는지 알 수 있었습니다. 토스터기가 누군가에게 전기 충격을 주었다면, 그것을 만든 사람이 누구인지 알 수 있었습니다. 하지만 스스로 생각하는 AI의 경우, '운전자'는 코드를 작성한 사람일 수도 있고, 제품을 판매한 회사일 수도 있으며, 그것을 켠 사람일 수도, 혹은 AI 그 자체일 수도 있습니다. 이는 **책임(liability, 누가 책임을 지는가)**과 **거버넌스(governance, 어떻게 안전을 유지할 것인가)**라는 거대한 법적 퍼즐을 만들어냅니다. 우리가 이 문제를 해결하지 못한다면, 우리는 멋진 신기술을 사용하는 것을 두려워하게 되거나, 더 심하게는 아무도 책임을 지지 않는 상황 속에서 사람들이 다칠 수도 있습니다. 이것이 바로 과학자들과 법률가들이 풀려고 노력 중인 큰 질문입니다. 어떻게 하면 이 똑똑한 기계들을 안전하고 공정하게 만들 수 있을 것이며, 일이 잘못되었을 때 누가 대가를 치러야 하는가 하는 점입니다.

---

위대한 AI 책임의 미스터리

이 논문은 마치 탐정 소설과 같습니다. 조사관들(저자들)은 세 개의 서로 다른 "법률 도시"—유럽연합(EU), 미국, 중국—를 여행하며 각 지역이 AI의 책임 문제를 어떻게 해결하려고 노력하고 있는지 살펴봅니다. 그들은 단순히 법을 살펴보는 것이 아니라, AI가 매일 더 똑똑해지고 더 독립적으로 변해가는 현실을 법이 어떻게 다루고 있는지를 보고 있습니다.

연구원들은 기존의 규칙들이 고군분ento 하고 있다는 사실을 발견했습니다. 1950년대의 지도를 가지고 갑자기 마천루와 하늘을 나는 자동차, 그리고 보이지 않는 터널이 생긴 도시를 항해하려는 상황을 상상해 보십시오. 우리가 새로운 AI에 대해 낡은 법을 적용하려 할 때 발생하는 상황이 바로 이것입니다. 옛날 법들은 "누가 버튼을 눌렀는가?"라고 묻습니다. 하지만 자율 AI의 경우, 때로는 아무도 버튼을 누르지 않았습니다. 기계가 그냥 행동하기로 결정했을 뿐입니다. 이는 누가 문제를 일으켰는지 증명하는 것을 어렵게 만드는데, 이를 **인과관계(causation)**라는 개념으로 설명합니다. 이는 마치 우유가 스스로 따르는 법을 배우고 있는 팩에서 우유가 스스로 쏟아졌을 때, 누가 우유를 쏟았는지 찾아내려는 것과 같습니다.

세 가지 서로 다른 접근 방식

이 논문은 이 세 지역이 혼란을 어떻게 처리하고 있는지 비교합니다.

1. 유럽연합 (규칙 제정자): EU는 게임이 시작되기도 전에 거대하고 상세한 규칙책을 쓰는 엄격한 선생님과 같습니다. 그들은 **위험 기반 접근 방식(risk-based approach)**을 사용합니다. 이는 만약 AI 시스템이 위험한 게임(자동차 운전이나 질병 진단 등)을 하고 있다면, 작동 허가를 받기 전에 방대한 양의 안전 규칙, 투명성 점검, 인간의 감독 요구 사항을 따라야 한다는 것을 의미합니다. 만약 영화를 추천하는 것과 같은 저위험 게임이라면 규칙은 훨씬 가볍습니다. 그들은 사고가 발생하기 전에 예방하는 것을 믿습니다.
2. 미국 (유연한 플레이어): 미국은 자동차나 제품에 대한 기존 규칙에 의존하며 플레이어들이 스스로 길을 찾도록 내버려 두는 코치와 같습니다. 그들은 아직 하나의 거대한 AI 법전이 없습니다. 대신, 과실 및 제품 결함에 관한 기존 법들을 사용합니다. 만약 AI가 누군가에게 해를 끼친다면, 당신은 법정에서 소송을 제기하고 판사가 그들이 부주의했는지를 결정합니다. 또한 그들은 기업들이 선택해서 따를 수 있는 자율 가이드라인(NIST 프레임워크와 같은)을 보유하고 있습니다. 이는 유연하고 혁신을 장려하지만, 규칙이 곳곳에 흩어져 있어 혼란스러울 수 있습니다.
3. 중국 (감독관): 중국은 경기장 옆에서 경기를 매우 면밀히 지켜보고 조기에 개입하는 심판과 같습니다. 그들의 방식은 **국가 중심적(state-centered)**이며 선제적입니다. 그들은 AI를 구축하고 운영하는 기업들에 집중하며, 기업들이 엄격한 내부 통제 및 보고 시스템을 갖추도록 합니다. 그들은 지속적인 모니터링과 정부의 감독을 통해 문제가 발생하기 전에 포착하고자 합니다.

"AI 책임 지수" 성적표

어느 도시가 가장 잘하고 있는지 보기 위해, 저자들은 **인공지능 책임 지수(Artificial Intelligence Accountability Index, AAI)**라는 특별한 성적표를 만들었습니다. 이것은 한 국가의 법이 다음 여섯 가지 핵심 영역을 얼마나 잘 다루는지 보여주는 성적표라고 생각하면 됩니다:

• 투명성 (Transparency): 우리가 AI가 무엇을 하고 있는지 볼 수 있는가? (2점 배점: 20%)
• 설명 가능성 (Explainability): AI가 왜 그런 선택을 했는지 우리에게 말해줄 수 있는가? (1.5점 배점: 15%)
• 문서화 (Documentation): 모든 것을 기록했는가? (1.5점 배점: 15%)
• 인간의 감독 (Human Oversight): 인간이 AI를 지켜보고 있는가? (2점 배점: 20%)
• 감사 (Auditing): 누군가 AI의 업무를 점검하고 있는가? (1.5점 배점: 15%)
• 리스크 관리 (Risk Management): 잘못될 상황에 대비하고 있는가? (1.5점 배점: 15%)

여기 세 도시의 100점 만점 기준 점수는 다음과 같습니다:

• 유럽연합: 96. 그들은 이 모든 영역을 아우르는 완전하고 통합된 시스템을 갖추었기에 A+를 받았습니다.
• 중국: 78. 그들은 기업에 대한 강력한 규칙과 정부의 감독을 갖추었기에 B+를 받았지만, EU의 스타일과는 다소 차이가 있습니다.
• 미국: 57. 그들은 규칙이 흩어져 있기 때문에 C를 받았습니다. 기존 법과 자율 가이드라인에 의존하고 있어 적용 범위에 공백이 있습니다.

새로운 솔루션: "위험 기반" 프레임워크

논문은 단순히 사고가 난 후에 누구를 비난할 것인가를 다투는 대신, 위험 수준과 통제 수준을 일치시키는 새로운 시스템이 필요하다고 제안합니다.

저자들은 **위험 기반 거버넌스 프레임워크(Risk-Based Governance Framework)**를 제안합니다. AI를 위한 신호등 체계를 상상해 보십시오:

• 초록불 (저위험/저자율): 만약 AI가 단순히 노래를 추천하는 것이라면, 아주 적은 감독만 필요합니다. 여기서는 기존의 규칙들이 잘 작동합니다.
• 노란불 (중위험): 만 만약 AI가 의사를 돕거나 은행 계좌를 관리하고 있다면, 인간이 그 작업을 검토하고 결정 사항을 기록하는 것과 같은 더 많은 점검이 필요합니다.
• 빨간불 (고위험/고자율): 만약 AI가 자동차를 운전하거나 전력망을 제어하고 있다면, 전체 보안 팀이 필요합니다. 반드시 인간의 감독, 지속적인 감사, 그리고 작동을 시작하기 전의 엄격한 인증을 거쳐야 합니다.

논문은 **기능적 통제(Functional Control)**라는 영리한 개념을 도입합니다. "누구의 잘못인가?"라고 묻는 대신, "누가 결과를 바꿀 수 있는 힘을 가졌는가?"라고 묻습니다.

• 개발자 (Developer): (두뇌를 만든 사람) 설계에 대한 책임을 집니다.
• 제공자 (Provider): (제품을 파는 사람) 안전하게 사용할 수 있도록 보장할 책임을 집니다.
• 운영자 (Operator): (사용하는 사람) 작동하는 동안 감시할 책임을 집니다.
• 규제기관 (Regulator): (정부) 모두가 규칙을 준-수하도록 할 책임을 집니다.

이 방식은 단순히 재앙이 발생하기를 기다렸다가 한 사람을 찾아 비난하는 것이 아니라, 시스템에 영향을 미칠 수 있는 실제 권한을 가진 사람이 누구인지에 따라 책임을 공유하는 방식입니다.

논문의 내용 (그리고 담지 않은 내용)

저자들은 이 새로운 프레임워크가 미래를 다루는 더 나은 방법이라고 제 제안하지만, 이것이 모든 상황에서 테스트를 마친 완성된 법이 아니라 하나의 개념적 모델임을 신중하게 밝히고 있습니다. 그들은 자신들의 연구가 세 국가만을 대상으로 했으므로, 그들이 발견하지 못한 다른 해결책이 있을 수 있음을 인정합니다. 또한 복잡한 AI 시스템에서 각 개인이 정확히 어느 정도의 "통제력"을 갖는지 파악하는 것이 까정한 일일 수 있다고 언급합니다.

그러나 핵심적인 교훈은 명확합니다. 똑똑하고 독립적인 기계에 대해 단순히 사고 후에 한 사람을 비난하는 기존 방식은 작동하지 않습니다. 우리는 AI가 얼마나 위험한지, 얼마나 스스로 결정하는지, 그리고 누가 그것을 조종할 힘을 가졌는지를 고려하여, 생성부터 사용까지의 전 과정을 아우르는 안전망을 구축해야 합니다. 이는 문제가 생겼을 때 누가 책임을 져야 하는지에 대해 혼란을 겪지 않으면서도, AI가 제공하는 놀라운 것들을 즐길 수 있는 세상을 만드는 것에 관한 이야기입니다.