AI Accountability Infrastructure: Cryptographically Verifiable Decision Provenance for High-Stakes AI Systems

당신이 거대한 보이지 않는 로봇들이 모든 사람을 위해 인생을 바꾸는 결정을 내리고 있는 북적이는 도시를 걷고 있다고 상상해 보세요. 때때로 로봇은 당신의 대출 신청을 거절하거나, 영상을 삭제 대상으로 지정하거나, 의료 처방을 제안하기도 합니다. 과거에는 사람이 잘못된 선택을 했을 때 그 이유를 알고 싶다면 그 사람에게 물어보거나 그 사람의 일기를 확인할 수 있었습니다. 하지만 이 AI 로봇들은 일기를 쓰지 않으며, 종종 자신의 생각을 우리에게 이해할 수 있는 방식으로 설명하지 못합니다. 이는 거대한 문제를 야기합니다. 만약 로봇이 실수를 저질렀을 때, 어떻게 그 일이 일어났음을 증명할 수 있을까요?

이를 해결하기 위해 과학자들은 비행기 사고 시 조사관들에게 무엇이 잘못되었는지 알려주는 블랙박스와 유사한 AI용 "블랙박스"를 구축하려고 노력해 왔습니다. 또한 그들은 "설명 가능한 AI(Explainable AI)"를 사용하는데, 이는 마치 교사가 사후에 수학 문제를 설명하려고 애쓰는 것과 같지만, 정확히 어느 순간에 결정이 내려졌는지를 포착하는 데는 자주 실패하곤 합니다. 여기서 큰 과제는 두 가지 사이의 균형을 맞추는 것입니다. 즉, 우리는 AI에 책임을 묻기 위해 증거를 볼 수 있어야 하지만, 그렇다고 해서 모든 사람에게 가공되지 않은 데이터를 보여줄 수는 없습니다. 왜냐하면 그것이 개인의 비밀을 드러내거나 AI가 작동하는 방식을 노출하여 해커들이 악용할 수 있기 때문입니다. 이 논문은 이 복잡한 중간 지점으로 들어가 다음과 같은 질문을 던집니다. "우리는 AI의 결정을 변경 불가능하고, 프라이버시를 보호하며, 신뢰할 수 있는 집단이 합의했을 때만 잠금을 해제할 수 있는 방식으로 기록하는 시스템을 구축할 수 있는가?"

이 논문의 핵심 아이디어: AI "조작 불가능한 일기"

이 논문의 저자인 메즈바 우딘 라피(Mezbah Uddin Rafi)는 **AI 책임 인프라(AI Accountability Infrastructure, AAI)**라고 불리는 새로운 시스템을 제안합니다. 이것은 모든 고위험 AI 시스템이 반드시 작성해야 하는 마법 같고 깨지지 않는 일기라고 생각하면 됩니다. 하지만 이것은 단순한 일기가 아닙니다. 이 일기는 모든 사람이 알아챌 수 없이 페이지를 지우거나 수정하는 것이 불가능하도록 특수한 코드로 작성된 일기입니다.

시스템의 작동 방식은 다음과 같습니다 (몇 가지 재미있는 비유를 사용합니다):

1. "블랙박스" 영수증
AI가 결정(예: 대출 승인)을 내릴 때마다, 시스템은 단순히 결과값만 저장하는 것이 아니라 **AI 책임 기록(AI Accountability Record, AAR)**이라는 "영수증"을 저장합니다. 이 영수증에는 AI가 무엇을 보았는지(입력값), 어떤 도구(계산기나 데이터베이스 등)를 사용했는지, 그리고 어떤 규칙을 따랐는지가 명시됩니다. 결정적으로, 이 시스템은 AI의 내부적인 "생각"이나 숨겨진 추론 과정을 기록하려고 시도하지 않습니다. 왜냐하면 그것들은 너무 복잡하고 가변적이기 때문입니다. 대신 보안 카메라가 문을 통과하는 사람을 기록하듯, 관찰 가능한 사실만을 기록합니다. 즉, 그 사람이 무슨 생각을 하고 있었는지가 아니라, 누가 문을 통과했는지를 기록하는 것입니다.

2. 끊어지지 않는 연결 고리
누군가 나중에 몰래 일기를 편집하지 못하도록, 시스템은 디지털 "사슬"을 사용하여 매번의 새로운 영수증을 이전의 영수증과 연결합니다. 모든 링크가 만약 녹이려 하면 색이 변하는 특수 금속으로 만들어진 사슬을 상상해 보세요. 만약 누군가 지난주에 작성된 영수증을 수정하려고 시도한다면, 링크가 끊어지고 전체 사슬이 빨간색으로 변하며 "이봐! 누군가 이 데이터를 조작했어!"라고 소리칠 것입니다. 이것을 **해시 체이닝(hash-chaining)**이라고 하며, 일단 결정이 기록되면 그대로 유지되도록 보장합니다.

3. 세 사람이 필요한 "마법 열쇠"
이것이 가장 영리한 부분입니다. 보통 AI를 소유한 회사가 일기의 열쇠를 쥐고 있습니다. 만약 그들이 실수를 숨기고 싶다면, 그냥 일기를 잠그고 열쇠를 버려버릴 수 있습니다. AAI 시스템은 **임계치 암호화(threshold cryptography)**를 사용하여 이 문제를 해결합니다. 일기장의 열쇠가 다섯 조각으로 나뉘어 있다고 상상해 보세요. 일기장을 열고 비밀을 읽으려면 세 명 이상의 서로 다른 사람들이 각자의 조각을 모아야 합니다. 이 사람들은 AI 회사, 독립 감사관, 그리고 정부 규제 기관이 될 수 있습니다. 단 한 명의 개인—심지어 AI 회사의 CEO라 할지라도—은 혼자서 일기장을 열 수 없습니다. 이를 통해 단 한 명의 악의적인 행위자가 증거를 숨기거나 조작하는 것을 방지합니다.

4. "단계별" 손전등
때로는 일기 전체를 볼 필요 없이 특정 사실 하나만 확인하면 될 때가 있습니다. 이 시스템은 "단계적 공개(graduated disclosure)" 모델을 사용합니다. 이는 요청하는 사람과 그 이유에 따라 단 한 문장, 혹은 한 단락, 또는 페이지 전체를 비출 수 있는 손전등을 가진 것과 같습니다. 만약 판사가 증거를 확인해야 한다면, "마법 열쇠"를 가진 사람들이 필요한 특정 부분만을 열어 보여주되, 나머지 일기장은 어둡고 비밀스럽게 유지됩니다. 이는 정의를 실현하면서도 사용자 프라이버시를 보호합니다.

이 논문이 실제로 발견한 것 (그리고 발견하지 못한 것)

저자들은 자신들이 무엇을 했고 무엇이 여전히 진행 중인 작업인지 매우 솔직하게 밝히고 있습니다. 그들은 은행이나 병원을 운영하는 거대한 실제 AI 시스템을 구축한 것이 아닙니다. 대신, 그들은 자신들의 시스템을 실행하는 작은 시뮬레이션 버전인 **프로토타입(prototype)**을 구축했습니다.

시뮬레이션에서 그들은 5,000개의 가짜 AI 결정을 생성했습니다. 그들은 시스템을 테스트하여 다음을 발견했습니다:

• 매우 빠릅니다: 체인에 새로운 "영수증"을 추가하는 데 1밀리초 미만이 걸렸습니다 (평균 약 0.24밀리초).
• 거짓말을 잡아냅니다: 데이터를 조작하려고 시도했을 때, 시스템은 즉시 데이터가 손상되었음을 알렸습니다.
• 비밀을 지킵니다: 기록의 나머지 부분을 드러내지 않고도 특정 사실이 기록에 포함되어 있음을 증명할 수 있음을 보여주었습니다.

하지만 논문은 이것이 아직 실세계에 투입될 준비가 된 완성된 제품이 아님을 명시적으로 밝히고 있습니다. 시뮬레이션은 단일 컴퓨터에서 실행되었으므로, "열쇠 보유자"들이 서로 다른 국가에 있고 인터넷을 통해 서로 통신해야 할 때 시스템이 얼마나 느려질 수 있는지 테스트하지 않았습니다. 저자들은 또한 자신들의 시스템이 기록이 변경되지 않았음을 증명할 수는 있지만, AI가 본 원래의 데이터가 진실인지까지는 증명할 수 없다는 점을 인정했습니다 (예를 들어, 해커가 AI에게 가짜 데이터를 입력했다면, 기록은 충실하게 그 가짜 데이터를 보여줄 것이며, 이는 여전히 문제로 남습니다).

이것이 왜 중요한가

이 논문은 새로운 종류의 안전망을 위한 청사진과 같습니다. 이것은 모든 AI 문제를 해결하거나 AI를 완벽하게 만드는 마법 지팡이가 아닙니다. 대신, AI가 큰 실수를 저질렀을 때 우리가 무엇이 일어났는지에 대한 신뢰할 수 있고 변경 불가능한 기록을 가지고 있으며, 단 한 명의 개인이 그 기록을 숨길 수 없도록 만드는 방법을 제시합니다. 이는 "우리는 AI를 믿는다"와 "우리는 AI가 무엇을 했는지 증명할 수 있다" 사이의 간극을 메우며, 법원, 규제 기관, 그리고 일반 사람들이 프라이버시나 보안을 희생하지 않으면서도 이 강력한 시스템에 책임을 물을 수 있는 방법을 제공합니다.

저자들은 수학적 논리가 테스트에서 입증되었지만, 실세계의 시험은 아직 남아 있다고 결론짓습니다. 그들은 다른 연구자들이 이 청사진을 가져가서 실제 분산 시스템을 구축하고, 이것이 실제 인터넷의 혼돈을 감당할 수 있는지 확인해 보기를 권합니다. 이것은 견고한 기초이지만, 아직 집이 완성된 것은 아닙니다.