Correcting AI-generated false criminal allegations: a human-rights framework for remedial closure

질문에 답하고 이야기를 들려주도록 설계된 한 컴퓨터 프로그램이 갑자기 범죄를 발명해내는 세상을 상상해 보십시오. 이 프로그램은 단순히 날짜나 이름을 잘못 말하는 작은 실수를 하는 것이 아닙니다. 특정 살아있는 인물이 자신의 자녀를 살해하고 장기 복역 중이라는 허위 사실을 지어냅니다. 이것은 스릴러 소설의 한 장면이 아니라, 현대 인공지능이 만들어낼 수 있는 실제적인 가능성입니다. 이러한 거짓이 화면에 나타나는 것만으로도 충분히 나쁘지만, 위험은 거기서 멈추지 않습니다. 가짜 이야기는 컴퓨터의 메모리 속에 숨어들고, 내부 시스템을 타고 이동하며, 직업, 대출 또는 안전에 관한 중요한 결정을 내리는 데 컴퓨터의 답변을 사용하는 다른 조직들에게 전달될 수 있습니다. 이는 어떤 사람이 실제로 범죄를 저질렀기 때문이 아니라, 기계가 범죄를 지어냈고 그것을 완전히 지우는 데 실패했기 때문에 범죄자로 취급받는 상황을 만듭니다. 전문가들이 직면한 핵심 질문은 단순히 화면에서 거짓을 어떻게 삭제하느냐가 아니라, 그 거짓이 전체 디지털 시스템을 통해 퍼지는 것을 진정으로 막았는지 어떻게 알 수 있느냐는 것입니다.

한 연구팀은 단순한 해결책을 넘어 수정이 진정으로 완료되었을 때의 명확한 기준을 만들기 위해 이 문제에 대한 새로운 사고방식을 개발했습니다. 그들은 컴퓨터에게 그 거짓말을 하지 말라고 말하는 것만으로는 충분하지 않다고 주장합니다. 대신, 그들은 초기 답변부터 내부 기록, 그리고 그 정보를 받은 다른 사람들의 결정에 이르기까지 거짓이 숨어 있을 수 있는 모든 곳을 점검하는 단계별 프로세스를 제안합니다. 그들의 연구는 기업이 거짓이 이동할 수 있는 모든 도달 가능한 곳을 확인하고, 그곳의 기록을 수정하며, 그 거짓을 사용하여 결정을 내렸을 수도 있는 사람들에게 그것이 틀렸음을 알렸음을 증명할 수 있을 때 비로소 수정이 완료된 것이라고 제안합니다. 이 접근 방식은 문제를 단순히 삭제해야 할 단일 오류가 아니라, 해를 끼칠 수 있는 모든 지점에서 멈춰야 하는 파동으로 취급합니다.

연구진은 인공지능 시스템이 복잡한 네트워크라는 이해를 바탕으로 이 아이디어를 구축했습니다. 컴퓨터가 허위 사실을 생성하면, 그 이야기는 다양한 방식으로 저장될 수 있습니다. 컴퓨터가 대화를 기억하는 데 도움을 주는 임시 메모리에 저장될 수도 있고, 컴퓨터가 질문에 답하기 위해 사용하는 사실 목록에서 불러와질 수도 있습니다. 또한 다른 컴퓨터로 전달되는 디지털 연결을 통해 전송되거나, 은행이나 채용 기관이 누군가의 신뢰도를 판단하는 데 사용될 수도 있습니다. 연구팀은 이러한 허위 정보의 확산을 "전파(propagation)"라고 부릅니다. 그들은 기존의 실수 수정 규칙들이 주로 사용자에게 보여지는 최종 답변에만 집중한다는 것을 발견했습니다. 그러나 만약 그 가짜 이야기가 컴퓨터의 메모리에 남아 있거나 정보를 받은 회사의 기록에 남아 있다면, 컴퓨터는 나중에 똑같은 거짓말을 다시 할 수 있으며, 그 회사는 해당 인물을 계속해서 범죄자로 취급할 수도 있습니다.

이를 해결하기 위해 연구진은 문제 해결을 위한 체크리스트 역할을 하는 프레임워크를 만들었습니다. 첫 번째 단계는 피해를 입은 사람이 무엇이 거짓인지 명확히 밝히고 그것이 허위임을 입증하는 증거를 제공하는 것입니다. 일단 이것이 완료되면, 책임 있는 기업은 조사해야 합니다. 그들은 단순히 "수정했다"라고 말할 수 없습니다. 그들은 정확히 어디를 확인했는지 보여주어야 합니다. 여기에는 주요 답변, 내부 메모리, 사실 목록, 그리고 다른 시스템과의 연결성을 확인하는 과정이 포함됩니다. 만약 기업이 그 거짓말이 어떤 결정(예: 채용 거부 또는 위험 인물로 분류)을 내리는 데 사용되었다는 것을 발견한다면, 그들은 또한 그 결정이 재검토되거나 변경될 수 있는지 확인해야 합니다. 목표는 거짓이 단순히 눈에 보이지 않게 숨겨지는 것이 아니라, 실질적인 피해를 줄 수 있는 곳에서 제거되도록 하는 것입니다.

이 새로운 표준의 핵심 요소는 "합리적 종결(reasonable closure)"이라는 개념입니다. 연구진은 세상의 모든 컴퓨터를 확인하거나 백만 가지의 다른 방식으로 거짓이 다시 나타나지 않을 것임을 보장하는 것이 불가능할 수도 있다는 점을 인정합니다. 대신, 그들은 기업이 합리적으로 도달하고 통제할 수 있는 모든 곳을 확인했을 때 충분히 조치를 취한 것으로 제안합니다. 그들은 어떤 부분을 수정했고 어떤 부분을 도달할 수 없었는지 문서화하여 작업 내용을 증명해야 합니다. 만약 특정 부분에 도달할 수 없다면, 왜 그것이 너무 어렵거나 불가능했는지 설명해야 합니다. 이러한 문서화는 그들이 의무를 다했다는 증거 역할을 합니다. 이는 완벽하고 불가능한 보장에서 벗어나, 기술적 한계를 존중하면서도 피해를 입은 사람의 권리를 보호하는 실질적이고 검증 가능한 노력으로 초점을 옮깁니다.

연구진은 인기 있는 챗봇이 한 사람을 끔찍한 범죄자로 허위 고발한 실제 사례를 통해 자신들의 아이디어를 테스트했습니다. 그 경우, 불만 사항은 단순히 챗봇이 잘못된 말을 했다는 것이 아니라, 그 거짓이 시스템 속에 살아남아 있을 가능성에 관한 것이었습니다. 이 새로운 체크리스트를 적용함으로써, 연구진은 기업이 단순히 답변을 삭제하는 것을 넘어 더 철저한 과정으로 어떻게 나아갈 수 있는지 보여주었습니다. 이는 내부 메모리를 확인하여 거짓이 거기에 저장되지 않았는지 확인하고, 나중에 검색될 수 있는 방식으로 거짓이 저장되지 않았는지 검증하며, 허위 정보를 받았을 가능성이 있는 조직들에게 연락하는 과정을 포함합니다. 만약 어떤 조직이 그 거짓말을 사용하여 결정을 내렸다면, 기업은 그들이 오류를 이해하여 결정을 재고할 수 있도록 도와야 합니다.

이 접근 방식은 또한 누가 무엇에 책임을 지는지도 명확히 합니다. 많은 기업이 연루될 수 있는 복잡한 시스템에서, 연구진은 각 기업이 자신이 통제하는 부분에 대해 책임을 진다고 말합니다. 만약 한 회사가 다른 회사로 허위 이야기를 보냈다면, 첫 번째 회사는 두 번째 회사에 그 이야기가 거짓임을 알려야 합니다. 그러나 첫 번째 회사는 두 번째 회사의 내부 시스템을 수정할 책임은 없습니다. 각 회사는 자신이 소유한 부분을 수정해야 합니다. 이는 전 세계적인 네트워크 전체에 대해 한 사람에게 책임을 묻는 혼란을 방지하면서도, 모든 연결 고리가 거짓의 확산을 막기 위해 각자의 역할을 다하도록 보장합니다.

연구진은 이 표준이 모든 오류를 영원히 사라지게 만드는 마법 지팡이가 아님을 주의 깊게 언급합니다. 그들은 기술이 끊임없이 변화하고 있으며, 거짓이 퍼지는 새로운 방식이 나타날 수 있음을 인정합니다. 그들의 표준은 유연하게 설계되어, 거짓이 새로운 형태로 다시 나타날 경우 검토될 수 있도록 합니다. 또한 그들은 이 과정이 실제 범죄를 보고하거나 공적인 사건을 논의하는 등의 타인의 권리를 존중해야 한다고 강조합니다. 목표는 허위의 해로운 거짓만을 제거하는 것이지, 역사를 지우거나 정당한 표현을 침묵시키는 것이 아닙니다. 검증된 고위험 거짓에 집중함으로써, 이 프레임워크는 시스템이 너무 무겁거나 제한적이지 않으면서도 사람들을 보호하는 것을 목표로 합니다.

궁극적으로 이 연구는 혼란스러운 문제에 질서를 가져오는 방법을 제시합니다. 이는 "거짓을 삭제했습니까?"라는 질문에서 "그 거짓이 더 많은 해를 끼치지 못하도록 막았음을 증명할 수 있습니까?"라는 질문으로 대화의 차원을 바꿉니다. 이는 기업이 따를 수 있는 명확한 경로와 규제 기관이 확인할 수 있는 경로를 제공합니다. 행동에 대한 증명을 요구함으로써, 이는 인공지능에 의해 피해를 입은 사람들이 정의를 구할 수 있는 더 나은 기회를 제공합니다. 이 연구는 우리가 기계의 실수를 항상 막을 수는 없을지라도, 그 실수에 대해 정직하고 이를 수정하는 데 철저한 시스템을 구축할 수 있음을 시사합니다. 이는 인공지능의 힘이 그 오류를 바로잡는 명확하고 책임 있는 방식으로 조절되어, 사람의 명성이 기계의 환각(hallucination)에 의해 파괴되지 않도록 보장하는 미래를 만듭니다.