Empirically Derived AI Harm Profiles and the Case for Context-Sensitive Moral Responsibility

인공지능은 더 이상 먼 미래의 약속이 아닙니다. 인공지능은 우리의 안전, 직업, 사생활, 그리고 서비스 접근성에 영향을 미치는 결정을 내리는 일상의 현실입니다. 이러한 시스템이 제대로 작동할 때, 그것들은 우리의 삶을 효율적으로 만듭니다. 하지만 실패할 경우, 그 결과는 신체적 부상에서부터 시민권의 박탈에 이르기까지 심각할 수 있습니다. 수년간 전문가들은 공정성, 투명성, 안전성과 같은 광범위한 윤리적 원칙을 사용하여 이러한 기술을 규제하려고 노력해 왔습니다. 그러나 이러한 고차원적인 아이디어들은 실제 세상에서 인공지능이 사용되는 복잡하고 다양한 방식에 적용 가능한 실질적인 규칙으로 변환되는 데 어려움을 겪는 경우가 많습니다. 핵심적인 과제는 서로 다른 유형의 인공지능이 특정 상황에서 어떻게 실패하는지를 이해하는 것이었습니다. 자율주행 자동차가 충돌하는 것이 챗봇이 허위 정보를 퍼뜨리는 것과 같은 종류의 문제인가, 아니면 안면 인식 시스템이 용의자를 오인하는 것과 같은 문제인가? 이에 답하기 위해 연구자들은 기록된 실패 사례들을 단순한 개별 사고가 아니라, 더 깊은 패턴을 드러낼 수 있는 데이터 포인트로 바라보기 시작했습니다.

커럼벌랜드 대학교(University of the Cumberlands)의 연구팀은 실세계의 인공지능 사건들을 방대하게 수집하여 그 패턴을 찾아내고자 했습니다. 그들은 인공지능, 알고리즘, 자동화와 관련된 사건들을 추적하는 AIAAIC 저장소라는 공개 데이터베이스에서 849건의 기록된 인공지능 실패 사례를 수집했습니다. 연구진은 각 사건을 고유한 이야기로 취급하는 대신, 기술의 종류, 사용처, 목적, 그리고 어떤 종류의 해악을 끼쳤는지에 따라 이 실패들이 어떻게 군집을 이루는지 분석했습니다. 그들의 목표는 개별 사고의 혼란을 몇 가지 뚜렷한 범주, 즉 '해악 프로필(harm profiles)'로 조직화하여 규제 기관과 기업이 더 구체적이고 나은 감독 규칙을 구축할 수 있도록 하는 것이었습니다.

분석 결과, 인공지능의 실패는 무작위적이지 않았습니다. 이들은 두 가지 주요 구조적 테마를 중심으로 모이는 경향이 있었습니다. 첫 번째 테마는 물리적 세계와 직접 상호작용하는 시스템과 주로 정보를 처리하는 시스템을 구분합니다. 두 번째 테마는 사람을 식별하고 감시하도록 설계된 시스템과 콘텐츠를 생성하도록 설계된 시스템을 구분합니다. 이러한 관계를 매핑함으로써, 연구진은 문제가 발생했을 때 나타나는 세 가지 명확하고 반복적인 해악 프로필을 식별했습니다.

첫 번째 프로필은 연구진이 '자율형 또는 체화된 AI(Autonomous or Embodied AI)'라고 부르는 것입니다. 이는 자율주행 차량이나 로봇처럼 물리적 실체를 가지고 직접적인 신체적 해를 끼칠 수 있는 시스템입니다. 데이터에 따르면, 이러한 실패는 거의 항상 운송 분야에서 발생했습니다. 이러한 시스템이 실패할 때, 결과는 전형적으로 안전 실패로 나타납니다. 즉, 자동차가 충돌하거나, 로봇이 오작동하거나, 인간 운영자가 통제력을 상실하는 것입니다. 여기서의 위험은 즉각적이고 물리적이며, 승객, 보행자 및 응급 구조 요원의 안전에 영향을 미칩니다. 결과가 유형적이고 위험하기 때문에, 연구진은 이 그룹에 대한 거버넌스가 운영 안전, 하드웨어 및 센서의 엄격한 테스트, 그리고 물리적 사고 발생 시 책임 소재에 대한 명확한 규칙에 집중해야 한다고 제안합니다.

두 번째 프로별은 '시각 인식(Vision Recognition)'입니다. 이 범주는 법 집행 기관이나 보안 기관에서 사용하는 안면 인식 기술과 같이 카메라와 소프트웨어를 사용하여 사람을 식별하는 시스템을 포함합니다. 데이터는 이 분야의 실패가 사법 및 법 집행 분야에 집중되어 있음을 보여주었습니다. 첫 번째 그룹의 물리적 충돌과 달리, 이곳의 해악은 시민권 및 차별과 깊게 연관되어 있습니다. 가장 흔한 문제는 시스템이 특정 인구 통계 집단을 오인하거나, 법적 경계를 넘어서는 방식으로 감시를 수행하는 것입니다. 연구진은 이러한 실패가 프라이버시, 공정성, 그리고 잘못된 비난으로부터 자유로울 권리에 대한 위협이라는 다른 종류의 위험을 창출한다는 것을 발견했습니다. 따라서 이 프로필에 대한 거버넌스는 편향을 방 prevent하고, 시스템 사용의 투명성을 보장하며, 잘못된 식별에 대해 사람들이 이의를 제기할 수 있는 명확한 경로를 제공하는 데 집중해야 합니다.

세 번째 프로필은 '생성형 AI(Generative AI)'입니다. 이것은 텍스트, 이미지 및 기타 미디어를 생성하는 도구의 배후에 있는 기술입니다. 데이터에 따르면 이곳의 실패는 미디어 및 정보 분야에서 가장 흔하게 나타납니다. 이 그룹과 관련된 해악은 다른 그룹들과는 구별됩니다. 이들은 신체적 부상이나 직접적인 감시와는 거의 관련이 없습니다. 대신, 문제는 정보의 품질과 진실성을 둘러싸고 있습니다. 실패 사례로는 설득력 있지만 허위인 콘텐츠의 생성, 실제 인물의 사칭, 그리고 평판을 훼손하거나 여론을 조작할 수 있는 허위 정보의 확산 등이 포함됩니다. 위험이 물리적 안전이나 즉각적인 감시보다는 정보의 무결성에 있기 때문에, 연구진은 이 그룹에 대한 감독이 콘텐츠의 출처 검증, 기만적인 출력물 모니터링, 그리고 제작자와 플랫폼이 자신들의 시스템이 생산하는 것에 대해 책임을 지도록 보장하는 데 집중해야 한다고 주장합니다.

흥미롭게도, 연구진은 '예측적 모니터링(predictive monitoring)'이라는 한 가지 공통적인 AI 역량이 별도의 그룹을 형성하지 못했다는 것을 발견했습니다. 예측적 모니터링이란 범죄, 대출 연체, 또는 건강 결과 등을 예측하는 것처럼 미래의 사건을 예측하기 위해 데이터를 분석하는 시스템을 의미합니다. 연구는 이러한 시스템이 별도의 그룹을 형성하지 못했다는 점을 보여주었는데, 이는 그 위험이 어디에서 사용되느냐에 전적으로 달려 있기 때문입니다. 의료 분야에서 사용되는 예측 시스템은 채용이나 금융 분야에서 사용되는 시스템과는 다른 윤리적 과제에 직면합니다. 이 발견은 예측적 모니터링이 단일한 위험 범주가 아니라, 그것이 들어가는 환경의 성격을 띠게 되는 도구라는 점을 시사합니다. 만약 예측 시스템이 법 집행 맥락에서 사용된다면 '시각 인식' 프로필의 위험을 물려받게 되며, 금융 분야에서 사용된다면 다른 프로필의 경제적 위험을 물게 됩니다. 이는 이러한 시스템을 위한 규칙이 '원 사이즈 핏 올(one-size-fits-all)' 방식이 될 수 없으며, 예측이 이루어지는 특정 맥락에 맞춰 조정되어야 함을 의미합니다.

연구진은 이러한 발견을 바탕으로 AI를 거버넌스하는 새로운 방법을 제안합니다. 모든 인공지능에 동일한 광범위한 규칙을 적용하는 대신, 규제 기관과 기업이 먼저 해당 시스템이 어떤 해악 프로필에 속하는지 식별해야 한다고 제안합니다. 일단 시스템이 분류되면, 모니터링, 감사 및 책임 할당을 위한 구체적인 규칙을 적용할 수 있습니다. 예를 들어, 자율주행 자동차는 엄격한 안전 감사와 물리적 근접 사고에 대한 즉각적인 보고 요구 사항의 대상이 될 것입니다. 안면 인식 시스템은 정기적인 인종적 편향 점검을 받아야 하며 시민들에게 오인 식별에 대해 항소할 수 있는 명확한 경로를 제공해야 합니다. 생성형 AI 플랫폼은 콘텐츠의 진위성을 증명해야 하며 유해한 허위 정보를 빠르게 제거할 수 있는 메커니즘을 갖추어야 합니다.

이 접근 방식은 AI 거버넌스를 추상적인 원칙에서 구체적인 행동으로 옮깁니다. 이는 로봇의 실패와 챗봇의 실패가 근본적으로 다르며, 이를 해결해야 하는 책임자 또한 달라야 함을 인정하는 것입니다. 인공지능이 어떻게 실패해 왔는지에 대한 실제 역사를 살펴봄으로써, 연구진은 더 효과적이고 맥락에 민감한 감독 체계를 구축하기 위한 지도를 제공했습니다. 그들은 이 방법이 일반론에 빠지지 않고 각 기술 유형의 특정 위험을 다룰 수 있게 하여, 우리가 만드는 규칙이 기술 자체만큼이나 실용적이고 정밀하도록 보장한다고 주장합니다. 연구는 기록된 사건들을 단순히 과거의 실수에 대한 기록이 아닌 하나의 자원으로 취급함으로써, 우리가 AI를 실세계의 영향력에 대한 이해를 바탕으로 관리하여 기술을 모두에게 더 안전하고 책임감 있게 만들 수 있는 미래를 구축할 수 있다고 결론짓습니다.