Sources of Risk in AI Systems Revisited: FCAIR-O, a Faceted Causal Framework and Lightweight Ontology for Risk Management and Assurance

인공지능은 더 이상 선반 위에 놓여 있는 단순한 도구가 아닙니다. 그것은 대출 여부를 결정하고, 질병을 진단하며, 심지어 자동차를 운전하는 등 일상생활의 구조 속에 깊숙이 스며들어 있습니다. 이러한 시스템이 제대로 작동할 때 그것들은 보이지 않습니다. 하지만 실패할 때, 그 결과는 즉각적이고 심각할 수 있습니다. 엔지니어와 규제 기관의 과제는 오랫동안 이러한 실패에 대해 어떻게 이야기할 것인가였습니다. 너무 자주, 위험 목록들은 서로 다른 것들을 뒤섞어 놓곤 합니다. 예를 들어, 그들은 마치 '공정성의 결여'와 '고장 난 센서', 그리고 '해커의 공격'이 모두 같은 종류의 문제인 것처럼 함께 나열합니다. 이러한 혼란은 어디를 고쳐야 할지 알기 어렵게 만듭니다. 문제가 코드 때문인지, 데이터 때문인지, 시스템을 사용하는 사람 때문인지, 아니면 회사가 따르는 규칙 때문인지 말입니다. 명확한 구분이 없다면 안전 조치는 완전히 빗나갈 수 있습니다.

이를 해결하기 위해, 모리츠 슈나이더(Moritz Schneider)와 안드레 슈타이머스(André Steimers)라는 두 연구자는 문제의 발생 지점을 매핑하는 새로운 방법을 개발했습니다. 그들은 2022년에 발표했던, 위험을 조직화하려고 시도했던 자신들의 초기 연구를 바탕으로 하고 있지만, 인공지능의 세계는 그 이후로 급격히 변했습니다. 이제는 코드를 작성하거나, 과거의 대화를 기억하거나, 인터넷에서 실시간으로 정보를 가져올 수 있는 새로운 유형의 시스템들이 존재합니다. 이러한 능력들은 기존의 체크리스트로는 설명할 수 없는 새로운 종류의 위험들을 만들어냅니다. 연구자들은 사람들을 안전하게 지키기 위해서, 문제를 일으킨 '원인'과 그로 인한 '피해', 그리고 이를 막기 위한 '규칙'을 분리하는 지도가 필요하다는 것을 깨달았습니다.

그들의 연구 결과물은 FCAIR-O라고 불리는 프레임워크입니다. 이것을 매우 상세하고 구조화된 위험 사전이라고 생각하십시오. 하나의 길고 혼란스러운 목록 대신, 연구자들은 8개의 서로 다른 '측면' 또는 차원을 가진 시스템을 만들었습니다. 한 측면은 컴퓨터 칩, 소프트웨어 프로그램, 인간 운영자, 또는 회사의 경영진과 같이 문제가 발생한 수준을 설명합니다. 또 다른 측면은 아이디어가 처음 구상된 순간부터 시스템이 꺼지는 날까지의 타임라인을 추적합니다. 세 번째 측면은 신체적 부상, 개인정보 침해, 또는 재정적 손실과 같은 구체적인 피해 유형을 식별합니다. 분석가들이 이 다양한 렌즈를 통해 동시에 문제를 바라보도록 강제함으로써, 이 프레임워크는 잘못된 것을 탓하는 흔한 실수를 방지합니다. 예를 들어, 시스템이 대출을 불공정하게 거부했다면, 이 프레임워크는 오류가 시스템을 훈련하는 데 사용된 데이터에서 왔는지, 회사가 규칙을 설정한 방식에서 왔는지, 아니면 결정이 내려진 특정 순간에 발생했는지를 구분하는 데 도움을 줍니다.

연구자들은 실제 발생했던 재난과 아찔했던 사고들을 살펴보며 이 새로운 지도를 테스트했습니다. 그들은 애리조나에서 발생한 우버 자율주행차의 치사 사고, 즉 보행자가 치인 사건을 조사했습니다. 과거에는 사람들은 이를 단순히 '자동화 실패'라고 불렀을 것입니다. 새로운 프레임워크는 이를 구체적인 사건의 사슬로 분해합니다. 자동차의 센서는 사람을 보았지만 오인했고, 소프트웨어는 컴퓨터가 운전하는 동안 비상 브레이크를 해제하도록 프로그래밍되었으며, 인간 안전 운전자는 휴대전화를 보고 있었고, 회사는 해당 조건에서 시스템을 적절히 테스트하지 않았습니다. 이러한 별개의 실패들을 분리함으로써, 프레임워크는 센서와 같은 단 한 부분만을 고치는 것으로는 충분하지 않았음을 보여줍니다. 해결책은 소프트웨어 로직, 인간의 감독, 그리고 회사의 안전 문화에 대한 변화를 필요로 했습니다. 연구자들은 이것이 진정한 안전을 위해 필요한 수준의 상세함이라고 주장합니다.

또한 이 논문은 법률과 표준이 이 그림에 어떻게 부합하는지를 다룹니다. 법률은 종-종 "인간이 개입해야 한다"와 같이 무엇을 해야 하는지는 말해주지만, 그 인간이 효과적으로 작동하기 위해 기계와 어떻게 상호작용해야 하는지는 항상 설명해주지 않습니다. 연구자들은 단순히 인간이 존재한다는 것이, 그 사람이 주의 산만하거나 압도당해 있는 상황에서 안전을 보장하는 것은 아니라는 점을 보여줍니다. 그들의 프레임워크는 법적 규칙을 경계를 설정하는 별도의 층위로 취급하는 반면, 기술적 분석은 실제 실패의 메커니즘에 집중합니다. 이 구분은 매우 중요한데, 왜냐하면 기업이 서류상으로는 모든 규칙을 준수하면서도 근본적인 메커니즘이 결함이 있다면 여전히 위험한 시스템을 가질 수 있기 때문입니다.

연구자들이 가장 중요하게 언급한 발견 중 하나는, 자신들이 가능한 모든 위험을 찾아냈다고 주장하는 것이 아니라는 점입니다. 그들은 이것이 최종적이고 불변하는 모든 위험의 목록이라기보다는, 하나의 개념적 도구이자 사고방식임을 명시적으로 밝히고 있습니다. 그들은 자신들의 작업이 2026년 특정 날짜까지의 가용한 문서와 사례 검토를 바탕으로 하고 있으며, 기술은 계속 진화할 것이라는 점을 인정합니다. 또한 그들은 자신들의 프레임워크가 다른 방법들보다 더 낫다는 것을 증명하기 위해 방대한 규모의 실제 데이터를 사용하여 테스트하지 않았음을 언급합니다. 대신, 그들은 그 가치가 명확성에 있다고 주장합니다. 위험의 서로 다른 역할들, 즉 무엇이 그것을 유발하는지, 무엇이 그것을 해치는지, 그리고 우리가 그것을 어떻게 막으려 하는지를 분리함으로써, 그들은 엔지니어, 변호사, 규제 기관이 서로 엇갈리지 않고 소통할 수 있는 언어를 제공합니다.

연구자들은 또한 도구를 사용하거나 스스로 행동할 수 있는 새로운 유형의 인공지능이 어떻게 지형을 바꾸는지 살펴보았습니다. 이러한 시스템은 기존의 더 단순한 프로그램들과는 매우 다른 실수를 저지를 수 있습니다. 코드를 작성할 수 있는 시스템은 실수로 중요한 파일을 삭제할 수 있고, 인터넷에 접속할 수 있는 시스템은 개인정보를 드러내도록 속임을 당할 수 있습니다. 프레임워크는 초기 명령에서부터 최종 결과에 이르기까지, 제작자나 모니터링 요원의 실수까지 포함하여 오류의 경로를 추적함으로써 이러한 복잡한 시나리오를 처리할 수 있도록 설계되었습니다.

궁극적으로, 이 논문은 인공지능의 위험을 막연하고 무서운 구름처럼 취급하는 것을 멈추는 방법을 제시합니다. 그것은 구름을 구조화된 질문 세트로 대체합니다. 누가 책임을 지는가? 정확히 무엇이 고장 났는가? 우리가 가진 증거는 무엇인가? 어떤 규칙이 적용되는가? 연구자들은 이러한 구조화된 접근 방식을 사용함으로써, 사회가 단순히 위험을 나열하는 것에서 벗어나 실제로 그것들을 이해하고 관리하는 단계로 나아갈 수 있다고 제안합니다. 그들은 이것이 모든 사고를 제거할 것이라고 약속하지는 않지만, 이것이 강력한 시스템을 더 안전하고 신뢰할 수 있게 만들기 위한 필수적인 단계라고 주장합니다. 이 작업은 혼란으로 가득 찬 분야에서 명료함을 찾기 위한 도구이자, 더 나은 사고방식을 위한 제안으로 자리 잡고 있습니다.