An Explainable Artificial Intelligence Framework for Decision-Making in Critical Information Technology Systems

당신이 고도의 기술을 요하는 비디오 게임을 플레이하고 있다고 상상해 보세요. 그곳에는 디지털 괴물들과 싸우는 것을 돕는 아주 똑똑한 컴퓨터가 있습니다. 이 컴퓨터는 괴물이 어디를 공격할지 예측하는 능력이 너무 뛰어나서 팀의 MVP가 되었습니다. 하지만 여기 함정이 있습니다. 이 컴퓨터는 '블랙박스'입니다. 컴퓨터는 자신의 움직임을 실행하지만, 왜 특정 그림자를 단순한 빛의 장난이 아니라 괴물이라고 판단했는지 그 이유를 말해주지 않습니다. 현실 세계에서 이러한 '블랙박스' 컴퓨터들은 인터넷 보안, 병원의 의사 결정, 클라우드 네트워크와 같은 중요한 곳에서 운영되고 있습니다. 만약 컴퓨터가 실수를 한다면, 전체 네트워크를 마비시키거나 실제 사이버 공격을 놓칠 수도 있습니다.

이 지점에서 **설명 가능한 AI (XAI)**가 등장합니다. XAI를 일종의 통역사나 탐정이라고 생각해보세요. 이들은 컴퓨터 옆에 서서 이렇게 말합니다. "이봐요, 당신이 천재라는 건 알지만, 인간들에게 당신의 추론 과정을 설명해 줄 수 있나요?" 우리가 살펴보고 있는 이 논문은 이러한 블랙박스 컴퓨터들이 말을 할 수 있게 만드는 훌륭한 도구들을 가지고 있음에도 불구하고, 그들이 종종 난해한 전문 용어로 말하거나 물을 때마다 답변이 바뀌는 문제를 다룹니다. 저자는 컴퓨터의 설명이 명확하고 신뢰할 수 있으며, 인간 운영자를 혼란스럽게 하거나 기계에 맹목적으로 의존하게 만드는 대신, 실제로 올바른 결정을 내리도록 돕는 더 나은 시스템을 구축하고자 합니다.

---

논문의 미션: 신뢰할 수 있는 팀 구축하기

이 논문의 저자인 사이 두디 코타팔리(Sai Doondi Kothapalli)는 이러한 핵심적인 AI 시스템을 어떻게 더 투명하게 만들 수 있는지 알아내기 위해 2019년에서 2025년 사이에 발표된 32개의 연구 논문(그리고 일부 기초적인 과거 연구들)을 검토했습니다. 저자는 단순히 수학적 측면만 본 것이 아니라, 보안 전문가, 의사, IT 운영자들이 실제 현장에서 이러한 설명들을 어떻게 사용하는지를 살펴보았습니다.

그 결과는 다음과 같이 쉬운 이야기들로 나누어 정리할 수 있습니다.

1. "마법의 8번 구슬" vs "정직한 탐정"

논문에 따르면 현재 대부분의 사람들은 이 블랙박스로부터 설명을 얻기 위해 SHAP과 LIME이라는 두 가지 특정 도구를 사용하고 있습니다.

• LIME은 현장을 돌아다니며 이것저것 건드려 보며 상황을 파악하는 빠르고 활기찬 탐정과 같습니다. 빠르고 즉각적인 확인에는 좋지만, 가끔은 조금 불안정할 때가 있습니다. 만약 똑같은 질문을 두 번 던진다면, 약간씩 다른 답변을 내놓을 수도 있습니다. 높은 이해관계가 걸린 보안 상황에서 이러한 불일치는 위험 요소입니다.
• SHAP은 복잡한 수학적 규칙(게임 이론 기반)을 사용하여 각 단서가 최종 판결에 얼마나 기여했는지를 정확히 파악하는, 꼼꼼하고 느릿느릿한 탐정과 같습니다. 훨씬 더 일관적이고 신뢰할 수 있지만, 계산하는 데 시간이 훨씬 오래 걸립니다. 만약 데이터의 양이 방대하다면, SHAP은 답을 내놓기 전에 수백만 권의 책을 읽으려는 탐정처럼 정체될 수 있습니다.

논문은 SHAP이 더 신뢰할 수 있기 때문에 현재 가장 선호되는 방식이지만, 하나의 도구에만 의존해서는 안 된다고 제안합니다. 우리는 적절한 "탐정"을 골라야 합니다. 사이버 공격이 발생하는 찰나의 순간에 즉각적인 결정이 필요하다면, 느리고 완벽한 설명은 아무런 쓸모가 없을 수도 있기 때문입니다.

2. "너무 완벽해서 믿기 힘든" 함정

가장 흥-미로운 발견 중 하나는, 설명을 갖는다고 해서 반드시 인간이 더 똑똑해지는 것은 아니라는 점입니다. 실제로 논문은 설명이 때로는 사람들을 '지나치게' 신뢰하게 만들 수 있다고 지적합니다.
보안 요원이 컴퓨터로부터 "이것은 해커입니다!"라는 메시지와 함께 "이 세 가지 숫자 때문에 99% 확신합니다"라는 설명을 듣는다고 상상해 보세요. 보안 요원은 스스로 생각하기를 멈추고 그냥 "차단" 버튼을 누를 수도 있습니다. 논문은 만약 설명이 잘못 설계된다면, 인간 운영자를 오히려 덜 몰입하게 만들거나 과도한 자신감을 갖게 하여 실수를 유발할 수 있다고 경고합니다. 목표는 단순히 숫자를 보여주는 것이 아니라, 인간이 상황에 대해 비판적으로 사고할 수 있도록 돕는 것입니다.

3. 5단계 "신뢰 샌드위치"

이러한 문제들을 해결하기 위해, 저자는 **5단계 프레임워크(Five-Layer Framework)**라고 불리는 새로운 시스템 구축 방식을 제안합니다. 모든 층이 특정한 역할을 수행하는 샌드위치를 만든다고 생각해보세요.

1. 데이터 층 (The Data Layer): 이것은 맨 아래 빵입니다. 모든 원시 정보(네트워크 로그나 센서 데이터 등)를 수집합니다.
2. AI 층 (The AI Layer): 이것은 고기 패티입니다. 똑똑한 컴퓨터가 예측(예: "이것은 공격이다")을 수행하는 곳입니다.
3. 설명 층 (The Explanation Layer): 이것은 특제 소스입니다. AI의 예측을 근거(예: "이러한 특이한 패턴 때문에 공격입니다")로 번역합니다.
4. 인간 층 (The Human Layer): 이것은 맨 위 빵입니다. 인간 운영자가 설명을 보고 최종 결정을 내리는 인터페이스입니다. 결정적으로, 이 층은 인간이 "나는 이 설명을 믿지 않겠다"라고 말하며 컴퓨터의 결정을 거부(Override)할 수 있도록 설계되어야 합니다.
5. 거버넌스 층 (The Governance Layer): 이것은 모든 것을 하나로 묶어주는 포장지입니다. 모든 결정, 모든 설명, 그리고 인간이 AI의 결정을 뒤집은 모든 기록을 남깁니다. 이를 통해 나중에 문제가 발생했을 때, 정확히 어떤 일이 일어났는지 되돌아볼 수 있는 기록(Paper trail)을 생성합니다.

4. 무엇이 부족한가?

논문은 아직 완벽하지 않다는 점을 인정합니다. 여전히 몇 가지 큰 장애물이 존재합니다.

• 안정성 (Stability): 페이지를 새로고로할 때마다 설명이 바뀌지 않는 안정적인 설명이 필요합니다.
• 속도 (Speed): 실시간 비상 상황에서 충분히 빠르게 작동하는 설명이 필요합니다.
• 표준화 (Standardization): 무엇이 "좋은" 설명인지에 대한 단일한 "규칙집"이 아직 없습니다. 국가와 기업마다 무엇이 충분한지에 대한 기준이 다릅니다.
• 새로운 기술 (New Tech): 논문은 평범한 영어로 설명을 써줄 수 있는 거대 언어 모델(LLM)과 같은 최신 도구들이 이제 막 등장하고 있다고 언급합니다. 이들이 멋져 보이기는 하지만, 생사가 달린 결정에 투입될 만큼 정확한지는 아직 알 수 없습니다.

결론

논문은 복잡한 컴퓨터에 단순히 "설명 가능한 AI"라는 스티커를 붙인다고 해서 해결될 문제가 아니라고 결론짓습니다. 이러한 시스템을 안전하고 신뢰할 수 있게 만들기 위해서는, 설명을 사후적인 고려 사항으로 취급하는 것을 멈춰야 한다고 제안합니다. 대신, 수학과 인간 운영자, 그리고 게임의 규칙을 하나의 응집력 있는 루프로 연결하여 처음부터 시스템 안에 설명을 내재화해야 합니다.

저자는 미래가 하나의 완벽한 마법 도구를 찾는 것이 아니라, 적절한 설명이 적절한 사람에게 적절한 시기에 전달되며, 누가 최종 결정을 내렸는지에 대한 명확한 기록이 남는 조율된 시스템을 만드는 데 있다고 제안합니다. 이는 "블랙박스"의 마법에서 벗어나, 인간과 기계 사이의 투명하고 책임 있는 파트너십으로 나아가자는 촉구입니다.