The Contribution of XAI for the Safe Development and Certification of AI: An Expert-Based Analysis

당신이 아주 똑똑한 로봇 요리사를 만들었다고 상상해 보세요. 이 로봇은 완벽한 라자냐를 뚝딱 만들어낼 수 있지만, 완전히 "블랙박스"와 같습니다. 당신이 "왜 소금을 더 넣었니?"라고 물으면, 로봇은 그저 빛나는 화면을 띄운 채 응시하며 자신의 비밀 레시피를 설명하기를 거부합니다. 이것이 많은 현대 인공지능(AI) 시스템이 직면한 문제입니다. 그들은 결정을 내리지만, 정확히 어떻게 또는 왜 그렇게 했는지는 아무도 모릅니다.

이제, 이 로봇이 실제 레스토랑에서 요리할 수 있도록 엄격한 안전 검사관으로부터 인증을 받아야 한다고 상상해 보세요. 검사관은 말합니다. "당신의 논리를 이해하지 못한다면 승인할 수 없습니다." 여기서 XAI(설명 가능한 인공지능)가 등장합니다. XAI는 그 블랙박스 내부를 들여다보고 로봇의 비밀스러운 생각을 인간의 언어로 번역하기 위해 설계된 새로운 도구 세트입니다.

하지만 반전이 있습니다. 벤자민 프레즈(Benjamin Fresz)와 그의 동료들이 이끄는 연구팀은 15명의 전문가(이 로봇들을 만드는 법과 이를 검사하는 법을 모두 아는 사람들)에게 가서, XAI가 인증을 받기 위한 마법의 열쇠인지 물었습니다. 그들은 컴퓨터 시뮬레이션을 실행하거나 새로운 로봇을 만들지 않았습니다. 그저 인간들과 대화하고 그들의 실제 세계 이야기를 경청했을 뿐입니다.

핵심 발견: 마법 지팡이가 아닌 유능한 조력자

주요 결과는 일종의 현실 점검입니다. 전문가들은 XAI가 AI를 만드는 사람들에게는 매우 유용한 조력자라는 점에 동의합니다. 그것은 마치 로봇의 엉망진창인 주방을 들여다보고 "이봐요, 토마토가 시어서 소금을 넣는군요"라거나 "오 이런, 데이터가 짠맛 레시피에 편향되어 있어서 소금을 추가하고 있네요"라고 말해주는 탐정과 같습니다.

이러한 역할에서 XAI는 **디버깅(오류 수정)**에 탁격합니다. 개발자가 오류를 찾아내고, 편향을 발견하며, 모델이 실험실을 떠나기 전에 어디서 잘못되었는지 이해하도록 돕습니다. 한 전문가는 XAI가 인간이 놓쳤던 데이터 속의 새롭고 합리적인 패턴을 찾는 데 도움을 주었다고 언급했습니다.

하지만 공식 인증(이것은 안전하게 사용할 수 있다는 승인 도장)에 관해서라면, 전문가들은 훨씬 더 회의적입니다. 그들은 XAI가 완전한 해결책은 아니라고 주장합니다. XAI 설명 뭉치를 검사관에게 건네주며 "보세요, 안전합니다!"라고 말할 수는 없다는 것입니다.

왜 XAI가 최종 답안이 될 수 없는가

이 논문은 몇 가지 인기 있는 아이디어들을 명시적으로 배제합니다:

1. XAI는 "진정한" 설명이 아니다: 저자들은 복잡한 AI의 경우 "진정한" 설명이란 불가능할 수도 있다고 제안합니다. 한 전문가는 이를 인간의 사고에 비유했습니다. 인간은 자신의 행동에 대해 사후에 이유를 만들어낼 수 있지만(예: "그냥 넣고 싶어서 넣었어"라고 말하는 것), 그것이 진짜 이유는 아닐 수 있습니다(순간적인 직관일 수 있음). 마찬가지로, XAI는 인간이 읽을 수 있는 이유를 제공할 수는 있지만, 진짜 이유는 인간이 완전히 파악할 수 없는 수백만 개의 계산 속에 묻혀 있습니다.
2. XAI는 단독적인 안전 보증이 아니다: 논문은 XAI만으로 시스템을 인증할 수 있다는 생각에 반대합니다. 전문가들은 현재의 XAI 방식들이 까다로울 수 있다고 지적합니다. 때때로 서로 다른 XAI 도구들이 동일한 결정에 대해 서로 다른 설명을 내놓기도 하는데, 이는 "어느 쪽이 맞는 거지?"라는 의문을 남깁니다. 이는 마치 세 명의 서로 다른 형정에게 범죄 현장에 대해 묻는데, 그들이 모두 서로 다른 이야기를 하는 것과 같습니다.
3. XAI는 "검사관의 블랙박스" 문제를 해결하지 못한다: XAI가 (AI라는) 하나의 블랙박스를 (XAI 도구라는) 또 다른 블랙박스로 교체해 버릴 위험이 있습니다. 만약 AI를 설명하는 데 사용된 도구 자체도 미스터리라면, 우리가 어떻게 그것을 신뢰할 수 있겠습니까?

"증거"의 문제

여기서 전문가들이 제기한 흥미로운 점이 있습니다. 전통적인 안전 점검에서는 검사관이 제조사가 제공하는 증거를 신뢰합니다. 하지만 AI의 경우, 만약 제조사가 겉보기에는 그럴싸하지만 실제로는 틀린 설명을 생성하기 위해 XAI를 사용한다면 어떻게 될까요? 논문은 우리가 XAI 설명 자체가 "정확한지" 확인할 방법이 아직 없다고 제안합니다. 이는 학생이 에세이를 쓰는 것과 같습니다. 우리는 에세이를 읽을 수는 있지만, 선생님의 채점 기준표를 모른다면 그 에세이가 실제로 사실인지 알 수 없는 것과 같습니다.

전문가들이 바라는 점

전문가들이 XAI가 쓸모없다고 말하는 것은 아닙니다. 그들은 XAI가 더 성장해야 한다고 말합니다. 그들이 바라는 것은 다음과 같습니다:

• 더 나은 도구: 단순히 이미지 위의 "히트맵" 수준이 아니라, 시계열(시간에 따라 변하는 데이터)이나 텍스트와 같은 것을 설명할 수 있는 새로운 유형의 설명.
• 더 명확한 규칙: 현재는 얼마나 많은 설명이 "충분한지"에 대한 표준 규칙이 없습니다. 전문가들은 기업들이 검사관에게 정확히 무엇을 보여줘야 하는지 알 수 있도록 레시피 카드와 같은 명확한 가이드라인이 필요하다고 말합니다.
• 인간 중심(Human-in-the-Loop): 그들은 인간이 여전히 과정에 참여해야 한다고 강조합니다. 검사관은 여전히 XAI 출력을 살펴보고 그것이 타당한지 판단해야 합니다.

결론

그렇다면, XAI가 안전한 AI를 위한 마법의 열쇠일까요? 꼭 그렇지는 않습니다.

논문은 XAI가 버그를 찾고 AI 개발자들을 더 똑똑하게 만드는 데 가치 있는 자산이라고 제안합니다. 그것은 어두운 방 안에서 길을 밝혀주는 아주 좋은 손전등과 같습니다. 그것은 어디에 함정이 있는지 보는 데 도움을 줍니다. 하지만 그것은 인증서 그 자체가 아닙니다. 손전등을 휘두르며 안전 검사관에게 보여준다고 해서 그들이 건물에 대한 승인을 해줄 것이라고 기대할 수는 없습니다.

전문가들은 AI가 진정으로 인증받기 위해서는 여러 가지 요소가 혼합되어야 한다고 믿습니다: 더 나은 테스트, 공식적인 수학적 증명, 그리고 그 중 하나의 조각으로서의 XAI가 필요합니다. "충분히 좋은" 설명에 대한 측정 기준이 마련되기 전까지, XAI는 제작자들에게는 유용한 도구로 남겠지만, 안전 검사관들을 위한 최종 답변은 되지 못할 것입니다.