Challenges in Evaluating Explanation Methods for Static and Evolving Data

당신이 사진을 보고 그 안에 무엇이 있는지 정확히 말해줄 수 있는 초지능 로봇을 만들었다고 상상해 보세요. 정말 놀랍지만, 함정이 하나 있습니다. 로봇은 정답은 알려주지만, 어떻게 그 답을 찾아냈는지는 말해주지 않습니다. 이것은 '블랙박스'와 같습니다. 마치 마술사가 모자에서 토끼를 꺼내면서도 그 속임수를 보여주기를 거부하는 것과 같습니다. 인공지능(AI)의 세계에서 이것은 큰 문제입니다. 만약 로봇이 질병을 진단하거나 우주선의 문제를 포착하는 것과 같이 생사가 걸린 결정을 내리고 있다면, 우리는 로봇이 왜 그런 선택을 했는지 알아야 합니다. **설명 가능한 인공지능(XAI)**이라고 불리는 이 분야는 이 블랙박스를 열어 로봇의 사고 과정을 보여주려 노력합니다. 하지만 여기에는 반전이 있습니다. 우리는 내부를 들여다볼 수 있는 수많은 새로운 방법을 가지고 있지만, 그 들여다보기가 실제로 도움이 되는지, 아니면 그냥 무언가를 지어내는 것뿐인지 확인하는 데는 매우 서툽니다. 이는 어둠 속을 비추기 위해 수백 개의 서로 다른 손전등을 가지고 있지만, 그 손전등들이 실제로 길을 밝혀주는지 아니면 단지 당신의 눈을 멀게 하는지 테스트하는 사람이 아무도 없는 것과 같습니다.

이 논문은 연구자 예지 스테파노프스키(Jerzy Stefanowski)의 경종입니다. 그는 우리가 적절한 테스트 없이 새로운 설명 도구를 발명하는 데만 급급하다고 주장합니다. 그는 현재의 많은 방법이 "진보의 환상"과 같다고 제안합니다. 즉, 겉보기에는 화려하지만 실제 세상에서는 유용하지 않을 수 있다는 것입니다. 논문은 이를 해결하기 위한 두 가지 주요 방법을 탐구합니다. 첫째, 이 도구들을 사용하여 로봇이 언제 불공정하거나 편향되었는지(예를 들어, 목타이를 맨 사람을 실제 성별과 상관없이 남성이라고 생각하는 경우)를 포착하는 방법을 살펴봅니다. 둘둘째, 주변 환경이 변함에 따라 학습해야 하는 까다로운 상황에 처한 로고봇 문제를 다룹니다. 동물을 인식하도록 배우는 로봇을 상상해 보세요. 그런데 갑에 동물들이 모자를 쓰기 시작하거나 조명이 바뀐다면, 로봇의 기존 설명은 쓸모없어질 수 있습니다. 저자는 우리가 단순히 설명의 "정확도"를 계산하는 것을 멈추고, 실제 인간에게 그것이 정말 이해되는지 물어야 한다고 주장합니다. 또한, 단 하나의 "최선"의 설명을 고르는 대신, 사람들이 자신에게 가장 잘 맞는 것을 선택할 수 있도록 몇 가지 다른 옵션을 제공해야 한다고 제안합니다.

로봇의 마술과 고장 난 손전등

현대 AI 시스템을 매우 유능하지만 신비로운 마술사라고 생각해 보세요. 그들은 사진 속 고양이를 보고 99%의 확신을 가지고 "저것은 고양이입니다!"라고 말할 수 있습니다. 하지만 당신이 "왜?"라고 물으면, 그들은 그저 빤히 쳐다볼 뿐입니다. 이것이 "블랙박스" 문제입니다. 의료나 항공우주처럼 실수가 위험할 수 있는 분야에서는 마술사를 그냥 믿을 수 없습니다. 우리는 그 속임수를 직접 봐야 합니다. 이것이 바로 **설명 가능한 인공지능(XAI)**이 등장하는 이유입니다. XAI는 인간이 AI가 왜 그런 결정을 내렸는지 볼 수 있도록 블랙박스 안을 비추는 손전등을 만드는 과학입니다.

하지만 논문은 우리의 현재 접근 방식에 큰 결함이 있다고 지적합니다. 우리는 수십 가지의 서로 다른 손전등(Saliency map, Counterfactuals, Prototypes 같은 방법들)을 발명했지만, 그것들이 실제로 작동하는지 제대로 테스트하지 않았습니다. 이는 수천 개의 서로 다른 손전등을 파는 장난감 가게와 같습니다. 하지만 그중 어떤 것도 어두운 방을 실제로 밝히는지, 아니면 벽에 이상한 모양만 만들어내는지 테스트되지 않았습니다. 저자는 우리가 진정으로 유용한지 확인하지 않은 채 새로운 도구를 만드는 데 매몰되어 있으며, 이로 인해 "진보의 환상"에 빠져 있다고 주장합니다.

편향된 로봇과 넥타이의 사례

테스트가 왜 중요한지를 보여주기 위해, 논문은 DetoxAI라는 특정 프로젝트를 살펴봅니다. 얼굴을 인식하도록 훈련된 로봇을 상상해 보세요. 당신은 로봇이 눈과 코를 본다고 생각할 수도 있지만, 논문은 로봇이 지름길(Shortcut)에 의존할 수 있음을 밝혀냅니다. 예를 들어, 유명인 데이터셋에서 로봇은 넥타이를 맨 사람들이 거의 항상 남성이라는 점을 발견했습니다. 그래서 얼굴 특징을 보는 대신, 성별을 추측하기 위해 "넥타이"를 지름길로 사용하기 시작한 것입니다. 이것이 바로 **편향(Bias)**입니다. 즉, 로봇의 논리에 오류가 있어 불공정한 결과를 초래하는 것입니다.

연구자들은 XAI 도구를 사용하여 로봇의 뇌에 빛을 비추었습니다. 그들은 로봇이 실제로 넥타이에 크게 집중하고 있다는 것을 발견했습니다. 일단 이를 확인하자, 그들은 로봇이 나쁜 습관을 "학습하지 않도록(Unlearn)" 하여, 넥타이를 무시하고 얼굴을 보도록 가르칠 수 있었습니다. 논문은 이러한 설명 도구를 사용함으로써 로봇이 얼마나 개선되었는지 정확하게 측정할 수 있음을 보여줍니다. 이는 단순한 추측이 아니라, 로봇이 더 공정해졌다는 것을 보여주는 수치를 제시합니다. 이는 설명이 단순히 보여주기 위한 것이 아니라, 망가진 AI를 고치는 데 필수적이라는 것을 증명합니다.

인간 테스트: 우리는 정말 이해하고 있는가?

논문의 두 번째 부분은 간단하지만 어려운 질문을 던집니다. "인간은 실제로 이 설명을 이해하는가?" 저자는 대부분의 연구가 단순히 "이 설명이 마음에 드나요?"라고 묻고 넘어간다고 지적합니다. 하지만 논문은 우리가 더 잘해야 한다고 주장합니다.

이를 테스트하기 위해, 연구진은 AI 전문가가 아닌 148명의 사람들(학생 및 직원)을 대상으로 설문 조사를 실시했습니다. 그들에게 동물(얼룩말, 호랑이, 판다 등)의 사진을 보여주고, 로봇이 왜 그것을 얼룩말이라고 생각했는지 강조해 주는 세 가지 유형의 "손전등"(설명 방법)을 보여주었습니다.

• 결과: 사람들은 무작위로 선택하지 않았습니다. 그들은 ProtoPNet이라 불리는 방법을 다른 방법들보다 선호했습니다.
• 놀라운 점: 사람들이 가장 좋아한 방법은 컴퓨터 테스트에서 수학적으로 "완벽"했던 방법이 반드시 아니었습니다. 그것은 인간이 중요하다고 생각하는 것과 일치하는 방법이었습니다. 예를 들어, 호랑이를 볼 때 사람들은 줄무늬가 강조되기를 원했습니다. ProtoPNet 방식이 이를 가장 잘 수행했습니다.
• 교훈: 논문은 만약 우리가 설명을 유용하게 만들고 싶다면, 컴퓨터가 아니라 사람을 위해 설계해야 한다고 제안합니다. 교사가 교과서만 읽는 것이 아니라 실제 학생들에게 수업 계획을 테스트하는 것처럼, 우리도 실제 인간을 통해 테스트해야 합니다.

움직이는 목표물: 세상이 변할 때

논문이 다루는 마지막 도전 과제는 "움직이는 목표물"입니다. 대부분의 AI 설명은 변하지 않는 세상을 위해 설계되었습니다. 하지만 현실 세계에서는 변화가 일어납니다. 이를 **개념 드리프트(Concept Drift)**라고 합니다. 로봇이 자동차를 인식하도록 배우는 과정을 상상해 보세요. 만약 로봇이 2010년의 자동차 사진들로 훈련받았다면, 갑자기 배기구가 없는 전기차가 등장했을 때, 로봇의 기존 설명은 "배기구가 있기 때문에 자동차라고 안다"라고 말할 것입니다. 그 설명은 이제 틀렸고 혼란스럽습니다.

논문은 데이터가 변할 때 이러한 설명들을 어떻게 업데이트할 수 있는지 탐구합니다. 단순히 로봇을 재학습시키는 대신, 연구자들은 결정에 대한 "이유"가 시간이 지남에 따라 어떻게 변하는지 추적하려고 시도했습니다. 그들은 반사실적(Counterfactuals) 방법(예: "만약 이 차에 배기구가 있다면 어떨까?"와 같은 "만약 ~라면?" 질문을 던지는 것)을 사용했습니다. 그들은 이러한 "만약 ~라면"에 대한 답변이 어떻게 변하는지 관찰함으로써, 로봇의 논리가 정확히 언제, 왜 변하는지 포착할 수 있다는 것을 발견했습니다. 이는 마치 나침반 바늘의 움직임을 관찰하는 것과 같습니다. 바늘이 너무 많이 흔들린다면, 자기장(데이터)이 변했다는 것을 알 수 있습니다.

핵심 요약

논문은 우리가 현재 너무 많은 도구를 가지고 있으면서도 테스트는 부족한 단계에 머물러 있다고 결론짓습니다.

• 필요한 것: 우리는 단순히 컴퓨터상에서 설명이 얼마나 "정확한지"를 측정하는 것을 멈추고, 그것이 인간이 더 나은 결정을 내리도록 돕는지 측정하기 시작해야 합니다.
• 미래: 우리는 실제 사람들과의 더 많은 실험, 변화하는 데이터를 다루기 위한 더 나은 도구, 그리고 사람들이 자신에게 가장 잘 맞는 것을 선택할 수 있도록 여러 가지 설명을 제공하는 방법이 필요합니다.

저자는 우리가 이 문제를 해결했다고 말하는 것이 아닙니다. 오히려 우리는 이제 겨우 표면에 긁어보고 있을 뿐이라고 제안합니다. 하지만 설명을 수학 문제가 아닌 인간을 위한 도구로 다룸으로써, 우리는 똑똑할 뿐만 아니라 신뢰할 수 있고 공정한 AI 시스템을 구축할 수 있습니다. 목표는 단순히 로봇이 스스로를 설명하게 만드는 것이 아니라, 그 설명이 우리가 세상을 이해하는 데 실제로 도움이 되도록 만드는 것입니다.