당신이 날씨를 예측하거나, 질병을 진단하거나, 심지어 시를 쓸 수도 있는 초지능 로봇을 만들었다고 상상해 보십시오. 이 로봇은 놀라울 정도로 잘 작동하지만, '블랙박스'와 같습니다. 버튼을 누르면 답을 내놓지만, 왜 그 답을 선택했는지는 알 수 없습니다. 이것이 인공지능(AI)의 세계입니다. 이 미스터리를 해결하기 위해 과학자들은 **설명 가능한 AI(Explainable AI, XAI)**라는 분야를 만들었습니다. XAI를 로봇의 비밀스러운 생각을 인간에게 설명하려고 노력하는 번역기라고 생각하십시오. 우리는 문장에서 어떤 단어가 가장 중요했는지, 혹은 어떤 픽셀이 로봇으로 하여금 "고양이"라고 생각하게 만들었는지를 강조해 주는 도구들을 가지고 있습니다. 하지만 여기에는 함정이 있습니다. 로봇이 우리에게 번역을 제공할 수 있다고 해서, 그 번역이 실제로 우리에게 유용한 일을 하는 데 도움이 된다는 뜻은 아닙니다. 우리는 이 설명들이 신뢰할 수 있는지, 로ks의 실제 두뇌와 일치하는지, 그리고 가장 중요한 것은, 우리가 더 나은 결정을 내리거나 로봇이 잘못되었을 때 이를 바로잡는 데 실제로 도움이 되는지를 알아야 합니다.

이것이 바로 새로운 논문이 다루고 있는 문제입니다. 저자들은 AI 커뮤니티가 잘못된 방향으로 마라톤을 하고 있다고 주장합니다. 대신에, 모두가 블랙박스를 비추기 위해 화려한 "손전등"(방법론)을 발명하는 데만 열을 올리고 있습니다. 저자들은 이러한 새로운 손전등들이 멋지기는 하지만, 우리가 무엇이 "지도"처럼 보여야 하는지, 지도가 정확한지 어떻게 확인하는지, 그리고 지도를 얻은 후에 무엇을 해야 하는지에 대해 합의하지 못했기 때문에 우리가 어둠 속을 항해하는 데 도움을 주지 못하는 경우가 많다고 말합니다.

"손전등" 문제

최고 수준의 대학과 기술 기업에서 온 연구진인 저자들은 최근의 XAI 관련 논문 수백 편을 검토하고, 실제로 현업에서 이러한 도구들을 사용하는 수십 명의 사람들과 이야기를 나누었습니다. 그들은 우려스러운 패턴을 발견했습니다: 이 분야는 새로운 방법론을 만드는 것에 집착하고 있습니다. 실제로 그들이 분석한 논문의 **77%**는 단지 AI를 설명하는 새로운 방법을 제안하는 것이었으며, 단 **11%**만이 "설명"이란 무엇인지에 대한 명확하고 공식적인 정의를 내리려고 노력했습니다.

이것은 마치 요리사 그룹이 "수프"가 무엇인지에 대해 합의하기도 전에 새로운 레시피를 발명하려고 애쓰는 것과 같습니다. 어떤 이들은 수프는 뜨거워야 한다고 말하고, 다른 이들은 당근이 들어있어야 한다고 말하며, 어떤 이들은 그냥 모든 것을 솥에 던져 넣고 수프라고 부릅니다. 모두가 서로 다른 정의를 사용하기 때문에 결과는 엉망이 됩니다. 한 연구자는 자신의 방법이 "충실하다"(즉, AI의 진실을 말한다)라고 말하는 반면, 다른 연구자는 다른 테스트를 사용하여 동일한 방법이 거짓이라고 말합니다. 이 논문은 우리가 체계적인 시스템을 구축하기보다는 임기응변식으로 무언가를 만들어내는 루프에 갇혀 있다고 주장합니다.

네 가지 누락된 기둥

저자들은 새로운 손전등을 계속 만들기 전에 네 가지 구체적인 토대를 구축해야 한다고 말합니다. 그들은 이를 "네 가지 과제"라고 부릅니다.

1. 정의의 문제 (설명이란 무엇인가?)
현재 "설명"이라는 단어는 모든 것에 사용되고 있습니다. 때로는 중요한 특징들의 목록을 의미하기도 하고, 때로는 AI가 스스로에게 들려주는 이야기(story)를 의미하기도 합니다. 이 논문은 추측을 멈춰야 한다고 주장합니다. 설명은 누구를 위한 것인지와 그들이 그것으로 무엇을 해야 하는지에 의해 정의되어야 합니다. 만약 의사가 환자의 보험 가입이 거절된 이유를 알아야 한다면, 그 설명은 로봇 엔지니어가 버그를 수정하기 위해 필요한 설명과는 달라야 합니다. 명확한 정의가 없다면 우리는 우리가 잘하고 있는지조차 측정할 수 없습니다.

2. 속성의 문제 (무엇이 좋은 설명인가?)
우리는 규칙에 합의해야 합니다. 좋은 설명은 "충실(faithful)"해야 합니다. 즉, 단순히 보기 좋게 보이는 것이 아니라 실제로 AI가 하고 있는 일과 일치해야 합니다. 하지만 충실함만으로는 충분하지 않습니다. 설명은 또한 "완전(complete)"해야 하며(가장 중요한 부분을 놓쳐서는 안 됨), "강건(robust)"해야 합니다(입력을 약간 조정한다고 해서 설명이 급격히 변해서는 안 됨). 논문은 현재의 많은 방법론이 이러한 테스트에서 실패한다고 지적합니다. 예를 들어, 어떤 방법은 테스트에서는 훌륭해 보일지 몰라도 인간이 결정을 내리는 데는 도움이 되지 않을 수 있습니다. 저자들은 수학적으로 멋져 보인다고 해서 단순히 가정하는 것이 아니라, 이러한 속성들을 엄격하게 테스트해야 한다고 제안합니다.

3. 평가의 문제 (어떻게 작동하는지 어떻게 테스트하는가?)
이 부분이 정말 복잡합니다. 논문에 따르면 연구자 중 **56%**가 자신들의 설명이 얼마나 "충실"한지 테스트한다고 주장하지만, 정작 인간과 대화하는 경우는 매우 드물었습니다. 검토된 논문 중 실제 사람을 대상으로 한 연구를 포함한 것은 단 **11%**뿐이었습니다. 대부분의 연구자는 컴퓨터 시뮬레이션을 실행하거나 숫자가 안정적인지만 확인합니다. 하지만 인간이 이해할 수 없거나 신뢰할 수 없다면 그 설명은 쓸모가 없습니다. 저자들은 설명을 수학 문제처럼 취급하는 것을 멈추고, 하나의 제품처럼 테스트해야 한다고 주장합니다. 즉, 그것이 인간이 업무를 더 잘 수행하도록 실제로 돕는지를 테스트해야 한다는 것입니다.

4. 행동의 문제 (설명을 가지고 무엇을 할 것인가?)
이것이 가장 큰 간극입니다. 의사가 "AI는 환자의 연령 때문에 이 희귀 질환이 있다고 판단합니다"라는 설명을 받았다고 상상해 보십시오. 좋습니다, 그런데 의사는 그 정보를 가지고 무엇을 할 수 있을까요? AI의 생각을 바꿀 수 있습니까? 추가 검사를 요청할 수 있습니까? 논문은 실무자 중 **38.2%**가 이러한 설명을 실제 워크플로우에 통합하는 데 어려움을 겪고 있다고 밝혔습니다. 현재 설명은 종종 보고 나서 바로 버려지는 "보여주기식" 항목에 불과합니다. 저자들은 설명이 인간이 피드백을 주고, AI를 수정하고, 시스템을 개선할 수 있는 루프의 일부가 되어야 한다고 주장합니다. 이것이 없다면 설명은 그저 장식품일 뿐입니다.

데이터가 말해주는 것

저자들은 자신들의 주장을 뒷받침하기 위해 두 가지 큰 작업을 수행했습니다. 첫째, 그들은 AI(LLM)를 사용하여 NeurIPS나 ICML과 같은 최고 컨퍼런스의 논문 617편을 읽었습니다. AI는 이 분야가 정의나 인간 대상 테스트보다는 거의 전적으로 "새로운 방법론" 논문에 의해 주도되고 있음을 발견했습니다.

둘적으로, 그들은 실제로 이 도구들을 직업에서 사용하는 34명의 실무자를 설문 조사했습니다. 결과는 놀라웠습니다.

• 혼란: **44.1%**는 설명이 얼마나 좋은지 어떻게 확인할 수 있는지 모른다고 답했습니다.
• 선택 장애: **23.5%**는 어떤 방법을 골라야 할지 모르겠다고 인정했으며, **26.5%**는 도구의 설정값(파라미터)을 어떻게 선택해야 하는지 모른다고 답했습니다.
• "신뢰"의 함정: 많은 사람이 이 도구들이 자신들의 "신뢰"를 높이는 데 도움이 된다고 말했지만, 논문은 이해 없는 신뢰는 위험하다고 경고합니다. 실제로 실무자의 **44.1%**는 가장 큰 어려움이 실제로 결정을 내려야 하는 사람들에게 결과를 설명하는 것이라고 답했습니다.

나아가야 할 길

저자들은 새로운 도구를 만드는 것을 멈추라고 말하는 것이 아닙니다. XAI가 영원히 고장 났다고 말하는 것도 아닙니다. 우선순위를 바꿔야 한다고 말하는 것입니다. 100번째 새로운 손전등을 만드는 데 서두르는 대신, 우리는 지도가 어떻게 생겼는지, 어떻게 정확하게 그리는지, 그리고 목적지에 도달하기 위해 어떻게 사용하는지에 대해 합의해야 합니다.

그들은 XAI에 관한 새로운 논문을 쓰는 모든 이들을 위해 간단한 체크리스트를 제안합니다. 논문을 발표하기 전에 스스로에게 물어보십시오:

1. 목표를 정의했는가? (이것은 누구를 위한 것이며, 그들은 무엇을 하려고 하는가?)
2. 주장이 검증 가능한가? (누군가가 당신의 말이 틀렸음을 증명할 수 있는가?)
3. 충실성을 테스트했는가? (그것이 실제로 AI의 두뇌와 일치하는가?)
4. 유용한가? (누군가가 실제 결정을 내리는 데 도움이 되는가?)
5. 인간을 대상으로 테스트했는가? (실제 상황에서 실제 사람들이 사용했는가?)

논문은 우리가 이러한 기초에 집중하기 시작한다면, "멋진 과학 실험"에서 인간과 기계가 실제로 협력할 수 있도록 돕는 "신뢰할 수 있는 도구"로 나아갈 수 있다고 결론짓습니다. 그때까지 우리는 밝게 빛나지만 결국 제자리를 맴돌게 만드는 손전등을 계속 만들 뿐일지도 모릅니다.