Explainability in Practice: A Survey of Explainable NLP Across Various Domains

블랙박스와 마법 랜턴

당신이 책을 읽고, 이야기를 쓰고, 심지어 질병까지 진단할 수 있는 초지능 로봇을 만들었다고 상정해 봅시다. 이 로봇은 맡은 일을 놀라울 정도로 잘 수행하지만, 한 가지 문제가 있습니다. 바로 이 로봇이 '마법의 상자'처럼 작동한다는 점입니다. 질문을 던지면 완벽한 답변이 튀어나오지만, 로봇은 자신이 어떻게 그 답을 찾아냈는지 알려주기를 거부합니다. 그저 "나를 믿으세요, 난 똑똑하니까요"라고 말할 뿐이죠. 과학자들은 이를 "블랙박스(black box)"라고 부릅니다. 인공지능(AI), 특히 컴퓨터가 인간의 언어를 이해하도록 가르치는 기술인 자연어 처리(NLP)의 세계에서 이러한 블랙박스는 어디에나 존재합니다. 블랙박스는 당신이 대화하는 챗봇, 대출 승인 여부를 결정하는 시스템, 그리고 의사들이 환자의 기록을 확인할 때 사용하는 도구들의 핵심 동력입니다.

문제는 블랙박스가 실수를 하거나 불공정하다고 느껴지는 결정을 내렸을 때, 우리가 그 이유를 전혀 알 수 없다는 점입니다. 이는 마치 판사가 증거를 읽지도 않고 판결을 내리는 것과 같습니다. 이를 해결하기 위해 연구자들은 "설명 가능한 AI(Explainable AI, XAI)"를 개발하고 있습니다. XAI를 블랙박스 내부를 비추어 컴퓨터가 선택을 내릴 때 사용한 기어의 움직임과 단서들을 보여주는 '마법 랜턴'이라고 생각해보세요. 하지만 여기서 반전이 있습니다. 무엇이 "좋은 설명"인가에 대한 기준은 질문하는 사람이 누구냐에 따라 전적으로 달라진다는 것입니다. 의사는 은행 매니저나 고객 서비스 상담원이 필요로 하는 것과는 전혀 다른 종류의 증거를 필요로 합니다. 이 논문은 이러한 스마트한 언어 로봇들이 일하고 있는 다양한 세계를 안내하는 거대한 투어 가이드입니다. 이 로봇들이 어떻게 정보를 털어놓도록 만들고 있는지 살펴보고, 왜 '하나의 크기가 모두에게 맞을 수는 없는지'를 파헤칩니다.

위대한 탐정 찾기: AI 설명에 관한 조사

이 논문은 마치 거대한 탐정 소설과 같습니다. 하디 모함마디(Hadi Mohammadi)와 동료들이 이끄는 저자들은 AI 언어 모델이 진지하게 업무를 수행하고 있는 일곱 가지 서로 다른 동네로 현장 학습을 떠납니다. 그들은 단순히 로봇만을 보는 것이 아니라, 로봇이 제공하는(혹은 제공하지 못하는) 설명을 관찰하며 다음과 같이 질문합니다. "이 설명이 실제로 그것을 사용하는 사람들에게 도움이 되는가?"

저자들은 의학, 금융, 체계적 문헌 고찰(과학자들이 수천 편의 연구 논문을 요약하는 작업), 고객 관계 관리(CRM, 기업이 고객과 소통하는 방식), 챗봇, 사회 및 행동 과학(혐오 표현이나 가짜 뉴스를 연구하는 분야), 그리고 인적 자원(채용 및 해고)을 방문했습니다.

각 동네에서 발견한 내용은 다음과 같습니다:

• 의학 분야: 의사들은 생명을 구하고 있지만, 단순히 "환자가 위험함"이라고 말하는 로봇은 신뢰할 수 없습니다. 그들은 왜 그런지를 알아야 합니다. 논문에 따르면 병원에서 설명은 의사의 손전등을 비추는 또 다른 손전등 역할을 합니다. 예를 들어, 컴퓨터가 심부전을 예측한다면 특정 의료 코드나 증상(예: 높은 크레아티닌 수치)을 강조하여 그 결론에 도달한 근거를 보여줘야 합니다. 저자들은 일부 방법론이 효과적이지만, 의사들에게는 단순히 예쁜 차트가 아니라 그들의 바쁜 업무 흐름에 딱 맞는 설명이 필요하다는 것을 발견했습니다.
• 금융 분야: 이곳의 이해관계는 돈과 법률입니다. 은행이 대출을 거절한다면, 그들은 정부와 고객에게 이유를 설명해야 합니다. 논문은 금융 팀들이 계약서의 특정 단어나 거래 기록 중 사기 경보를 일으킨 부분을 지목할 수 있는 도구를 선호한다고 언급합니다. 그러나 저자들은 까다로운 문제도 발견했습니다. 때때로 시스템을 속이려는 악의적인 행위자들이 설명을 "역이용(gaming)"하여 시스템을 속일 수도 있다는 점입니다.
• 체계적 문헌 고찰 분야: 수만 권의 책 중에서 중요한 50권을 찾기 위해 노력하는 사서의 모습을 상상해 보세요. AI는 분류를 도움으로써 역할을 수행하지만, 사서는 AI가 왜 그 책을 골랐는지 알아야 합니다. 논문은 여기서의 설명이 연구자들이 AI의 분류 작업을 신뢰하게 함으로써, 전체 과정을 더 빠르고 인간의 오류가 적게 만든다고 제안합니다.
• CRM 및 챗봇 분야: 당신이 챗봇과 대화할 때, 당신은 챗봇이 인간처럼 들리기를 원합니다. 하지만 챗봇이 이상한 답변을 한다면, 당신은 그 이유를 알고 싶을 것입니다. 저자들은 챗봇이 그 근거를 설명할 수 있다면(예: "지난주에 SF 영화를 좋아하셨기 때문에 이 영화를 추천했습니다") 사람들이 더 신뢰하게 된다는 것을 발견했습니다. 하지만 균형이 중요합니다. 설명이 너무 길어지면 대화의 흐름을 망치게 됩니다.
• 사회 과학 분야: 이곳은 인터넷의 "경찰"로서 혐오 표현이나 가짜 뉴스를 감시합니다. 논문은 여기서 큰 도전 과제인 '문화'를 강조합니다. 한 나라에서는 혐오 표현처럼 보이는 것이 다른 나라에서는 평범한 속어일 수 있습니다. 저자들은 설명이 매우 신중해야 한다고 제안합니다. 즉, 어떤 단어가 경보를 울렸는지 정확히 보여줌으로써, 인간이 AI가 너무 민감하게 반응하는지 혹은 핵심을 놓치고 있는지를 확인할 수 있어야 합니다.
• 인적 자원(HR) 분야: 기업들은 이력서를 스캔하는 데 AI를 사용합니다. 논문은 무서운 진실을 드러냅니다. 이러한 시스템은 특정 이름이나 배경에 대해 편향될 수 있다는 것입니다. 여기서 설명은 매우 중요합니다. 왜냐하면 설명만이 편향성을 볼 수 있는 유일한 방법이기 때문입니다. 설명이 없다면 AI가 훌륭한 후보자를 탈락시켜도, 너무 늦기 전까지는 아무도 그 이유를 알 수 없습니다.

"하나의 크기가 모두에게 맞는다"는 신화와 두 단계의 솔루션

이 논문의 가장 큰 발견 중 하나는 모든 직업에 똑같은 설명 도구를 사용할 수는 없다는 것입니다. 이는 마치 드라이버로 못을 박으려는 것과 같습니다. 조금은 작동할지 몰라도, 적절한 도구는 아닙니다.

저자들은 이 모든 분야가 "신뢰"를 원하지만, 서로 다른 종류의 신뢰가 필요하다고 주장합니다. 의사는 의학적으로 정확한 이유가 필요하고, 은행은 법적으로 준수 가능한 이유가 필요하며, 챗봇 사용자는 친근한 이유가 필요합니다. 논문은 이 설명들을 테스트하기 위한 새로운 방법인 **"2단계 평가 프로토콜(Two-Tier Evaluation Protocol)"**을 제nd합니다.

• 1단계 (기술적 핵심): 이것은 수학적인 부분입니다. 설명이 컴퓨터가 실제로 수행한 작업과 일치하는가? (이를 "충실성(faithfulness)"이라고 합니다). 올바른 답을 얻었는가? (이를 "정확도(fidelity)"라고 합니다). 모든 설명은 이 기본적인 테스트를 통과해야 합니다.
• 2단계 (도메인 계층): 이것은 인간적인 부분입니다. 의사가 이것을 실제로 이해할 수 있는가? 은행 규제 기관이 이를 수용할 수 있는가? 고객이 안심을 느끼는가? 이 부분은 직업에 따라 달라집니다.

또한 논문은 현대의 "초지능" AI(예: 에세이를 쓰는 AI)가 가진 교묘한 문제를 다룹니다. 때때로 이러한 AI 모델은 자신이 어떻게 생각했는지에 대해 매우 설득력 있는 이야기를 써 내려갈 수 있지만, 그 이야기는 실제와 다를 수 있습니다. 이는 마치 학생이 수학 문제를 어떻게 풀었는지에 대해 완벽한 에세이를 썼지만, 실제로는 그냥 답을 찍은 것과 같습니다. 저자들은 이를 "사고의 사슬 충실성 문제(Chain-of-Thought Faithfulness Problem)"라고 부릅니다. 그들은 AI가 단계별로 추론하는 것처럼 말한다고 해서, 실제로 그렇게 했다는 것을 의미하지 않는다는 점을 발견했습니다. 이는 진지한 결정을 내릴 때 이러한 모델에 의존하려는 모든 이들에게 큰 경고를 줍니다.

앞으로의 과제는?

논문은 우리가 진전을 이루고 있지만, 아직 완성된 것은 아니라고 결론짓습니다. 우리는 블랙박스 안에 빛을 비출 도구를 가지고 있지만, 그 빛이 우리가 있는 방에 맞는 색깔인지 확인해야 합니다. 저자들은 향-후 연구가 질문하는 사람에 따라 변하는 설명(개인화된 설명)을 만드는 것과, AI의 "추론"이 진짜인지 아니면 그저 지어낸 이야기인지 증명하는 방법을 찾는 데 집중해야 한다고 제안합니다.

요약하자면, 이 논문은 하나의 로드맵입니다. AI를 진정으로 유용하고 안전하게 만들기 위해서는 단순히 더 똑똑한 로봇을 만드는 것뿐만 아니라, 그들과 대화하고 그들을 이해하는 더 나은 방법을 만들어야 한다고 말합니다. 그리고 현실 세계와 마찬가지로, 최고의 설명은 듣는 사람에게 이해가 되는 설명입니다.