From Dyad to Triad: Eliciting XAI Requirements in Stroke Rehabilitation

보이지 않는 코치와 침묵하는 환자

자전거 타는 법을 배우고 있다고 상상해 보세요. 그런데 부모님이 안장을 잡아주는 대신 로봇이 당신을 안내하고 있습니다. 이 로봇은 당신의 비틀거림을 보고 당신이 언제 넘어질지 정확히 알고 있습니다. 하지만 여기 함정이 있습니다. 로봇은 절대 말을 하지 않습니다. 그저 핸들을 기울이거나 페달을 멈출 뿐입니다. 당신은 "내가 너무 세게 페달을 밟았나? 배터리가 부족한가? 로봇이 고장 났나?"라며 답답함을 느낄 수도 있습니다. 이것이 바로 **설명 가능한 인공지능(XAI)**의 세계입니다. 쉽게 말해, XAI는 컴퓨터 프로그램이 단순히 결과만을 보여주는 것이 아니라, 왜 그런 결정을 내렸는지 우리에게 '이유'를 말해주도록 만드는 기술입니다.

이제 이 로봇이 뇌졸중 생존자가 팔 움직임을 다시 배우는 것을 돕고 있다고 상상해 보세요. 뇌졸중은 뇌의 회로에 전력이 끊긴 것과 같아서, 종종 사람들이 말을 명확하게 하거나 복잡한 생각을 빠르게 처리하는 것을 어렵게 만듭니다. 수년 동안 의사들은 이 시나리오에서 환자에게 왜 운동이 실패했는지, 어떻게 수정해야 하는지를 설명해 주는 '코치' 역할을 해왔습니다. 하지만 기술이 도움을 주기 위해 개입하면서, 팀은 2인조(의사와 환자)에서 3인조(의사, 환자, 그리고 로봇)로 바뀝니다. 큰 질문은 이것입니다. 적절한 단어를 찾는 데 어려움을 겪고 있는 사람에게, 로봇으로부터 어떤 종류의 '설명'이 필요한지 어떻게 물을 수 있을까요? 만약 당신이 "대조적 설명(contrastive explanation)을 선호하시나요, 아니면 반사실적 설명(counterfactual one)을 선호하시나요?"라고 묻는다면, 그들은 그저 당신을 빤히 바라볼지도 모릅니다. 이 논문은 바로 그 문제를 파고들며, 환자들이 스스로를 대변하기 어려울 때 어떻게 그들의 목소리에 귀를 기울여서, 그들이 사용하는 로봇이 단순히 작동하는 것을 넘어 실제로 그들에게 '이해되는' 방식으로 만들 수 있을지 연구합니다.

---

"무엇인가?"에서 "왜인가?"로

이 논문은 소통의 퍼즐을 해결하기 위해 설계된 영리한 실험에 관한 것입니다. 연구진은 뇌졸중 생존자들이 자신을 돕는 AI 시스템으로부터 실제로 이해하고 싶어 하는 것이 무엇인지 알고 싶었습니다. 하지만 장애물이 있었습니다. 많은 환자가 언어를 말하거나 복잡한 언어를 이해하는 데 어려움을 겪는 **실어증(aphasia)**을 앓고 있다는 점입니다. 만약 그들에게 직접 "이 알고리즘으로부터 어떤 종류의 투명성을 원하십니까?"라고 묻는다면, 그들은 막막해하거나, 혹은 어려움을 겪고 싶지 않아서 당신이 제안하는 것에 무조건 "예"라고 답할 수도 있습니다.

파람 라즈푸라(Param Rajpura)와 요게쉬 쿠마르 미나(Yogesh Kumar Meena)가 이끄는 팀은 추상적인 질문을 던지는 대신 이야기를 보여주기로 결정했습니다. 그들은 **비디오 기반 스캐폴딩 프로토콜(video-based scaffolding protocol)**을 만들었습니다. 여기서 '스캐폴딩(scaffolding)'은 건축가가 벽을 쌓을 때 사용하는 임시 나무 지지대와 같습니다. 여기서 '나무'는 수니타(Sunita)라는 캐릭터가 팔을 움직이기 위해 뇌-컴퓨터 인터페이스(BCI)를 사용하려고 노력하는 모습을 담은 2분짜리 짧은 영상 시리즈였습니다. 영상은 기계가 때로는 작동하고 때로는 작동하지 않거나, 혼란스러운 피드백을 주는 것과 같은 현실적인 문제들을 보여주었지만, '해결책'은 보여주지 않았습니다. 대신, 영상은 혼란스러운 순간에서 딱 멈춘 뒤, 시청자들에게 "여기서 수니타에게 무엇이 도움이 될까요?"라고 질문했습니다.

이 영상들을 최대한 활용하기 위해, 연구진은 환자들이 자신의 요구를 표현할 수 있도록 돕는 네 가지 특별한 기술, 즉 "스캐폴딩 접근법"을 사용했습니다.

1. "친숙한 시스템" 연결 (유추적 연결, Analogical Bridging): "신경 신호"나 "임피던스"에 대해 말하는 대신, 진행자들은 AI를 누구나 아는 사물에 비유했습니다. 예를 들어, 나쁜 뇌 신호를 끊긴 휴대폰 통화에 비유했습니다. 갑자기 "신호를 고치는 것"이라는 개념이 EEG 기술를 들어본 적 없는 환자에게도 완벽하게 이해되었습니다.
2. "제3자" 방패 (투영적 페르소나, Projective Personas): 환자에게 직접 "개인정보 보호가 걱정되시나요?"라고 묻는 것은 무섭거나 당혹스러울 수 있습니다. 그래서 연구진은 "만약 회의적인 사람이라면 무엇을 걱정할까요?"라고 물었습니다. 이를 통해 환자들은 자신의 약점을 인정하는 느낌 없이 자신의 두려움을 말할 수 있었습니다.
3. "A 또는 B" 선택 (이진 강제, Binary Forcing): 때때로 개방형 질문은 너무 무겁습니다. 연구진은 상황을 단순화했습니다: "아주 작은 요약본을 원하시나요, 아니면 아주 긴 보고서를 원하시나요?" 또는 "기계가 당신에게 무엇을 해야 할지 알려주길 원하시나요, 아니면 사람이 설명해주길 원하시나요?" 이는 정신적 부담을 줄여 환자들이 명확한 선택을 할 수 있게 했습니다.
4. "침묵은 금이다" 규칙 (연장된 응답 시간, Extended Response Time): 그들은 질문을 던진 후 환자에게 15초에서 30초의 침묵 시간을 주었습니다. 실어증이 있는 사람에게 그 추가적인 시간은 멍한 표정과 사려 깊은 답변 사이의 차이를 만들어냅니다.

결과: 다양한 목소리의 군집

이 연구에는 3명의 뇌졸중 생존자(그 중 2명은 중등도 이상의 실어증을 앓음)와 3명의 가족 간병인이 참여했습니다. 결과는 놀라웠으며, 환자들이 단일하고 균일한 집단이 아님을 보여주었습니다.

• 그들은 서로 다른 수준의 세부 정보를 원합니다: 한 환자는 아주 간단한 보고서("그냥 제가 했는지 아닌지만 알려주세요")를 원한 반면, 다른 환자는 모든 움직임에 대한 상세한 단계별 분석을 원했습니다. 만약 설계자들이 단 한 명에게만 물었다면, 다른 사람을 짜증 나게 할 시스템을 만들었을지도 모릅니다.
• 그들은 서로 다른 "코치"를 신뢰합니다: 의사가 말하는 것과 기계가 말하는 것이 다를 때, 어떤 환자들은 의사를 신뢰했고, 어떤 환자들은 기계의 수치가 더 "객관적"이라고 느껴서 기계를 신뢰했습니다. 흥ingly, 누구를 신뢰하든 상관없이, 그들은 모두 지원을 받는다고 느낄 때 더 열심히 노력할 것이라고 말했습니다.
• 그들은 서로 다른 종류의 도움을 원합니다: 어떤 환자들은 기계가 자신에게 직접 말하여 스스로 실수를 바로잡을 수 있기를 원했습니다. 다른 이들은 가족이나 사람이 먼저 오류를 설명해 주기를 선호했는데, 아직 기계와 대화하는 것에 자신감이 없었기 때문입니다.

숨겨진 함정: "전문가" 편향

이 논문은 연구진 스스로가 의도치 않게 상황을 망칠 수 있다는 까다로운 문제도 조명합니다. 연구진은 자신들의 상호작용을 관찰함으로써, 자신들이 의도치 않게 답변을 유도했던 세 가지 방식을 발견했습니다.

1. "더 많은 것이 좋다"는 편향 (The "More is Better" Bias): 환자가 간단한 보고서를 요청했을 때, 진행자는 복잡한 것이 AI가 할 수 있는 일이라고 가정하여 그것을 "전체 보고서"로 요약해 버리곤 했습니다. 이는 환자의 실제 선호인 '단순함'을 의도치 않게 지워버렸습니다.
2. "역시 내 생각이 맞았어" 편향 (The "Yes, I knew it" Bias): 환자가 놀라운 답변(예: 기계가 자신의 생각을 알기를 원한다고 말함)을 했을 때, 진행자는 가끔 예상된 다음 답변으로 빠르게 넘어가 버려 귀중한 통찰을 놓쳤습니다.
3. "방 안에 있는 의사" 효과 (The "Doctor in the Room" Effect): 의사가 동석했기 때문에, 환자들은 실제로 기계를 더 선호하더라도 의사를 더 신뢰한다고 말하는 경우가 있었습니다. 권위자의 존재가 답변을 변화시킨 것입니다.

시사점

이 논문은 우리가 환자에게 무엇이 필요한지 단정 지어서는 안 된다는 점을 시사합니다. 우리는 의사가 환자에게 필요하다고 생각하는 것, 혹은 소프트웨어 엔지니어가 최선이라고 상상하는 것을 바탕으로 로봇 코치를 설계해서는 안 됩니다. 이 연구는 비디오, 간단한 비유, 충분한 시간과 같은 적절한 도구가 있다면, 말하기 힘들어하는 환자들의 진짜 목소리를 들을 수 있다는 것을 보여줍니다.

하지만 저자들은 이것이 형성적 연구(formative study), 즉 전 세계를 위한 최종 해결책이 아니라 방법을 테스트하기 위한 첫 단계임을 명시하고 있습니다. 그들은 인도 한 곳에서 단 6명의 사람과 함께 작업했습니다. 그들은 모든 곳의 모든 뇌졸중 생존자를 위해 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 그들은 의사소통 장벽이 있는 사람들을 위한 AI를 설계하려는 모든 이들을 위해 하나의 **프로토콜(레시피)**과 **경고 사항(피해야 할 편향 체크리스트)**을 제공하고 있습니다.

핵나 중요한 교훈은 무엇일까요? 신뢰할 수 있는 AI는 단순히 코드를 똑똑하게 만드는 것이 아니라, 그 코드가 말하는 것을 사용하는 사람들이 실제로 이해할 수 있는지 확인하는 것입니다. 그리고 그렇게 하기 위해서, 우리는 완전히 새로운 방식으로 듣는 법을 배워야 합니다.