Addressing the Selection Problem in Explainable AI

기술 요약: 설명 가능한 AI(XAI)의 선택 문제 해결

문제 정의: 선택 문제 (The Selection Problem)
본 논문은 설명 가능한 AI(XAI) 도입의 결정적 장벽인 '선택 문제'를 식별한다. 다양한 XAI 기법(예: 살리언시 맵, 반사실적 설명, 예시 등)의 급증에도 불구하고, 사용자 연구에 따르면 가용 가능한 설명들이 종종 효과가 없거나, 무시되거나, 오해되는 것으로 나타난다. 저자들은 이러한 비효등성이 단순히 개별 기법의 품질 문제가 아니라, 기존 XAI 인터페이스의 구조적 설계에서 기인한다고 주장한다.

현재의 시스템에서 사용자는 출력을 받기 전에 특정 설명 기법을 직접 선택해야 한다. 이는 사용자의 자연어 기반 불확실성 표현(그들의 '인식적 상태')과 인터페이스가 제공하는 이산적인(discrete) 기술적 제어 사이의 불일치를 야생한다. 논문은 이를 사용자의 질의와 그 질의를 해결할 수 있는 특정 설명 기법 사이의 간극을 메우지 못하는 실패로 공식화한다.

방법론: 공식화 및 논리적 논증
저자들은 철학적 및 논리적 프레임워크를 사용하여 선택 문제를 다음과 같은 전제-결론 구조를 통해 공식화한다:

1. 인식적 불일치 (전제 1): AI 모델은 입력을 출력으로 매핑하는 함수이다. 설명 기법은 입력과 모델을 특정 유형의 설명으로 매핑하는 함수이다. 결정적으로, 서로 다른 기법은 구조적으로 다른 질문에 답한다. 사용자의 불확실성은 인식적 상태 $\omega = (x, y, \phi)$로 정의되며, 여기서 $\phi$는 구체적인 이해의 공백을 의미한다. 오직 특정 기법의 부분 집합인 $E^*(\omega)$만이 특정 $\omega$를 해결할 수 있다.
2. 번역 부담 (전제 2): 사용자는 기술적 선택이 아닌 자연어($q \in L$)로 불확실성을 표현한다. 그러나 기존 인터페이스는 이산적인 기법 선택($\hat{e} \in E$)을 입력값으로 요구한다. 결과적으로, 사용자는 번역 함수 $f_{user}: L \to E$를 수행해야 한다.
3. 매핑의 신뢰성 부족 (전제 3): 본 논문은 일반 사용자층이 자연어 질문을 XAI 기법 유형으로 신뢰성 있게 매핑하는 기술을 갖추고 있지 않다고 가정한다. XAI 질문 뱅크(Question Bank) 사용의 어려움과 같은 실증적 증거는 사용자들이 기법 간의 역량을 구분하는 데 어려움을 겪음을 시사한다.
4. 선택 문제: 사용자가 자신의 불확실성을 올바른 기법으로 신뢰성 있게 매핑할 수 없기 때문에, 선택된 기법 $\hat{e}$는 적절한 집합 $E^*(\omega)$의 범위를 벗어나는 경우가 빈번하다. 형식적으로, 선택 문제는 $\hat{e} \notin E^*(\omega)$일 때 발생한다.

제안된 구조적 솔루션
이를 해결하기 위해 저자들은 매핑의 부담을 사용자에서 시스템으로 전환할 것을 제안한다. 이들은 구조적 솔루션을 위한 세 가지 요구사항을 제시한다:

1. 자연어 입력: 시스템은 기술적 모드를 선택할 필요 없이 자연어 질의를 직접 수용해야 한다.
2. 적절한 라우팅: 시스템은 사용자의 특정 불확실성에 대한 적절한 집합 $E^*(\omega)$에 속하는 기법을 출력해야 한다.
3. 시스템 수행 번역: 매핑 함수($f_{sys}: L \to E^*(\omega)$)는 시스템에 의해 실행되어야 하며, 이는 사용자의 의도를 정교화하기 위해 다회차 대화(multi-turn dialogue)를 허용할 수 있다.

구현: 멀티 에이전트 LLM 오케스트레이션
논문은 의료 영상 분야를 맥락으로 하여, 이 솔루션의 개념적 구현체로서 멀티 에이전트 LLM 오케스트레이션 시스템을 제공한다.

• 아키텍처: 시스템은 중앙 LLM 오케스트레이터(예: Gemini 2.5 Flash)가 사용자의 자연어 질의를 받는 "스마트(Smart)" 모드를 활용한다.
• 메커니즘: 오케스트레이터는 사용자의 질문 underlying 유형을 분류하고, 함수 호출(function calling)을 사용하여 질의를 특화된 XAI 에이전트(예: 반사실적 설명을 위한 에이전트, 살리언시 맵을 위한 에이전트)로 라우팅한다.
• 유연성: 원하는 기법을 이미 알고 있는 사용자는 오케스트레이터를 건너뛰고 특정 "모드"를 직접 호출할 수 있다.
• 목표: 이 설계는 매핑 함수를 시스템 내부로 흡수하여, 설명 기법이 사용자의 불확실성의 구조적 성격과 일치하도록 보장하는 것을 목표로 한다.

핵심 기여

• 선택 문제의 공식화: 본 논문은 사용자가 적절한 지원 없이 자연어 불확실성을 기술적 기법으로 매핑하도록 강요받는 기존 XAI 인터페이스 설계의 구조적 실패로서 선택 문제를 정의한다.
• 논리적 프레임워크: 사용자에 의한 매핑이 본질적으로 신뢰할 수 없으며 기능적 무관성을 초래함을 보여주는 엄밀한 논리적 도출(전제 1–3)을 제공한다.
• 설계 요구사항: 향후 XAI 인터페이스를 위한 세 가지 구체적 요구사항(자연어 입력, 적절한 기법 라우팅, 시스템 측 번역)을 확립한다.
• 프로토타입 개념: 멀티 에이전트 LLM 오케스트레이션 도구가 어떻게 이러한 요구사항을 구현하여, XAI를 정적인 출력에서 상호작용적이고 질의 중심적인 상호작용으로 변화시킬 수 있는지에 대한 구체적인 사례를 제시한다.

의의 및 주장
저자들은 본 연구가 XAI의 문제를 기술적 알고리즘의 문제가 아닌 인터페이스 제시의 문제로 재정의함으로써 "채택 격차(adoption gap)"를 해결한다고 겸허히 주장한다. 그들은 사용자가 적절한 도구를 선택하지 못하는 것이 사용자의 결함이 아니라 현재 설계의 구조적 결과라고 주장한다.

본 논문은 제안된 멀리 에이전트 시스템을 사용자 연구를 통해 실증적으로 검증했다고 주장하지 않는다. 대신, 이 논문은 형식화와 아키텍처 제안을 인간 중심의 XAI 커뮤니티를 위한 필수적인 단계로 제시한다. 그 의의는 설계 패러다임의 전환에 있다. 미래의 XAI 시스템은 단순히 더 많은 기법을 제공하는 것이 아니라, 제공된 설명이 실제로 사용자의 특정 불확실성을 해결할 수 있도록 선택 과정을 능동적으로 관리해야 한다는 것이다. 향후 과제로 사용자 매핑의 신뢰성을 테스트하고, 기존의 정적 인터페이스와 오케스트레이터의 효과를 비교하는 연구를 제안한다.