기술 요약: XstrAI – 청중 인지형 XAI 내러티브를 위한 멀티 에이전트 시스템

1. 문제 정의

SHAP와 같은 로컬 특성 기여도(feature-attribution) 방법은 모델 예측에 대한 필수적인 인스턴스 수준의 근거를 제공하지만, 다양한 청중에게 효과적으로 전달하는 데에는 종종 실패합니다. 의료 AI와 같은 고위험 도메인에서는 동일한 기술적 설명이라도 임상의, 환자, 데이터 과학자에게 각각의 전문 지식, 목표 및 오해의 위험성을 고려하여 전달되어야 합니다.

이러한 기여도를 자연어 설명으로 생성하는 기존 방식은 다음과 같은 몇 가지 한계점을 가집니다:

• 청중 불가지론(Audience Agnosticism): 특성 기여도 방법은 청중에 대해 중립적으로 설계되어 있어, 증거를 소비자에게 적응시키는 과정이 남겨진 상태입니다.
• 취약한 접지(Weak Grounding): 대규모 언어 모델(LLM)을 통한 직접적인 구어체화 또는 단일 프롬프트 역할 조건 설정은 출력물이 근본적인 모델 증거에 충실하기보다는 설득력 있게만 만드는 결과를 초낳습니다.
• 인과적 혼동(Causal Conflation): LLM은 흔히 특성 기여도를 인과 관계 언어와 혼동하여, 환각(hallucination)이나 근거 없는 주장을 생성합니다.
• 단일 구조적 생성(Monolithic Generation): 기존의 내러티브-XAI 시스템은 종종 생성을 하나의 구조화되지 않은 단계로 취급하여, 증거 선택, 청중 적응, 검증을 뒤섞음으로써 검사 가능성과 제어력을 제한합니다.

핵심 과제는 생성된 내러티브가 유창할 뿐만 아니라, 고정된 기여도 증거에 엄격하게 접지(grounded)되어 있으면서 특정 이해관계자 그룹에 대해 의미론적 및 문체적으로 적절하도록 만드는 것입니다.

2. 방법론: XstrAI 프레임워크

저자들은 증거의 표현과 그 전달을 분리하는 멀티 에이전트 프레임워크인 XstrAI를 제안합니다. 이 시스템은 로컬 설명을 불변의 사실로 취급하며, 이를 이해관계자별 내러티브로 변환하는 과정을 통제된 파이프라인을 통해 구조화합니다.

2.1 핵심 아키텍처

프레임워크는 임상의(Clinician), 환자(Patient), **데이터 과학자(Data Scientist)**라는 세 가지 이해관계자 프로필을 기반으로 작동합니다. 아키텍처는 다음 구성 요소로 이루어져 있습니다:

1. ExplanationCard (입력 표현):

   • 모든 예측 사례에 대한 "진실의 원천(source of truth)" 역할을 하는 기계 판독 가능한 구조화된 산물입니다.
   • 여기에는 사례 정보, 모델 출력, SHAP 기여도, 특성 메타데이터, 생성 제약 조건 및 대상 이해관계자 프로필이 포함됩니다.
   • 이 카드는 근본적인 증거가 모든 청중 경로에서 고정되고 동일하게 유지되도록 보장합니다. 차이점은 증거의 변경이 아닌 소통 방식의 선택에서 발생합니다.

2. 멀티 에이전트 파이프라인:
   각 이해관계자 경로에 대해 세 가지 전문화된 LLM 에이전트가 순차적으로 작동합니다:

   • Framer Agent (기획): ExplanationCard를 수신하여 FramingTrace를 생성합니다. 이 산물은 조직 구성, 특성 제시 순서, 어조, 필수 주의 사항 및 운영 지침을 포함한 내러티브 전략을 정의합니다. 이는 증거를 이해관계자에 맞게 적응시킵니다 (예: 환자에게는 가독성과 비경고성 언어를 우선시하고, 데이터 과학자에게는 명시적인 기여 방향을 유지함).
   • Narrator Agent (생성): ExplanationCard와 FramingTrace를 수신합니다. 이 에이전트는 카드에 담긴 사실적 증거와 트레이스에 담긴 소통 전략에 따라 후보 내러티브를 생성합니다. 이 에이전트는 기여 의미를 보존해야 하며, 허용되지 않는 한 인과적 또는 진단적 주장을 피해야 합니다.
   • Reviewer Agent (검증): 내부 품질 관리 모듈 역할을 합니다. 후보 내러티브를 다섯 가지 차원에서 평가합니다:
     1. 카드 접지(Card Grounding): 증거에 기반함; 조작 없음.
     2. SHAP 충실도(SHAP Faithfulness): 기여의 방향과 상대적 크기가 보존됨.
     3. 인식적 프레이밍(Epistemic Framing): 진단이나 인과 관계가 아닌 모델의 동작을 설명함.
     4. 소통 안전성(Communication Safety): 치료, 예후 또는 생활 습yle 조언을 하지 않음 (명시적으로 허용되지 않는 한).
     5. 청중 적합성(Audience Fit): 레지스터(register)가 대상 이해관계자와 일치함.
   • 제한된 수정 루프(Bounded Revision Loop): 리뷰어가 불일치를 감지하면 수정을 트리거합니다. 루프는 작업을 Framer, Narrator 또는 둘 모두에게 다시 보냅니다. 시스템은 최대 2회의 수정 라운드(사례당 최대 3번의 시도)를 허용합니다.

2.2 실험 설정

• 데이터셋: 당뇨병 및 뇌졸중 예측 데이터셋.
• 모델: SHAP (TreeExplainer)를 사용하는 Random Forest 분류기.
• 베이스라인: 시스템은 단일 프롬프트 역할 조건 설정(B2) 등 11개의 구성을 포함한 11개의 구성과 비교 평가되었습니다.
  • Explingo: 최첨단 루프 기반 내레이터의 재구현 모델.
  • 점진적 베이스라인 (B1–B4): XstrAI의 특정 구성 요소를 제거한 변형들 (예: 단일 샷 생성, 역할 프롬프팅, 수정 루프, 규칙 기반 검증).
• LLM: 생성 및 검토를 위해 Qwen3.6:35B와 Gemma4:31B가 사용되었으며, 편향을 피하기 위해 교차 패밀리 쌍으로 구성되었습니다.

3. 평가 프로토콜

평가는 텍스트의 증거에 대한 충실도와 청중에 대한 적절성을 측정하기 위해 이중 체제 접근 방식을 채택합니다.

3.1 내러티브 내부 평가 (Intra-Narrative Evaluation)

생성된 텍 Kind의 속성을 측정합니다:

• 형태(Form): 가독성(Flesch–Kincaid), 어휘 풍부도(MATTR), 장황함, 반복 패턴.
• 내용(Content): 특성 값(Value Agreement), 기여 방향(Sign Agreement), 특성 순서(Rank Agreement)에 대한 ExplanationCard와의 일치 여부.
• 의미론(Semantics): Sentence-BERT 임베딩을 사용하여 내러티브 문장을 각 이해관계자별 참조 코퍼스(임상의/데이터 과학자를 위한 의학 논문, 환자를 위한 일반 기사)에 투영하여 의미론적 정확도를 측정합니다.

3.2 내러티브 외부 평가 (Extra-Narrative Evaluation)

외부 평가자가 텍스트를 어떻게 받아들이는지 측정합니다:

• LLM-as-a-Judge: 세 개의 독립적인 LLM 심판(Claude, GPT, Gemini)이 다음을 수행했습니다:
  • 재식별 분석(Re-identification Analysis): 익명화된 내러티브를 의도된 청중에게 할당.
  • 경쟁적 순위 결정(Competitive Ranking): 각 대상 청중에 대해 모든 14개 시스템 출력을 순위 매기고, Bradley-Terry/Elo 점수를 통해 집계.
• 인간 평가: 15명의 참가자(그룹당 5명: 임상의, 데이터 과학자, 환자)가 이해도, 명확성, 유용성, 신뢰도, 인지 부하를 평가하는 설문조사를 실시했습니다.

4. 주요 결과

• 청중 적응: XstrAI 내러티브는 독립적인 심판들에 의해 의도된 청중으로 일관되적으로 할당되었으며(재식별 정확도 100%), 베이스라인을 크게 능가했습니다.
• 베이스라인 대비 성능:
  • 임상의 및 환자: XstrAI는 모든 베이스라인보다 선호되었습니다.
  • 데이터 과학자: XstrAI는 경쟁력 있는 성능을 보였으나, 가공되지 않은 SHAP 밀도를 극대화하는 단일 프롬프트 베이스라인(B2)보다 약간 낮은 순위를 기록했습니다.
• 충실도 및 구조:
  • XstrAI는 높은 Sign Agreement(SHAP 방향 보존)를 유지하면서도 환자 내러티브를 위해 Rank Agreement를 조정할 수 있었습니다. 구체적으로, 환자 내러티브는 비작동적 특성(예: 연령)보다 작동적 특성(예: BMI)을 체계적으로 우선순위에 두어, 엄격한 SHAP 순위보다는 개입 중심의 소통을 우선시했습니다.
  • XstrAI는 베이스라인에 비해 낮은 반복률과 더 높은 어휘 다양성을 달-성하여, 계획 에이전트가 없는 루프 기반 시스템에서 나타나는 템플릿 기반 생성 현상을 피했습니다.
• 인간 피드백: 임상의들은 XstrAI 내러티브에 대해 이해도(4.7/5)와 신뢰도(4.1/5)에서 가장 높은 점수를 주었습니다. 환자들은 이해도(4.2/5)는 높고 인지 부하(2.2/5)는 낮다고 평가했으나, 신뢰도 점수는 다소 보통 수준(3.0/5)이었습니다.

5. 의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. 새로운 아키텍처: 증거 표현, 이해관계자별 계획, 언어적 실현 및 검증을 검사 가능한 단계로 분리하고 로컬 설명을 고정된 증거로 취급하는 멀티 에이전트 프레임워크를 제시합니다.
2. 이중 평가 프로토콜: 내러티브의 내부적 충실도(증거에 대한 진실성)와 외부적 적절성(청중에 대한 적합성)을 참조 코퍼스, 다중 패밀리 LLM 심판 및 인간 피드백을 통해 분리하여 측정하는 방법론을 제시합니다.
3. 경험적 검증: 청중 조건부 생성에는 단순한 역할 프롬프팅 이상의 것이 필요하며, 모델에 충실하면서도 다양한 이해관계자와 의미론적으로 정렬된 내러티브를 생성하기 위해서는 계획 및 검증이 포함된 구조화된 파이프라인이 필수적임을 입증했습니다.

저자들은 XstrAI가 핵심 증거를 훼손하지 않으면서도(예: 환자를 위해 특성 순서를 재배치하는 것 등) 청중에 맞춰 설명 구조를 정당하게 재구성할 수 있음을 보여준다고 강조합니다. 이 연구는 안전하고 효과적인 XAI 배포를 위해서는 단일 구조적 생성을 넘어 구조화되고 검증 가능한 소통 파이프라인으로 나아가야 함을 시사합니다.