All Explanations are Wrong, But Many Are Useful: Exploring the Rashomon Explanation Set with Large Language Models

문제 정의

본 논문은 설명 가능한 AI(XAI)의 지속적인 정확도-설명 가능성 트레이드오프(accuracy–explainability trade-off) 문제를 다룹니다. 기존의 통념은 모델의 해석 가능성을 높이면(예: 본질적으로 해석 가능한 모델 사용) 예측 성능이 저하되는 반면, 고성능 블랙박스 모델은 실제 의사결정 과정과 단절된 사후 설명(post-hoc explanations)을 필요로 한다는 것입니다.

저자들은 이러한 트레이드오프가 근본적인 것이 아니라, 설명과 예측을 별개의 목표로 취급하는 데서 발생하는 인위적인 결과라고 주장합니다. 이들은 결합된 접근 방식을 실현하지 못하게 만드는 기존 XAI 방법론의 세 가지 구체적인 한계를 식별했습니다:

1. 분포적 취약성(Distributional Fragility): 단일 설명 방법은 분포 변화(distribution shifts) 하에서 유효성을 유지하지 못합니다. 복잡한 모델을 단순화하는 모든 시도는 필연적으로 특정 입력값에서 실패하게 되며, 이러한 오류 영역으로의 작은 변화만으로도 실패가 드러납니다 (정리 1).
2. 부적절한 표현(Inadequate Representation): 스칼라 속성값(예: SHAP, LIME)은 실제 데이터에서 흔히 발생하는 비선적, 조건부 또는 다변량 관계를 효과적으로 포착할 수 없습니다.
3. 디커플링(Decoupling): 대부분의 XAI 방법은 예측 모델과 독립적으로 작동합니다. 예측 성능에 기여하지 못하는 설명은 관찰된 데이터에 맞춘 단순한 "이야기(stories)"에 불과할 수 있으며, 이는 실제 데이터 패턴을 드러내는 데 실패합니다.

방법론: RashomonLLM

이러한 한계를 극복하기 위해, 저자들은 Rashomon Explanation(라쇼몽 설명) 패러다임과 이를 구현한 구체적인 방법인 RashomonLLM을 제안합니다.

1. Rashomon Explanation 패러다임
단 하나의 "진정한" 설명을 찾는 대신, 저자들은 Rashomon Explanation Set을 정의합니다. 이는 충실성(faithful)(지면-결과 간의 관계에 근접함)과 유용성(useful)(최적에 가까운 예측 모델을 가이드할 수 있음)을 모두 갖춘 설명들의 집합입니다. 최종 설명은 이 집합을 집계하여 "집단 지성"을 활용함으로써 견고한 결과를 도출합니다.

2. 설명-예측-성찰(EPR) 에이전트 워크플로우
RashomonLLM은 세 가지 에이전트로 구성된 반복적인 에이전트 프레임워크 내에서 대규모 언어 모델(LLM)을 활용합니다:

• 설명 에이전트(Explanation Agent): 관찰된 결과를 바탕으로 자연어 설명을 생성합니다. 다양성을 확보하고 단일 패턴에 과적합되는 것을 방지하기 위해, 각 반복마다 입력 피처의 20%를 무작위로 마스킹하는 LLM Feature Dropout을 적용하여 모델이 다양한 피처 서브셋을 탐색하도록 강제합니다.
• 예측 에이전트(Prediction Agent): 생성된 설명을 컨텍스트로 사용하여 결과를 예측합니다. 여기서 설명은 LLM이 데이터에 대해 추론하도록 하는 지침 역할을 합니다.
• 성찰 에이전트(Reflection Agent): 예측 에이전트가 범한 예측 오류를 분석합니다. 현재의 설명 중 어떤 규칙이 오류를 유발했는지 식별하고, 작동하는 규칙은 유지하면서 해당 오류를 수정하기 위해 설명 프롬프트를 다시 작성합니다.

이 루프는 예측 오류가 안정화될 때까지 지속되며, 이를 통해 이중 루프 학습(double-loop learning)(프레임워크 자체를 수정)과 상보성(complementarity)(설명과 예측의 공동 최적화)을 구현합니다.

3. 확장성: Batch LLM Learning
LLM의 컨텍스트 윈도우를 초과하는 산업 규모의 데이터셋을 처리하기 위해, 저자들은 데이터를 순차적으로 처리하는 Batch LLM Learning을 도입합니다. "데이터 모니터(Data Monitor)" 메커니즘은 이전 배치에서 센티널 로우(sentinel rows)를 유지하여, 컨텍스트가 확장됨에 따라 LLM이 초기 데이터를 잊지 않고 일관성을 유지하도록 보장합니다.

주요 기여

• 이론적 기여:
  • 정리 1: 단일 설명은 분포 변화에 민감하며 적대적 집합(adversarial set)에서 실패함을 증명합니다.
  • 정리 2: 설명 기반 모델의 초과 위험(excess risk)은 설명의 충실도에 의해 제한됨을 확립합니다. 즉, 높은 충실도가 더 나은 예측 성능으로 이어집니다.
  • 정리 3: 특정 가정 하에 비어 있지 않은 Rashomon Explanation Set이 존재함을 증명합니다.
  • 정리 4: EPR 워크플로우가 기하급수적으로 수렴하며, 다양한 설정(템플릿 및 드롭아웃)을 통해 전체 Rashмon Explanation Set을 회복할 수 있음을 입증합니다.
• 방법론적 기 기여:
  • 설명 생성과 예측 개선을 반복적인 에이전트 루프를 통해 결합한 최초의 방법론인 RashomonLLM 프레임워크를 도입합니다.
  • 설명 집합을 탐색하기 위한 LLM Feature Dropout과 대규모 데이터로 확장하기 위한 Batch LLM Learning을 제안합니다.
• 실증적 기여:
  • 두 개의 Kaggle 벤치마크(Bank Churn 분류, HCT Survival 회귀)와 Kuaishou의 라이브 스트리밍 로그를 사용한 대규모 산업용 클릭률(CTR) 예측 작업에서 검증을 완료했습니다.

실험 결과

본 논문은 모든 데이터셋에서 유의미한 성능 향상을 보고합니다:

• 예측 정확도: RashomonLLM은 전문 딥러닝 모델(TabTransformer, DCNv2), 캐글 우승 솔루션, 강력한 고전 모델(Gradient-Boosted Trees)을 포함한 최첨단 베이스라인들을 능가했습니다. 산업용 CTR 작업에서 0.771의 정확도를 달 기록하며, 가장 우수한 베이스라인(DCNv2의 0.761)을 넘어섰습니다.
• 설명 품질: 이 방법은 사후 LLM 설명기나 희소 결정 트리(sparse decision trees)에 비해 훨씬 높은 충실도(Single Deletion 및 Randomization Check 지표로 측정)를 가진 설명을 생성했습니다.
• 절제 연구(Ablation Studies):
  • 성찰(Reflection) 에이전트나 반복(Iteration) 루프를 제거하면 정확도와 설명 품질 모두에서 상당한 하락이 발생하여, 결합된 EPR 프로세스의 필요성을 확인했습니다.
  • "플라시보(placebo)" 설명(무작위 텍스트)을 사용했을 때 성능이 저조했는데, 이는 성능 향상이 단순히 텍스트를 추가해서가 아니라 설명의 충실도로부터 온다는 것을 증 proves합니다.
  • 성능 향상은 다양한 LLM 백본(Llama-3, Qwen3), 온도(temperature), 피처 순서에 걸쳐 견고하게 나타났습니다.
• 산업적 배포: KuaiLive 애플리케이션에서 모델의 정확도 향상은 예측 1,000건당 약 $0.02의 경제적 이득으로 이어졌으며, 이는 서비스 비용을 상회하는 수치입니다.

의의 및 주장

본 논문은 설명 가능성과 정확도 사이의 관계에 대한 이해를 근본적으로 전환한다고 주장합니다:

1. 상보성, 트레이드오프가 아님: 저자들은 모델이 스스로를 설명하도록 만드는 것이 예측 정확도를 향상시킨다는 것을 보여줍니다. 설명과 예측은 대체재가 아닌 상보적인 관계임이 입증되었습니다.
2. 단일성보다 다원성: "라쇼몽" 개념(여러 유효한 설명)을 수용함으로써, 시스템은 단일 설명 방법이 견디지 못하는 분포 변화에 대한 견고함을 달성합니다.
3. 실행 가능한 신뢰: 프레임워크는 기술적 배경이 없는 이해관계자(예: 제품 매니저, 규제 기관)가 직접 소비할 수 있는 자연어 근거를 생성하여, 블랙박스 성능과 조직적 책임 사이의 간극을 메웁니다.
4. 경계 조건: 저자들은 이 방법이 의미 있는 의미론적 피처를 가진 구조화된 표 형식 데이터(tabular data)를 위해 설계되었음을 명시합니다. 또한, 진정한 인과 메커니즘(Level 4)을 회복한다고 주장하는 것이 아니라, 데이터 분포에 충실한 모집단 수준의 구조(Level 3)를 회복하는 것임을 분명히 합니다.

결론적으로, 본 논문은 반복적인 멀티 에이전트 워크플로우를 통해 설명과 예측을 적절히 결합함으로써, 조직이 비즈니스 성과를 높이는 동시에 소비자 신뢰를 구축할 수 있는 토대를 마련할 수 있다고 주장합니다.