BoolXLLM: LLM-Assisted Explainability for Boolean Models

기술 요약: BOOLXLLM

문제 제기
해석 가능한 기계 학습은 투명한 모델을 제공하려는 목표를 가지고 있지만, BOOLXAI 와 같은 표현력 있는 부울 규칙 기반 모델을 금융, 의료와 같은 고위험 분야에서 실제 배포할 때는 두 가지 지속적인 과제가 존재합니다. 첫째, 고차원 데이터셋에서 실무자는 의미 있는 특징을 수동으로 선택하고 수치 변수를 의미 있는 범주로 이산화하는 방법을 결정해야 합니다. 이러한 결정은 전문 지식에 크게 의존하며 모델의 해석 가능성에 상당한 영향을 미칩니다. 둘째, 부울 규칙이 구조적으로 간결하더라도 비기술적 이해관계자에게는 종종 추상적으로 보입니다. Or(duration > 393, nr.employed <= 5076, month = mar)와 같은 규칙은 추가적인 맥락 없이는 의미적 기반이 부족하여 인간 의사결정자의 접근성을 저해합니다.

방법론: BOOLXLLM 프레임워크
본 논문은 부울 규칙 학습의 엔드 - 투 - 엔드 파이프라인에 대규모 언어 모델 (LLM) 을 통합한 하이브리드 프레임워크인 BOOLXLLM을 제안합니다. 이 접근법은 AtLeast, AtMost, Choose와 같은 연산자를 사용하여 간결한 논리 규칙을 학습하는 기존 BOOLXAI 분류기에 LLM 을 세 가지 핵심 단계에서 통합하여 형식 논리와 인간 서사 간의 간극을 해소합니다.

1. LLM 기반 특징 선택:
   통계적 상관관계에만 의존하는 대신, 이 프레임워크는 데이터셋 메타데이터와 특징 선택 간의 의미적 인터페이스로 LLM 을 활용합니다. LLM 에 예측 목표, 특징 이름, 설명, 그리고 선택적 도메인 맥락을 제공함으로써 모델은 의미적 관련성에 기반하여 특징을 식별하고 순위 매깁니다. 출력은 결정론적 파싱을 보장하기 위해 구조화된 JSON 형식으로 제한되어 검색 공간을 효과적으로 축소하면서도 도메인 관련 변수를 보존합니다.

2. LLM 기반 임계값 추천:
   부울 규칙 학습에서 수치 특징은 이산화되어야 합니다. 표준 베닝 (binning) 은 종종 age > 36.33과 같이 해석 가능성이 부족한 임의의 분할을 초래합니다. BOOLXLLM 은 임계값 선택을 구조화된 프롬프팅 작업으로 공식화하여, LLM 이 도메인 의미에 부합하는 맥락 인식 이산화 임계값 (예: age > 35) 을 제안하도록 합니다. 이러한 임계값은 규칙 최적화 프로세스 전에 생성되므로 결과 조건이 인간의 추론과 일치하도록 보장합니다.

3. 규칙 압축 및 해석:
   부울 규칙의 추상화 문제를 해결하기 위해, 프레임워크는 LLM 을 글로벌 및 로컬 해석에 모두 활용합니다.

   • 글로벌 수준: 부울 표현식은 먼저 자연어 설명으로 번역됩니다. 이러한 텍스트는 임베딩되어 클러스터링되어 "규칙 패밀리"(구조는 다르지만 의미적으로 유사한 규칙) 를 식별합니다. 그런 다음 LLM 은 이러한 클러스터를 요약하여 인구 수준의 패턴과 행동 세그먼트를 드러냅니다.
   • 로컬 수준: LLM 은 학습된 부울 규칙과 특정 입력 샘플 모두를 조건으로 하여 인스턴스별 설명을 생성하며, 형식 논리를 자연어 서사로 변환합니다.

중요하게도, 이 프레임워크는 모든 LLM 생성 설명을 BOOLXAI 가 학습한 명시적 부울 규칙에 기반합니다. 이 설계는 환각 (hallucination) 의 위험을 완화하고 언어적 출력이 기본 모델의 의사결정 과정에 충실하도록 보장합니다.

주요 기여

• 새로운 프레임워크: 특징 선택, 임계값 설정, 규칙 해석을 위해 LLM 을 해석 가능한 규칙 기반 학습에 통합한 BOOLXLLM 의 도입.
• 의미적 기반: 부울 규칙의 의미적 관련성을 향상시키는 LLM 기반 특징 선택 및 임계값 추천 방법.
• 인간 중심 번역: 형식 논리를 접근 가능한 자연어로 변환하는 글로벌 및 로컬 해석 기법의 개발.
• 실증적 검증: LLM 지원 파이프라인이 예측 성능을 저하시키지 않으면서 해석 가능성을 향상시킬 수 있음을 입증.

실험 결과
저자들은 UCI 은행 마케팅 데이터셋에서 BOOLXLLM 을 평가하여 모든 특징과 표준 이산화를 사용한 기준선 BOOLXAI 모델과 비교했습니다.

• 특징 선택: LLM 가이드를 사용하여 시스템은 의미적 관련성에 기반하여 20 개 중 4 개의 특징을 성공적으로 필터링 (20% 감소) 하여, 모든 특징을 사용한 기준선과 비교 가능한 86% 의 균형 정확도를 달성했습니다.
• 임계값 설정: LLM 이 생성한 임계값 (예: duration > 400) 은 예측 능력의 손실 없이 표준 베닝 (예: duration > 393) 보다 도메인 의미와 더 잘 부합했습니다.
• 해석 가능성: 시스템은 다양한 고성능 규칙을 일관된 "규칙 패밀리"로 성공적으로 압축하고 질적 설명을 생성했습니다. 예를 들어, 복잡한 부울 규칙은 긴 통화 지속 시간이 참여도를 나타내고 최근 접촉은 고객이 연락 가능함을 시사한다는 서사로 번역되었습니다.

의의 및 주장
본 논문은 BOOLXLLM 이 형식적이고 충실한 설명과 인간이 이해할 수 있는 서사 간의 간극을 성공적으로 해소한다고 주장합니다. 기호 부울 규칙의 논리적 엄밀함과 LLM 의 언어적 표현력 및 맥락 인식 능력을 결합함으로써, 이 프레임워크는 이론적 기반을 갖추고 비전문가에게도 접근 가능한 설명 가능한 AI 시스템을 제공합니다. 이 연구는 기호 추론과 언어 기반 모델을 결합하여 인간 중심 XAI 를 발전시킬 수 있는 가능성을 강조하며, 이러한 통합이 경쟁력 있는 예측 성능을 유지하면서 해석 가능성과 사용성을 향상시킬 수 있음을 보여줍니다.