ReasonX: Declarative Reasoning on Explanations

이 논문은 기계 학습 모델의 설명 부족 문제를 해결하기 위해 선형 제약 조건의 대수적 연산자를 기반으로 한 선언적이고 상호작용적인 설명 도구인 ReasonX 를 제안하며, 이를 통해 다양한 추상화 수준에서 사실적 및 대비적 인스턴스에 대한 추론이 가능하도록 합니다.

핵심

🤖 AI 는 왜 "마법 상자"일까요?

우리가 은행 대출을 받거나, 병원에서 진단을 받을 때 AI 가 "거절" 이나 "진단" 을 내리면, 우리는 "왜?" 라는 질문을 하게 됩니다. 하지만 대부분의 최신 AI 는 그 답을 말해주지 않습니다. 마치 마법 상자처럼, 무엇을 넣으면 어떤 결과가 나오는지 알 수 있지만, 그 안에서 무슨 일이 일어나고 있는지는 알 수 없는 상태죠.

기존의 설명 도구들은 이 마법 상자를 "이런 조건이 맞았기 때문에 거절당했다"라고 단순히 나열해 주는 정도였습니다. 하지만 사용자는 "내가 나이를 5 살 더 먹으면 어떻게 될까?", "차량 대출이 아니라면 어떨까?"처럼 상상력을 발휘하며 질문하고 싶어 합니다.

💡 REASONX: AI 설명을 위한 "수학 놀이터"

REASONX 는 이 마법 상자를 단순히 열어보는 것이 아니라, 사용자와 AI 가 대화를 나누며 논리적으로 추론할 수 있게 해줍니다.

1. 비유: "레고 블록"과 "수학 공식"

REASONX 는 AI 의 결정 과정을 레고 블록처럼 쪼개고, 이를 **선형 제약 조건 (수학 공식)**이라는 언어로 변환합니다.

• 기존 도구: "이 블록이 이 위에 있어서 탑이 무너졌습니다"라고 말합니다.
• REASONX: "만약 이 블록을 파란색으로 바꾸고, 무게를 1kg 줄이면 탑이 다시 설까요?"라고 질문하면, 수학적으로 계산해서 "네, 가능합니다"라고 답해줍니다.

2. 핵심 기능: "만약에 (What-if)"를 자유롭게 묻다

이 도구의 가장 큰 특징은 사용자가 직접 조건을 설정할 수 있다는 점입니다.

• 상황: 당신이 대출을 거절당했다고 가정해 봅시다.
• 기존 도구: "당신의 소득이 부족해서 거절되었습니다." (이것만 알려줌)
• REASONX:
  • "내가 소득을 10% 더 늘리면 통과될까요?" (사실적 설명)
  • "소득은 그대로 두고, 연봉이 아닌 자산을 증명하면 어떨까요?" (대조적 설명)
  • "내 출생지는 바꿀 수 없으니, 그 조건을 제외하고 다른 방법을 찾아줘." (제약 조건 추가)

이처럼 REASONX 는 "만약에 (What-if)" 시나리오를 수학적 논리로 계산하여, "소득을 10% 늘리면 통과되지만, 출생지는 변하지 않아도 됩니다"라고 구체적이고 논리적인 답을 줍니다.

3. "불완전한 정보"도 처리할 수 있다

우리는 종종 모든 정보를 다 가지고 있지 않습니다. 예를 들어, "내 나이가 30 대라면 어떨까?"라고 묻고 싶을 때, 정확한 나이가 30 세인지 39 세인지 모를 수도 있죠.

• REASONX 는 **"30 대"**라는 불완전한 정보 (범위) 를 입력받아도, AI 가 그 범위 내에서 어떻게 결정하는지 모든 가능성을 계산해 줍니다. 마치 "30 대라면 통과될 확률이 80% 입니다"라고 알려주는 것과 같습니다.

4. "시간 여행"과 "모델 비교"

AI 모델은 시간이 지나면 업데이트되기도 합니다.

• 비유: 어제 만든 AI 모델과 오늘 만든 AI 모델이 같은 사람을 두고 다른 결론을 내렸다면 어떨까요?
• REASONX 는 두 모델을 동시에 비교할 수 있습니다. "어제와 오늘, 이 사람이 대출을 받을 수 있는 조건이 어떻게 변했는지"를 찾아내어, 모델이 어떻게 진화했는지 (혹은 변질되었는지) 를 알려줍니다.

🛠️ 어떻게 작동할까요? (간단한 구조)

이 도구는 두 층으로 이루어져 있습니다.

1. 상위층 (Python): 사용자가 쉽게 질문을 입력하는 곳입니다. "내 나이를 5 살 더 먹어"라고 말하면 됩니다.
2. 하위층 (CLP - 제약 논리 프로그래밍): 이 질문을 수학 문제로 바꾸어 정밀하게 계산하는 곳입니다. 복잡한 수학 공식을 풀어 "가능합니다" 또는 "불가능합니다"를 찾아냅니다.

🌟 왜 이것이 중요한가요?

기존의 AI 설명은 일방적인 강의였습니다. 하지만 REASONX 는 대화를 가능하게 합니다.

• 투명성: AI 가 왜 그런 결정을 내렸는지, 그 논리를 사용자가 직접 검증할 수 있습니다.
• 공정성: "인종"이나 "성별" 같은 민감한 정보가 결정에 영향을 미쳤는지, 사용자가 직접 조건을 바꿔가며 확인할 수 있습니다.
• 실용성: "어떻게 하면 대출을 받을 수 있을까?"라는 실질적인 조언 (행동 방안) 을 제공합니다.

📝 요약

REASONX는 AI 가 내린 결정을 단순히 설명하는 것을 넘어, 사용자가 **"만약에..."**라고 질문하며 논리적으로 추론할 수 있게 해주는 대화형 AI 설명 도구입니다. 마치 AI 의 머릿속을 수학적 레고 블록처럼 조립하고 해체하며, "왜 그런가?"와 "어떻게 바꿀까?"에 대한 정답을 함께 찾아주는 지능형 비서와 같습니다.

이 도구는 AI 가 단순히 "검은 상자"가 아니라, 우리가 이해하고 신뢰하며 함께 대화할 수 있는 투명한 파트너가 되기를 바라는 연구자들의 노력의 결실입니다.

기술 요약

제시된 논문 "REASONX: Declarative Reasoning on Explanations" 은 불투명한 머신러닝 (ML) 모델에 대한 설명 (Explanation) 을 생성하고 추론하기 위한 새로운 도구인 REASONX를 제안합니다. 이 논문은 신경심상적 (Neurosymbolic) 인공지능 접근법을 사용하여, 선형 제약 조건 (Linear Constraints) 의 대수적 연산자를 기반으로 한 선언적 (Declarative) 설명 시스템을 구축합니다.

다음은 논문의 주요 내용을 기술적 관점에서 요약한 것입니다.

---

1. 문제 정의 (Problem)

기존의 eXplainable AI (XAI) 방법론들은 다음과 같은 한계를 가지고 있습니다:

• 불충분한 추상화: 대부분의 도구가 완전히 지정된 (fully specified) 인스턴스에만 설명을 제공하며, 부분적으로 지정되거나 불완전한 정보 (under-specified) 를 가진 인스턴스에 대한 추론이 어렵습니다.
• 제한된 상호작용: 사용자가 배경 지식이나 "What-if" 시나리오를 정의하고 이를 설명에 반영하여 대화형으로 설명을 정제할 수 있는 기능이 부족합니다.
• 상징적 지식의 통합 부재: 도메인 지식이나 상식 (Common sense knowledge) 을 설명 과정에 체계적으로 통합하는 메커니즘이 미흡합니다.
• 다중 모델/시간에 대한 추론 부재: 서로 다른 모델이나 시간에 따라 변하는 모델 간의 설명을 비교하거나 교차 검증하는 기능이 제한적입니다.

2. 방법론 (Methodology)

REASONX 는 **선형 제약 조건 (Linear Constraints) 에 대한 닫힌 대수 (Closed Algebra)**를 기반으로 하며, 두 가지 주요 레이어로 구성된 신경심상적 아키텍처를 사용합니다.

A. 핵심 이론: 선형 제약 조건 대수 (Algebra of Operators)

사용자의 질의 (Query) 를 표현하기 위해 선형 제약 조건 집합 위에 정의된 연산자 대수를 사용합니다. 주요 연산자는 다음과 같습니다:

• inst(I, DT, l, pr): 인스턴스 $I$가 결정 트리 $DT$에서 클래스$l$로 분류될 확률이$pr$ 이상인 경우의 경로 (사실적 설명) 를 추출.
• cross(E+): 여러 질의의 교차곱을 통해 여러 인스턴스나 모델 간의 관계를 정의.
• sat(E): 제약 조건의 만족 가능성 (Satisfiability) 을 확인.
• πw(E): 특정 변수 집합 $w$에 대한 투영 (Projection) 을 수행하여 다른 변수를 제거.
• inf(E, f(w)): 거리 함수 $f$를 최소화하는 해를 찾는 최적화 연산 (최소 대비 설명 생성).
• relax(E): 엄격한 부등식 ($<$, $>$) 을 비엄격한 부등식 ($\le$, $\ge$) 으로 완화하여 결정 경계에서의 불확실성을 고려.

이 대수는 **닫혀있음 (Closed)**을 특징으로 하여, 한 질의의 답변을 다음 질의의 입력으로 사용할 수 있어 상호작용적인 설명 프로세스를 가능하게 합니다.

B. 시스템 아키텍처

1. Python 레이어 (사용자 인터페이스):

   • 데이터 (pandas), 모델 (scikit-learn 등), 사용자 제약 조건을 관리합니다.
   • 결정 트리 (DT) 를 기반으로 한 **대리 모델 (Surrogate Model)**을 생성하거나, 직접적인 DT 모델을 처리합니다.
   • 사용자의 질의를 CLP(R) 형식으로 변환하고, 결과를 다시 해석하여 사용자에게 제공합니다.
   • 범주형 데이터의 원-핫 인코딩 (One-hot encoding) 및 정수/연속형 데이터 처리를 담당합니다.

2. CLP(R) 레이어 (추론 엔진):

   • SWI-Prolog 기반의 **Constraint Logic Programming over Reals (CLP(R))**를 사용합니다.
   • 메타 인터프리터 (Meta-interpreter) 를 통해 위에서 정의된 대수 연산자를 해석합니다.
   • **혼합 정수 선형 계획법 (MILP)**을 활용하여 사실적 (Factual) 및 대비적 (Contrastive) 인스턴스에 대한 최적화 문제를 해결합니다.
   • 결정 트리의 경로 (Path) 를 선형 제약 조건의 집합으로 인코딩하여 심볼릭 추론을 수행합니다.

C. 설명 유형

• 사실적 설명 (Factual): 주어진 인스턴스가 특정 클래스로 분류된 이유 (결정 트리 경로 규칙).
• 대비적 설명 (Contrastive): 현재 인스턴스를 변경하여 다른 결과를 얻기 위한 최소한의 조건 (What-if 분석).
• 불완전 인스턴스 처리: 모든 특징이 고정되지 않은 인스턴스 (예: "나이가 20 세 이상") 에 대해서도 설명을 생성할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 선형 제약 조건 대수의 도입: 복잡한 설명 문제를 표현할 수 있는 닫힌 대수 체계를 정의하고, 이를 통해 사실적, 대비적, 최소 대비 설명을 질의 형태로 모델링했습니다.
2. REASONX 도구 개발: Python 과 CLP(R) 의 하이브리드 아키텍처를 구현하여, ML 개발자가 배경 지식과 제약 조건을 쉽게 통합하고 상호작용적으로 설명을 생성할 수 있게 했습니다.
3. 다양한 시나리오 지원:
   • 시간에 따른 추론: 서로 다른 시점에 학습된 모델 간의 설명 비교.
   • 다중 모델 비교: 서로 다른 아키텍처 (예: DT vs XGBoost) 를 가진 모델 간의 설명 교차 검증.
   • 그룹 설명: 개별 인스턴스뿐만 아니라 하위 집단 (Sub-population) 에 대한 설명 생성.
4. 정성적/정량적 검증: 다양한 데이터셋 (Adult Income, Credit 등) 을 사용하여 다른 XAI 도구 (DiCE, ANCHORS 등) 와 비교 평가했습니다.

4. 결과 및 평가 (Results & Evaluation)

• 정확도 및 신뢰성: REASONX 는 결정 트리의 깊이에 비례하는 규칙 길이를 가지며, 높은 신뢰도 (Confidence) 를 가진 설명을 생성합니다.
• 대비적 설명의 품질:
  • DiCE와 비교 시, REASONX 는 원본 인스턴스에 더 가까운 (거리가 작은) 대비적 예시를 생성했습니다.
  • 제약 조건 (예: 변경 불가능한 특성) 을 부과할 때, REASONX 는 제약 조건을 만족하는 해를 정확히 찾지만, DiCE 는 제약 조건이 추가될 때 해의 수가 급격히 줄어들거나 거리가 변하는 경향을 보였습니다.
• 사실적 규칙 (Factual Rules):
  • ANCHORS와 비교 시, REASONX 는 더 일관된 규칙 길이를 보였으며, 높은 신뢰도 설정 시에도 규칙의 길이가 과도하게 증가하지 않았습니다.
• 실행 시간: REASONX 는 CLP(R) 과 Python 간의 통신 오버헤드 및 MILP 해결로 인해 ANCHORS 나 DiCE 보다 상대적으로 느리지만, 복잡한 제약 조건 하에서도 안정적인 성능을 보였습니다.
• 다양성 최적화: 대비적 설명의 다양성 (Diversity) 을 고려한 최적화 함수를 적용했을 때, 기존 방법론보다 더 다양한 해 공간에서 해를 찾을 수 있음을 확인했습니다.

5. 의의 및 의의 (Significance)

• 상징적 추론의 부활: XAI 분야에서 종종 간과되던 심볼릭 (Symbolic) 추론 능력을 부활시켜, 사용자가 배경 지식을 직접 정의하고 논리적 추론을 수행할 수 있게 했습니다.
• 상호작용성 강화: "닫힌 대수" 구조를 통해 사용자의 질의와 시스템의 답변이 순환적으로 연결되어, 설명을 점진적으로 정제하고 심화할 수 있는 진정한 대화형 XAI 를 구현했습니다.
• 편향 감지 및 책임성: 민감한 속성 (성별, 인종 등) 이 포함된 설명을 식별하고, 서로 다른 모델 간의 설명 차이를 분석함으로써 알고리즘적 편향을 감지하고 모델 선택의 근거를 마련하는 데 기여합니다.
• 미래 지향성: LLM(대규모 언어 모델) 과의 통합을 통해 자연어 질의와 형식적 질의 간의 간극을 해소할 수 있는 기반을 마련했습니다.

결론적으로, REASONX 는 단순한 설명 생성을 넘어, 사용자가 머신러닝 모델의 의사결정 논리를 심층적으로 탐구하고, 제약 조건 하에서 최적의 대안을 찾으며, 시간에 따른 모델 변화를 추적할 수 있는 강력한 신경심상적 설명 프레임워크를 제시합니다.