PONTE: Personalized Orchestration for Natural Language Trustworthy Explanations

PONTE 는 사용자의 전문성, 목표, 인지적 요구에 따라 적응적이고 신뢰할 수 있는 설명을 생성하기 위해 개인화, 구조화된 XAI 아티팩트 기반 생성, 그리고 엄격한 검증을 순환 루프로 통합한 인간-루프 프레임워크를 제안합니다.

핵심

🎭 1. 왜 PONTE 가 필요한가요? (기존의 문제)

비유: "모두에게 똑같은 메뉴를 주는 식당"

지금까지의 AI 설명 시스템은 마치 모든 손님이 같은 메뉴를 주문해야 하는 식당과 같았습니다.

• **전문가 (의사, 금융 전문가)**에게는 복잡한 의학 용어나 수치가 담긴 설명이 필요하지만,
• **일반인 (환자, 대출 신청자)**에게는 쉬운 말로 "왜 이런 결과가 나왔는지"를 알려줘야 합니다.

하지만 기존 시스템은 **"한 가지 설명 (메뉴)"**을 모든 사람에게 똑같이 제공했습니다. 전문가에게는 너무 단순하고, 일반인에게는 너무 어렵게 느껴져서, AI 가 왜 그런 결정을 내렸는지 이해하지 못하는 경우가 많았습니다.

또한, 최근 AI(거대 언어 모델) 가 말을 잘하게 되면서, **사실과 다른 거짓말 (할루시네이션)**을 하거나, 원래 AI 가 계산한 숫자를 틀리게 설명하는 문제도 생겼습니다.

🛠️ 2. PONTE 는 무엇인가요? (해결책)

비유: "손님의 취향을 기억하는 똑똑한 요리사"

PONTE 는 **개인 맞춤형 설명을 만들어주는 '마스터 요리사'**입니다. 이 요리사는 단순히 레시피 (기술적 데이터) 를 읽는 게 아니라, 손님의 취향을 파악해서 요리를 재해석합니다.

PONTE 의 작동 원리는 크게 3 단계로 나뉩니다.

① 손님의 취향을 파악하는 '취향 분석가' (Contextual Preference Model)

요리사는 손님이 들어오자마자 "이분은 전문 용어를 싫어하시나요? 아니면 숫자를 꼼꼼히 보고 싶으신가요?"를 파악합니다.

• 기술성: 쉬운 말 vs 전문 용어
• 길이: 짧고 간결한 말 vs 길고 자세한 설명
• 깊이: 결과만 알려줄까? 아니면 이유까지 자세히 설명할까?
• 행동: "무엇이 잘못됐나요?" vs "이렇게 고치면 됩니다"

이 취향은 한 번으로 끝나는 게 아니라, 손님이 "조금 더 쉽게 말해줘"라고 하면 기억해서 다음에는 더 쉽게 설명합니다.

② 요리를 만드는 '요리사' (Narrative Generator)

이 요리사는 AI 가 계산한 복잡한 데이터 (원재료) 를 가지고, 손님의 취향에 맞춰 맛있는 요리 (자연어 설명) 를 만듭니다.

③ 맛과 위생을 확인하는 '검수관' (Verifiers) ⭐ 가장 중요한 부분

여기서 PONTE 가 기존 시스템과 다릅니다. 요리사가 만든 요리를 바로 내주지 않고, 3 명의 검수관이 확인합니다.

1. 사실 확인관: "이 요리 (설명) 에 들어간 재료 (숫자) 가 원래 레시피와 정확히 일치하나요?" (거짓말 방지)
2. 완전성 확인관: "중요한 재료를 빼먹지 않았나요?" (정보 누락 방지)
3. 스타일 확인관: "손님이 원하는 '매운맛 (전문적)'이나 '단맛 (쉬운 말)'이 잘 나왔나요?"

만약 검사를 통과하지 못하면, 요리사는 다시 요리를 고쳐서 (Refinement) 검사를 받습니다. 이 과정이 반복됩니다.

🔄 3. PONTE 의 마법 같은 과정 (폐쇄 루프)

PONTE 는 한 번에 끝나는 게 아니라 피드백을 주고받는 대화입니다.

1. 초기 설명: 요리사가 손님의 초기 취향을 보고 설명을 만듭니다.
2. 검증: 검수관들이 "숫자가 틀렸어요", "조금 더 구체적으로 해주세요"라고 지적합니다.
3. 수정: 요리사가 지적을 받아 설명을 고칩니다.
4. 피드백: 손님이 "아, 이제 이해가 돼요!"라고 하면, 요리사는 그 손님의 취향을 더 정확히 기억합니다.

이렇게 수정 - 검증 - 피드백의 과정이 반복되면서, 설명은 점점 더 완벽해지고 손님의 마음에 딱 맞게 변합니다.

📊 4. 실제로 효과가 있을까요? (실험 결과)

연구진은 **의료 (당뇨병 위험)**와 금융 (대출 거절) 두 가지 분야에서 이 시스템을 테스트했습니다.

• 결과: 검증 과정을 거치지 않고 한 번에 설명을 만드는 방식보다, PONTE 의 검증 - 수정 루프를 거친 설명이 훨씬 완벽하고 (정보 누락 없음), 손님의 스타일과 잘 맞았습니다.
• 신뢰도: 숫자나 사실을 잘못 설명하는 경우는 거의 없었습니다.
• 사람의 반응: 실험에 참여한 사람들은 "이 설명은 내가 원하는 스타일이다", "이해하기 쉽고 도움이 된다"고 매우 긍정적인 평가를 내렸습니다.

💡 요약: PONTE 가 주는 교훈

PONTE 는 **"AI 가 설명할 때, 기술적인 정확성만 중요시하지 말고, 듣는 사람의 눈높이에 맞춰야 한다"**는 것을 보여줍니다.

• 기존 방식: "이게 내 계산 결과야. (그냥 던져줌)"
• PONTE 방식: "당신이 원하는 스타일로 설명해 드릴게요. 혹시 숫자가 맞지 않거나 이해가 안 되면 말씀해 주세요. 제가 다시 고쳐서 다시 설명해 드릴게요."

이처럼 PONTE 는 AI 와 사람 사이의 신뢰를 쌓는 다리 역할을 하며, 복잡한 AI 의 결정을 누구나 이해할 수 있는 '진짜 설명'으로 바꿔줍니다.

기술 요약

PONTE: 자연어 기반 신뢰할 수 있는 설명을 위한 개인화 오케스트레이션

1. 문제 정의 (Problem)

기존의 설명 가능한 인공지능 (XAI) 은 다음과 같은 한계를 가지고 있습니다:

• 일률적 접근 (One-size-fits-all): 대부분의 XAI 방법은 사용자의 전문성, 목표, 인지적 요구를 고려하지 않고 동일한 설명을 제공합니다. 이는 비전문가에게 이해하기 어렵고 실용성이 떨어집니다.
• LLM 의 도입과 새로운 과제: 대형 언어 모델 (LLM) 을 사용하여 기술적 설명을 자연어로 변환하는 'XAI 내러티브 (XAI Narratives)' 접근법이 등장했으나, 이는 신뢰성 (Faithfulness) 문제 (원본 설명과 다른 내용 생성), 할루시네이션 (Hallucination), 그리고 맥락에 맞는 소통의 부재라는 새로운 도전을 제기합니다.
• 현재 연구의 공백: 기존 연구들은 LLM 을 독립적인 설명자로 사용하거나, 단순한 프롬프트 엔지니어링에 의존하여 사용자의 선호도를 체계적으로 반영하지 못했습니다.

2. 제안된 방법론 (Methodology)

저자들은 PONTE(Personalized Orchestration for Natural language Trustworthy Explanations) 라는 인간-루프 (Human-in-the-loop) 프레임워크를 제안합니다. 이는 단순한 프롬프트 엔지니어링이 아닌, 폐루프 (Closed-loop) 검증 및 적응 과정으로서 개인화를 모델링합니다.

주요 구성 요소:

1. XAI 백본 (XAI Backbone):
   • 예측 모델과 로컬 설명기 (예: SHAP, DiCE) 를 결합하여 구조화된 설명 아티팩트 (특성 중요도, 반사실적 예시 등) 를 생성합니다.
2. 맥락적 선호도 모델 (Contextual Preference Model, CPM):
   • 사용자의 스타일 요구사항을 4 차원 저차원 잠재 벡터 $s \in [0, 1]^4$로 인코딩합니다.
   • 4 가지 차원:
     • 기술성 (Technicality): 전문 용어 사용 수준.
     • 언급량 (Verbosity): 문장의 길이와 흐름.
     • 깊이 (Depth): 분석의 복잡성 및 시스템적 설명 여부.
     • 실행 가능성 (Actionability): 진단적 설명에서 구체적인 행동 지침까지의 범위.
   • 초기에는 아키타입 (예: 환자 vs. 의사) 기반 사전 분포를 사용하며, 사용자 피드백을 통해 벡터를 점진적으로 업데이트합니다.
3. 내러티브 생성기 (Narrative Generator):
   • 구조화된 XAI 아티팩트와 CPM 의 선호도 벡터를 조건부로 입력받아 LLM 을 통해 자연어 설명을 생성합니다.
4. 검증 모듈 (Verifiers) - 폐루프의 핵심:
   • 생성된 내러티브가 다음 세 가지 기준을 만족하는지 검증합니다. 위반 시 수정 (Refinement) 루프가 실행됩니다.
     • 신뢰성 검증 (Faithfulness Verifier): 생성된 텍스트의 수치적 데이터 (확률, SHAP 값 등) 가 원본 XAI 아티팩트와 일치하는지 결정론적으로 파싱하여 확인합니다.
     • 정보 완전성 검증 (Completeness): 반사실적 상태 변화에 필요한 모든 특성이 설명에 포함되었는지 확인합니다.
     • 스타일 정렬 검증 (Style Alignment Verifier): 생성된 텍스트가 CPM 의 4 차원 선호도 벡터와 일치하는지 LLM 기반 평가기를 통해 점수화하고, 오차가 임계치를 초과하면 수정 지시를 생성합니다.
5. 검색 기반 논증 (Retrieval-Grounded Argumentation):
   • LLM 의 내부 지식에 의존하지 않고, 인증된 도메인 지식 (예: 의학 논문, 금융 규정) 을 RAG(Retrieval-Augmented Generation) 를 통해 주입하여 할루시네이션을 방지하고 주장의 신뢰성을 높입니다.
6. 피드백 통합기 (Feedback Integrator):
   • 사용자의 자연어 피드백을 분석하여 CPM 의 선호도 벡터를 업데이트하고, 다음 생성 세션에 반영합니다.

3. 주요 기여 (Key Contributions)

1. 폐루프 개인화 (Closed-loop Personalization): 설명 생성을 일회성 작업이 아닌, 동적 잠재 상태를 통해 사용자의 스타일 및 인지 요구와 지속적으로 정렬되는 반복적 프로세스로 공식화했습니다.
2. 모델 및 설명기 무관 오케스트레이션: 예측 모델이나 XAI 기법 (SHAP, Counterfactual 등) 에 구애받지 않는 모듈식 아키텍처를 제안하여 다양한 사용 사례에 적용 가능합니다.
3. 신뢰성 강제 검증 (Fidelity-enforcing Validation): 생성된 내러티브가 원본 설명과 수치적으로 일치하고 정보가 완전하도록 보장하는 결정론적 메커니즘을 도입했습니다.
4. 검색 기반 논증 (Retrieval-grounded Argumentation): 도메인별 인증된 문헌을 기반으로 한 RAG 를 통합하여, LLM 의 할루시네이션 위험을 줄이고 설명의 타당성을 강화했습니다.

4. 실험 결과 (Results)

실험 설정:

• 도메인: 의료 (당뇨병 위험 예측) 및 금융 (파산 위험/대출 부도 예측).
• 모델: Kimi-k2.5, GPT-OSS-20b 등 다양한 LLM 사용.
• 비교 대상: 검증 및 수정 루프가 없는 단일 패스 (Single-Pass) 생성 방식.

자동 평가 (Automatic Evaluation):

• 신뢰성 (Faithfulness): PONTE 는 모든 설정에서 1.00 (완벽한 일치) 을 달성한 반면, 베이스라인은 0.96~0.99 수준이었습니다.
• 완전성 (Completeness) 및 스타일 정렬 (Style Alignment): PONTE 는 베이스라인 대비 획기적인 개선을 보였습니다. (예: GPT-OSS 기준 스타일 정렬 0.39 → 0.94).
• 효율성: 평균 1.11.8 회의 수정 단계로 목표에 수렴하며, 실패율 (Fail rate) 은 15% 로 매우 낮았습니다. 전문가 (의사, 은행원) 보다 일반인 (환자, 대출 신청자) 이 선호도 정렬에 더 많은 반복이 필요했으나, 여전히 효율적이었습니다.

인간 평가 (Human Evaluation):

• 스타일 정렬: 사용자가 인지한 스타일과 목표 선호도 벡터 간의 일치도가 높았습니다 (Align. ≈ 0.75~0.78, Spearman's $\rho > 0.80$).
• 강건성: 동일한 입력과 선호도에 대해 생성된 서로 다른 버전 (V1, V2) 간 스타일 인식 차이가 통계적으로 유의미하지 않아, 생성의 확률적 변동에 강건함을 입증했습니다.
• 만족도: 모든 사용자 그룹에서 명확성, 실행 가능성, 전반적 만족도가 높게 평가되었으며, 특히 비전문가 (환자, 대출 신청자) 에게 더 큰 호응을 얻었습니다.

5. 의의 및 결론 (Significance)

• XAI 의 패러다임 전환: PONTE 는 기술적 설명을 단순히 번역하는 것을 넘어, 사용자 중심의 신뢰할 수 있는 내러티브를 생성하는 체계적인 프레임워크를 제시합니다.
• 신뢰성과 개인화의 균형: LLM 의 유연성과 XAI 의 엄격한 신뢰성 요구사항을 동시에 충족시키는 '검증 - 수정 (Verification-Refinement)' 루프를 통해, 할루시네이션을 방지하면서도 사용자 맞춤형 설명을 가능하게 합니다.
• 실용적 적용 가능성: 의료 및 금융과 같은 고위험 (High-stakes) 분야에서 규제 준수 (GDPR, EU AI Act 등) 와 사용자 이해도 향상을 동시에 달성할 수 있는 실용적인 솔루션을 제공합니다.

이 연구는 XAI 가 단순한 기술적 도구를 넘어, 다양한 이해관계자와 효과적으로 소통할 수 있는 적응형 시스템으로 발전해야 함을 강조하며, 이를 위한 구체적인 기술적 구현을 제시했다는 점에서 의의가 큽니다.