Argumentation for Explainable and Globally Contestable Decision Support with LLMs

이 논문은 대규모 언어 모델 (LLM) 의 불투명성과 예측 불가능성을 해결하고, 특정 사례에 국한된 국소적 이의제기를 넘어 공유된 논증 프레임워크를 수정함으로써 전역적 이의제기가 가능한 설명 가능한 의사결정 지원 프레임워크인 'ArgEval'을 제안하며, 이를 뇌종양 치료 권고 사례를 통해 검증했습니다.

핵심

🎭 핵심 비유: "AI 의 결정은 마법일까, 논리일까?"

지금까지 우리가 사용해 온 AI 는 마치 예측 불가능한 마법사와 같았습니다.

• 문제점: "왜 이 환자에게 이 약을 처방했나요?"라고 물으면, AI 는 "그냥 느낌이 그랬어요"라고 대답하거나, 사실과 다른 이유를 지어냅니다 (할루시네이션). 또한, 한 번 잘못된 결론을 내리면 그 이유를 고치기 어렵고, 같은 실수를 반복합니다.
• 기존 해결책: 일부 연구는 AI 에게 "생각하는 과정 (논리)"을 말하게 했지만, 이는 AI 가 실제로 생각한 게 아니라 나중에 만들어낸 '변명'에 불과한 경우가 많았습니다.

이 논문은 **"AI 를 마법사가 아닌, 논리적인 변호사"**로 바꾸는 방법을 제시합니다.

🏗️ ArgEval 이란 무엇인가요?

ArgEval은 AI 가 결정을 내릴 때, 단순히 "정답"을 외우는 게 아니라 **논리적 싸움 (논증)**을 통해 결론을 내리는 시스템입니다.

1. '전체 규칙'을 먼저 정합니다 (글로벌 경쟁력)

기존 방식은 환자 A 가 오면 A 에게 맞는 이유를 그 자리에서 즉석으로 찾아냈습니다. 하지만 ArgEval 은 먼저 **전체적인 규칙책 (Ontology)**을 만듭니다.

• 비유: 요리사가 손님이 오기 전에 "소고기 요리는 어떻게 해야 맛있는지", "채식주의자는 무엇을 먹어야 하는지"에 대한 완성된 레시피북을 먼저 만들어 놓는 것과 같습니다.
• 이 레시피북에는 각 치료법 (수술, 방사선, 약물 등) 에 대해 **"어떤 경우에 좋고, 어떤 경우에는 위험한지"**에 대한 논리적 근거들이 미리 정리되어 있습니다.

2. 환자를 만나면 '레시피'를 적용합니다 (구체적 추론)

실제 환자가 오면, AI 는 레시피북에서 해당 환자의 조건 (나이, 병의 위치, 건강 상태 등) 에 맞는 논리 구조를 가져옵니다.

• 비유: 환자가 "85 세고 뇌의 깊은 곳에 종양이 있다"고 하면, AI 는 레시피북에서 "수술은 위험하다"는 논리와 "방사선 치료가 적합하다"는 논리를 꺼내와서 비교합니다.
• 이때, 수술을 반대하는 논리와 수술을 지지하는 논리가 서로 싸우게 됩니다. AI 는 이 싸움의 결과를 점수로 계산해 가장 합리적인 답을 내놓습니다.

3. 가장 중요한 특징: "전 세계적으로 수정 가능하다" (글로벌 이의 제기)

이것이 이 논문의 가장 혁신적인 부분입니다.

• 기존 방식: 만약 AI 가 환자 A 에게 잘못된 수술을 추천했다면, 우리는 "아, 이 환자한테는 수술 안 하는 게 좋구나"라고 그 환자한테만 수정할 수 있었습니다. 하지만 다음에 환자 B 가 와도 AI 는 같은 실수를 반복할 수 있습니다.
• ArgEval 방식: 우리는 **레시피북 자체 (전체 규칙)**를 수정할 수 있습니다.
  • "수술은 65 세 이상 환자에게는 절대 추천하지 않는다"는 규칙을 레시피북에 추가하거나 수정하면, 앞으로 들어오는 모든 환자에게 이 규칙이 적용되어 똑같은 실수가 반복되지 않습니다.
  • 비유: 요리사가 "소고기는 65 세 이상에게는 안 먹인다"는 규칙을 레시피북에 적어두면, 앞으로 들어오는 모든 손님에게 그 규칙이 적용되는 것과 같습니다.

---

🧪 실제 실험: 뇌종양 치료 추천

이 연구는 뇌종양 (교모세포종) 치료법을 추천하는 데 이 방식을 적용해 보았습니다.

• 결과:
  1. 설명 가능성: AI 가 왜 그 치료를 추천했는지, 어떤 논리 (수술의 위험성 vs 효과) 를 따졌는지 정확하게 보여줄 수 있습니다.
  2. 비용 절감: 매번 처음부터 논리를 짜는 게 아니라 미리 만든 레시피북을 활용하므로, 컴퓨터 연산 비용이 기존 방식보다 훨씬 적게 들었습니다.
  3. 성능 향상: 한 번 잘못된 추천을 발견하고 레시피북을 수정하자, 단 한 번의 수정으로 전체 환자의 추천 정확도가 크게 향상되었습니다.

💡 요약: 왜 이 방식이 좋은가요?

1. 투명함: AI 가 "왜?"라고 물으면, "수술은 뇌 깊숙한 곳에 종양이 있을 때 위험하기 때문입니다"라고 논리적으로 설명해 줍니다.
2. 수정 가능: 실수가 발견되면, 한 번만 고쳐도 모든 미래의 결정이 올바르게 바뀝니다. (기존 방식은 매번 고쳐야 함)
3. 신뢰: 의사나 환자가 AI 의 결정을 믿고 따를 수 있게 됩니다.

한 줄 요약:

"ArgEval 은 AI 가 매번 막연한 감으로 결정을 내리는 게 아니라, 미리 정해진 논리적 규칙책 (레시피북) 을 바탕으로 싸움을 시켜 최선의 답을 찾게 하고, 그 규칙책은 우리가 언제든 수정할 수 있게 만들어 AI 를 더 안전하고 신뢰할 수 있게 만든 기술입니다."

기술 요약

논문 요약: LLM 을 활용한 설명 가능하고 전역적으로 이의 제기 가능한 의사결정 지원 프레임워크 (ArgEval)

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 다양한 분야에서 뛰어난 성능을 보이지만, 고위험 분야 (예: 의료, 법률) 에 적용하는 데는 다음과 같은 심각한 한계가 존재합니다.

• 불투명성과 예측 불가능성: LLM 은 확률적 토큰 예측에 의존하여 할루시네이션 (환각) 이나 중요한 정보 누락이 발생할 수 있으며, 내부 추론 과정을 신뢰할 수 있게 설명하기 어렵습니다.
• 기존 접근법의 한계: 기존에 LLM 에 계산적 논증 (Computational Argumentation) 을 결합한 연구들 (예: ArgLLMs) 은 주로 **이진 선택 (Binary choices)**에 국한되거나, 특정 사례에 대한 **국소적 이의 제기 (Local Contestation)**만 지원합니다. 이는 개별 사례의 오류는 수정할 수 있으나, 근본적인 의사결정 로직이 변경되지 않아 동일한 오류가 반복될 수 있다는 문제를 내포합니다.

2. 방법론: ArgEval 프레임워크 (Methodology)

저자들은 ArgEval이라는 새로운 프레임워크를 제안하여, 개별 사례 중심의 추론에서 일반적인 의사결정 옵션에 대한 구조화된 평가로 패러다임을 전환합니다. ArgEval 은 크게 두 단계로 구성됩니다.

A. 일반 작업 처리 (General Task Processing)

1. 의사결정 온톨로지 구축 (Decision Ontology Construction): 자연어 정책 문서 (예: 임상 가이드라인) 를 분석하여 해당 도메인의 가능한 의사결정 옵션들을 구조화된 온톨로지로 추출합니다.
2. 일반 QBAF 구축 (General QBAF Construction): 추출된 각 의사결정 옵션에 대해 **정량적 양극 논증 프레임워크 (Quantitative Bipolar Argumentation Framework, QBAF)**를 생성합니다.
   • 논증 채굴: LLM 을 사용하여 특정 옵션을 지지하거나 반박하는 논증 (Arguments) 과 그 조건을 채굴합니다.
   • 기초 점수 추정: 각 논증의 내재적 강도 (Base Score) 를 LLM 을 통해 추정합니다.
   • 조건 형식화: 논증이 적용되는 조건을 자연어에서 JSON 스키마와 같은 형식 언어로 변환합니다.
   • 결과: 각 옵션에 대한 '일반 QBAF'와 전역 파라미터 스키마 (Global Parameter Schema) 가 생성됩니다. 이는 특정 사례에 의존하지 않는 일반적인 지식 베이스 역할을 합니다.

B. 사례별 추론 (Case-Specific Inference)

1. 파라미터 추출: 환자의 자연어 설명에서 전역 파라미터 스키마에 따라 구조화된 파라미터 (예: 나이, KPS 점수, 종양 위치 등) 를 추출합니다.
2. QBAF 인스턴스화 (Instantiation): 추출된 파라미터를 사용하여 해당 옵션의 '일반 QBAF'를 인스턴스화합니다. 환자의 조건에 맞지 않는 논증 (조건이 만족되지 않는 경우) 은 제거되고, 관련 논증들만 남습니다.
3. 점수 계산 및 추천: 인스턴스화된 QBAF 에 점진적 의미론 (Gradual Semantics, DF-QuAD) 을 적용하여 최종 논증 강도를 계산합니다. 이 강도가 해당 치료 옵션의 추천 점수가 됩니다.
4. 전역적 이의 제기 (Global Contestability): 사용자가 특정 사례의 추천에 이의를 제기할 경우, 해당 인스턴스뿐만 아니라 원천이 되는 일반 QBAF 를 수정합니다. 이는 수정된 논증 조건이나 점수가 향후 유사한 모든 사례의 추론에 즉시 반영되도록 하여 '전역적'인 개선을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제안: 설명 가능성 (Faithful Explainability) 과 전역적 이의 제기 가능성 (Global Contestability) 을 동시에 제공하는 ArgEval 을 제안했습니다.
2. 의료 도메인 적용 및 검증: 고악성 뇌종양인 교모세포종 (Glioblastoma) 의 치료 추천 태스크에 ArgEval 을 적용하여, 기존 방법론과 비교 우위를 입증했습니다.
3. 효율성과 성능의 균형: 다른 논증 기반 방법론에 비해 추론 비용 (토큰 사용량) 을 획기적으로 줄이면서도 경쟁력 있는 성능을 달성했습니다.
4. 전역적 수정의 효과 입증: 단일 사례에 대한 이의 제기 (논증 점수 및 조건 수정) 가 전체 데이터셋의 모델 성능을 크게 향상시킨다는 것을 사례 연구를 통해 증명했습니다.

4. 실험 결과 (Results)

• 데이터셋: 4 개의 주요 임상 가이드라인을 기반으로 구축된 9 가지 치료 옵션과 360 개의 환자 시나리오 (3,240 개의 라벨) 를 사용했습니다.
• 성능 비교:
  • 정확도 (LMR, NDCG): ArgEval 의 최적 변형 (Qwen3-30B 모델 사용, 깊이 2, 논증 스킴 포함) 은 베이스라인 LLM 과 ArgLLMs-O 보다 우수한 또는 경쟁력 있는 정확도 (Label Match Rate: 0.8818, NDCG: 0.9771) 를 보였습니다.
  • 비용 효율성: ArgEval 은 일반 QBAF 를 미리 구축하고 인스턴스화만 수행하므로, 매번 전체 논증을 생성하는 기존 방법론에 비해 토큰 사용량이 약 2.9 배~8.7 배 적게 소요되었습니다.
• 이의 제기 효과 (Case Study):
  • 초기 모델이 85 세 고령 환자에게 부적절한 '60 Gy 방사선 치료'를 추천한 사례에서, 일반 QBAF 의 논증 점수를 미세하게 조정하고 파라미터 설명을 명확히 했습니다.
  • 이 단일 수정으로 해당 사례의 정확도가 1.0 으로 달성되었고, 전체 데이터셋의 성능도 LMR 0.8009 → 0.8784 로 크게 향상되었습니다. 이는 전역적 수정이 모델의 전반적인 학습 효과를 가져옴을 시사합니다.

5. 의의 및 결론 (Significance)

• 신뢰할 수 있는 AI 의사결정: ArgEval 은 LLM 의 '블랙박스' 문제를 해결하고, 논증 구조를 통해 추론 과정을 투명하게 설명할 수 있게 합니다.
• 지속 가능한 개선: 단순한 피드백을 넘어, 시스템의 근본적인 논증 구조 (General QBAF) 를 수정함으로써 미래의 모든 유사 사례에 대해 오류를 방지하는 지속적이고 전역적인 개선 사이클을 가능하게 합니다.
• 실용성: 고위험 의료 분야와 같이 설명 가능성과 정확성이 필수적인 분야에서 LLM 을 안전하게 배포하기 위한 실용적인 프레임워크를 제시했습니다.

이 논문은 LLM 기반 의사결정 지원 시스템이 단순히 예측을 제공하는 것을 넘어, 인간 전문가와 협력하여 논증 기반의 설명을 제공하고 전역적으로 시스템을 개선할 수 있는 새로운 방향성을 제시합니다.