Agentic Explainable Artificial Intelligence (Agentic XAI) Approach To Explore Better Explanation

이 논문은 SHAP 기반 설명과 LLM 기반 반복적 정제를 결합한 '에이전트 XAI' 프레임워크를 제안하고, 농업 추천 시스템 사례를 통해 초기 3~4 라운드까지의 전략적 정제가 설명의 질을 극대화하지만 과도한 반복은 오히려 성능을 저하시킨다는 역설적 발견을 통해 최적의 에이전트 XAI 설계 원리를 제시합니다.

핵심

🌾 1. 핵심 개념: "똑똑한 요리사 vs. 수다쟁이 요리사"

상상해 보세요. AI 가 농부에게 "올해 벼를 잘 키우려면 비료를 얼마나 주고, 언제 물을 주어야 하는지" 알려주고 싶다고 합시다.

• 기존 AI (XAI): "비료의 양이 0.5% 증가하면 수확량이 10% 늘어난다는 통계 데이터입니다." (너무 딱딱하고 이해하기 힘듦)
• 새로운 AI (에이전트 XAI): "통계 데이터를 보니 비료가 중요하네요. 자, 이제 제가 이 데이터를 바탕으로 농부님이 이해하기 쉬운 이야기로 바꿔드릴게요. 그리고 혹시 더 좋은 방법이 있을까 다시 한번 생각해 보고, 필요한 그림도 그려드릴게요."

이 새로운 AI 는 스스로 생각해서 (에이전트), 설명을 몇 번이고 다듬는 (반복적 개선) 과정을 거칩니다. 마치 요리사가 맛을 보고, 소스를 더 넣고, 다시 맛을 보며 요리를 완성하는 것과 비슷합니다.

🔄 2. 실험 과정: "11 번의 맛보기"

연구팀은 이 AI 가 11 번 (0 번부터 10 번까지) 설명을 다듬는 과정을 시뮬레이션했습니다.

• 1~3 번 (초반): AI 는 처음에 딱딱한 통계만 줬지만, 점점 농부에게 필요한 구체적인 조언 (예: "이 품종은 6 월 초에 물을 많이 줘야 해요") 을 추가하며 더욱 훌륭해졌습니다.
• 4~5 번 (중반): 설명이 가장 완벽해졌습니다. 농부도 이해하기 쉽고, 과학적으로도 정확하며, 실제로 실행 가능한 조언이었습니다.
• 6~10 번 (후반): 여기서 문제가 생겼습니다. AI 가 "아직 부족해! 더 많은 데이터를 분석하고, 더 복잡한 경제 이론을 넣어야 해!"라고 생각하며 계속 말을 덧붙였습니다.

⚖️ 3. 발견한 비밀: "말이 많을수록 나빠지는 이유 (편향과 분산의 함정)"

연구팀은 놀라운 사실을 발견했습니다. 말이 너무 많아지면 오히려 조언의 질이 떨어졌다는 것입니다.

이를 통계학 용어인 **'편향 (Bias) 과 분산 (Variance) 의 트레이드오프'**로 설명할 수 있는데, 쉽게 비유하자면 다음과 같습니다.

• 초반 (편향): 설명이 너무 짧고 단순해서 중요한 정보가 빠져나갔습니다. (너무 짧음)
• 중반 (최적점): 딱 알맞은 양의 정보로 핵심을 찔렀습니다. (적당함)
• 후반 (분산): AI 가 너무 많은 정보를 쏟아부었습니다. 농부에게 필요한 "비료 언제 줄까?"라는 질문에, "이 비료 가격 변동에 따른 미래 경제 시나리오와 기후 모델의 불확실성..." 같은 너무 복잡하고 현실과 동떨어진 이야기를 늘어놓기 시작했습니다.

마치 친구가 간단한 길 안내를 해달라고 했을 때, 처음에는 "저기 오른쪽으로 가세요"라고 말해주다가, 나중에는 "그 길은 1990 년에 개통했고, 그 길 옆에 있던 가게는 2005 년에 문을 닫았는데..."라며 끝없는 수다를 떠는 것과 같습니다. 듣는 사람은 핵심을 놓치고 혼란스러워하게 됩니다.

📊 4. 결론: "적당히 멈추는 것이 최고 (Early Stopping)"

이 연구는 **"인공지능이 설명을 다듬을 때, 3~4 번 정도만 멈추고 내주는 것이 가장 좋다"**는 결론을 내렸습니다.

• 농부 (전문가) 와 AI (심사위원) 모두 동의: 34 번 반복했을 때 조언의 질이 3033% 나 좋아졌습니다. 하지만 그 이후로 계속 반복하면 오히려 2~3 배나 나빠졌습니다.
• 경고: AI 가 스스로 더 많은 분석을 하려고 할 때, 사실은 근거가 없는 엉뚱한 이야기 (예: 데이터에 없는 경제 비용을 임의로 만들어내는 것) 를 만들어낼 위험이 큽니다.

💡 5. 이 연구가 우리에게 주는 교훈

이 논문은 인공지능이 우리를 도와줄 때, **"무조건 더 많이, 더 똑똑하게 만들면 좋은 게 아니다"**라고 말합니다.

• 핵심은 '적당함': 복잡한 데이터를 인간이 이해하기 쉽게 번역할 때, 너무 간단하지도, 너무 복잡하지도 않은 **'황금 지점'**이 존재합니다.
• 신뢰의 중요성: AI 가 스스로 계속 말을 덧붙이다 보면, 오히려 그 말이 사실인지 의심하게 됩니다. 따라서 AI 가 설명을 할 때는 적절한 시점에서 멈추게 하는 (조기 종료) 전략이 필요합니다.

한 줄 요약:

"AI 가 농부에게 조언을 줄 때, 처음에는 너무 짧고, 나중에는 너무 길고 복잡해집니다. **가장 좋은 조언은 '적당히 다듬은 3~4 번째 버전'**에 있습니다. AI 에게도 '적당히 멈추는 법'을 가르쳐야 합니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• XAI 의 한계: 설명 가능한 인공지능 (XAI) 은 데이터 기반의 요인 분석과 예측 모델의 투명성을 제공하지만, 기술적인 설명 (예: SHAP 값, 특성 중요도) 을 비전문가나 현장 전문가에게 직관적으로 전달하는 데는 여전히 어려움이 있습니다. 이는 AI 예측에 대한 신뢰도 저하로 이어집니다.
• LLM 의 잠재력과 미해결 과제: 대규모 언어 모델 (LLM) 은 기술적 설명을 자연어 서사로 변환하는 능력이 뛰어나지만, 기존 연구에서는 XAI 결과와 LLM 을 결합하여 **반복적인 개선 (Iterative Refinement)**을 통해 최적의 설명을 도출하는 '에이전트 (Agent)' 방식의 접근은 거의 연구되지 않았습니다.
• 핵심 가설: 설명의 깊이와 단순성 사이에는 **편향 - 분산 트레이드오프 (Bias-Variance Trade-off)**가 존재할 것입니다.
  • 초기 단계: 설명이 너무 단순하여 중요한 정보가 누락됨 (편향, Bias).
  • 과도한 반복: 설명이 지나치게 길어지고 추상화되어 핵심이 흐려짐 (분산, Variance).
  • 가설: 설명의 품질은 반복 횟수가 증가함에 따라 단조롭게 향상되지 않고, 최적의 지점 (역 U 자형 곡선) 에서 정점을 찍은 후 감소할 것이다.

2. 방법론 (Methodology)

2.1 제안된 프레임워크: Agentic XAI

이 연구는 SHAP 기반의 XAI 분석과 멀티모달 LLM 을 활용한 반복적 개선 프로세스를 결합한 '에이전트 XAI' 프레임워크를 제안합니다.

• 작동 원리:
  1. 초기 분석 (Round 0): 랜덤 포레스트 모델로 쌀 수확량을 예측하고, SHAP 비즈스웜 플롯 (Beeswarm plot) 을 생성합니다.
  2. 반복적 개선 루프 (Rounds 1-10): LLM 에이전트가 이전 출력물을 분석하고, 설명을 개선하기 위해 필요한 추가 통계 분석이나 시각화를 식별합니다.
  3. 코드 생성 및 실행: LLM 은 Python 코드를 생성하여 새로운 통계치 (상관관계, 회귀 분석 등) 를 계산하거나 시각화 (히트맵, 박스플롯 등) 를 생성합니다.
  4. 종합 및 업데이트: 생성된 새로운 데이터와 기존 SHAP 결과를 종합하여 농가를 위한 권고안을 업데이트합니다. 이 과정은 11 회 (Round 0~10) 반복됩니다.

2.2 데이터셋

• 지역: 일본 후쿠시마현 도미오카정 (37.34°N, 141.00°E).
• 규모: 3 년간 (2021-2023) 26 개 필지, 4 품종 (Fukunoka, Gohyakugawa 등) 의 쌀 재배 데이터.
• 변수: 토양 특성 (7 개), 농업 관리 관행 (10 개), 기상 조건 (생육 단계별 20 개) 등 총 37 개 설명 변수와 수확량. 총 66 개의 필지 - 연도 관측치.

2.3 평가 체계

• 평가자:
  • 인간 전문가: 작물 과학자 12 명 (PhD 소지자, 일본 작물과학회 소속).
  • LLM 평가자: 5 개 주요 AI 제공업체의 14 개 모델 (ChatGPT, Claude, Grok, DeepSeek, Gemini 등).
• 평가 지표 (7 가지):
  1. 명확성 (Clarity)
  2. 간결성 (Conciseness)
  3. 맥락적 관련성 (Contextual Relevance)
  4. 비용 고려 (Cost Consideration)
  5. 작물 과학적 신뢰도 (Crop Science Credibility)
  6. 실용성 (Practicality)
  7. 구체성 (Specificity)
• 통계 분석: 일원분산분석 (ANOVA) 과 일반화 가법 모델 (GAM) 을 사용하여 라운드별 품질 변화와 역 U 자형 (Inverted U-shaped) 패턴을 검정했습니다.

3. 주요 결과 (Results)

3.1 전체 품질 동향 (역 U 자형 패턴)

• 최적 지점: 인간 평가자와 LLM 평가자 모두 3~4 라운드에서 권고안의 품질이 최고조에 달하는 것을 확인했습니다.
  • 인간 평가자: 0 라운드 (3.68 점) → 3 라운드 (4.91 점) 로 약 33% 향상.
  • LLM 평가자: 0 라운드 (4.78 점) → 4 라운드 (6.21 점) 로 약 30% 향상.
• 과도한 반복의 부작용: 4 라운드 이후 추가적인 반복은 품질을 급격히 저하시켰습니다. 10 라운드까지 진행될 경우 인간 평가자는 2.64 점까지 하락했습니다. 이는 편향 - 분산 트레이드오프가 설명의 복잡성에서도 적용됨을 시사합니다.

3.2 지표별 세부 동향

• 역 U 자형 패턴 (초기 정점 후 감소): 명확성, 맥락적 관련성, 작물 과학적 신뢰도, 실용성, 구체성 등 5 가지 지표는 초기 라운드에서 정점을 찍은 후 감소했습니다. 이는 반복이 진행될수록 설명이 지나치게 추상화되거나 불필요한 세부사항이 추가되어 실용성이 떨어졌기 때문입니다.
• 단조 감소 (Conciseness): 간결성 지표는 0 라운드 (또는 1 라운드) 에서 최고점을 찍은 후 지속적으로 감소했습니다. 반복이 진행될수록 설명이 지나치게 길어지고 불필요한 반복이 발생했음을 의미합니다.
• 단조 증가 (Cost Consideration): 비용 고려 지표는 지속적으로 향상되었습니다. 그러나 원본 데이터에 경제적 변수가 없었음에도 LLM 이 추론을 통해 비용을 언급했으므로, 이는 **grounding 이 없는 과도한 추론 (Ungrounded Abstraction)**의 위험을 보여줍니다.

3.3 분석적 복잡성의 진화

• 초기 라운드 (0-3): 주요 수확량 제한 요인 식별 및 관리 전략 제시.
• 중기 라운드 (4-8): 경제적 분석, 필지 유형 분류, 지속 가능성 평가 도입.
• 후기 라운드 (9-10): 분석적 복잡성이 농가 성과에 실제로 도움이 되는지 의문을 제기하며 위험 경고와 함께 권고안을 종합했으나, 실제 실행 가능성은 낮아졌습니다.

4. 주요 기여 및 의의 (Key Contributions & Significance)

1. Agentic XAI 개념의 정립: XAI 와 LLM 에이전트를 결합하여 설명을 반복적으로 개선하는 새로운 프레임워크를 제안하고, 이를 농업 권고 시스템에 적용했습니다.
2. 설명 품질의 '최적 정지 (Early Stopping)' 필요성 입증: AI 에이전트의 반복적 개선이 무조건적인 품질 향상을 보장하지 않으며, 3~4 라운드 정도의 전략적 조기 종료 (Early Stopping) 가 필수적임을 실증했습니다. 이는 기계학습의 편향 - 분산 트레이드오프가 지식 전달 (Knowledge Translation) 영역에서도 유효함을 보여줍니다.
3. 과도한 반복의 위험성 경고: 반복이 진행될수록 LLM 이 데이터에 근거하지 않은 추론 (Hallucination) 을 하거나, 지나치게 추상적인 설명을 생성하여 실제 현장 적용 가능성 (Practicality) 을 훼손할 수 있음을 발견했습니다.
4. 하이브리드 평가 체계: 인간 전문가와 LLM 평가자 (LLM-as-judge) 의 평가 결과가 높은 일치도를 보였으며, 이는 LLM 을 활용한 확장 가능한 평가 체계의 유효성을 입증했습니다.

5. 결론 및 시사점

이 연구는 Agentic XAI 시스템이 초기 단계에서는 기술적 통찰력을 실용적인 권고안으로 성공적으로 변환하지만, 과도한 반복은 오히려 신뢰성과 실용성을 해친다는 것을 밝혔습니다. 따라서 신뢰할 수 있는 에이전트 XAI 시스템을 설계하기 위해서는 전략적인 조기 종료 (Early Stopping), 하이브리드 인간-LLM 평가, 그리고 **중간 출력물의 투명성 확보 (Observability)**가 필수적입니다. 이는 농업뿐만 아니라 의료, 금융 등 다양한 분야의 의사결정 지원 시스템 설계에 중요한 원칙을 제공합니다.