Exploring Plan Space through Conversation: An Agentic Framework for LLM-Mediated Explanations in Planning

1. 문제 정의 (Problem)

실제 세계의 순차적 의사결정 문제에서 계획 (Planning) 을 자동화할 때, 목표는 종종 인간 계획자를 대체하는 것이 아니라 인간의 선호도와 전문성에 따라 AI 계획자를 안내하는 반복적 추론 및 요구사항 도출 (elicitation) 과정을 용이하게 하는 것입니다.

• 핵심 문제: 복잡한 계획 문제에서 인간 사용자는 시스템이 제안한 해법이나 제약 조건을 이해하기 어렵고, 특히 목표 간 충돌 (Goal Conflict) 이 발생할 경우 이를 해결하는 방법을 파악하기 어렵습니다.
• 기존 접근법의 한계: 기존의 설명 (Explanation) 인터페이스는 주로 정적 (Static) 이거나 템플릿 기반 (Template-based) 으로, 사용자의 맥락에 따른 자연스러운 대화나 후속 질문 (Follow-up) 에 유연하게 대응하지 못합니다. 또한, LLM 은 복잡한 계획 자체를 수행하는 데는 한계가 있지만, 인간과 시스템 간의 소통을 매개하는 데는 탁월한 잠재력을 가지고 있습니다.

2. 방법론 (Methodology)

저자들은 자연어 대화 기반의 반복적 계획 프레임워크를 제안하며, 이를 위해 멀티 에이전트 LLM 아키텍처를 설계했습니다. 이 아키텍처는 LLM 을 계획의 핵심 연산자로 사용하지 않고, 사용자와 전문 계획 알고리즘 (Computation Agents) 사이의 번역기 및 조정자 (Mediator) 역할을 수행하도록 구성했습니다.

2.1 시스템 아키텍처 및 에이전트 역할

시스템은 다음과 같은 LLM 기반 에이전트들로 구성됩니다 (그림 1, 2 참조):

1. 질문 제안자 (Question Suggester, $S_Q$): 사용자의 현재 상태 (강제된 목표, 만족된/불만족된 목표) 를 분석하여 사용자가 물어볼 만한 관련 질문을 1~3 개 제안합니다. 이는 사용자의 인지 부하를 줄이고 의미 있는 질문을 유도합니다.
2. 질문 번역기 (Question Translator, $T_Q$): 사용자의 자연어 질문을 분류하고, 이를 시스템이 이해할 수 있는 **형식적 질문 (Formal Question)**으로 변환합니다.
   • 질문 유형 (Type) 식별 (예: "왜 불가능한가?", "어떻게 해결할 수 있는가?").
   • 질문 주제 (Topic) 매핑 (기존 목표 목록과 매칭 또는 새로운 목표 생성).
   • 컨텍스트 의존적 후속 질문 처리.
3. 목표 번역기 (Goal Translator, $T_G$): 사용자가 입력한 자연어 목표 (예: "아이들을 쇼핑에 데려가지 마라") 를 계획기가 이해하는 형식 언어 (LTLf, Linear Temporal Logic on finite traces) 로 변환합니다.
4. 설명 프레임워크 (EFCC): 형식적 질문에 기반하여 **최소 불가해 부분집합 (MUS)**과 **최소 수정 집합 (MCS)**을 계산하여 형식적 설명을 생성합니다. 이는 목표 간 충돌과 해결책을 수학적으로 도출합니다.
5. 설명 번역기 (Explanation Translator, $T_E$): 형식적 설명 (MUS/MCS) 을 다시 자연어로 변환하여 사용자에게 전달합니다. 이때 사용자의 맥락, 이전 대화, 그리고 필요한 정보의 수준 (요약 또는 상세) 을 고려하여 답변을 생성합니다.

2.2 상호작용 프로세스

1. 사용자가 질문을 입력하거나 제안된 질문을 선택합니다.
2. $T_Q$가 질문 유형을 분류하고, 필요한 경우 $T_G$를 통해 목표를 형식화합니다.
3. Dispatcher가 요청을 EFCC 로 라우팅합니다.
4. EFCC 가 형식적 설명 (충돌 집합 등) 을 생성합니다.
5. $T_E$가 이를 자연어 대화로 변환하여 사용자에게 제공합니다.
6. 사용자는 이 설명을 바탕으로 다음 반복 단계 (Iteration Step) 에서 강제할 목표 집합을 수정합니다.

3. 주요 기여 (Key Contributions)

1. 반복적 계획 프레임워크의 형식화: 자연어 질문과 설명을 통한 반복적 계획 과정을 정의하고, 이를 위한 추상적 프레임워크를 제시했습니다.
2. 풍부한 목표 충돌 설명 (Richer Goal-Conflict Explanations): 기존 연구 (S-why-not) 를 확장하여 US-why, US-how, S-what-if, S-can, S-how 등 다양한 질문 유형을 지원하는 설명 프레임워크 (EFCC) 를 구현했습니다. 이는 사용자가 "왜 불가능한가?"뿐만 아니라 "어떻게 가능하게 할 수 있는가?", "만약 이 목표를 추가하면 어떻게 되는가?" 등을 질문할 수 있게 합니다.
3. LLM 기반 멀티 에이전트 구현: 위 프레임워크를 LLM 에이전트들로 구체화하여, 자연어와 형식 언어 간의 원활한 변환 및 대화형 상호작용을 가능하게 했습니다.
4. 사용자 연구 및 검증: 일반인 (Lay participants) 을 대상으로 한 대규모 사용자 연구를 통해 제안된 LLM 기반 인터페이스가 기존 템플릿 기반 인터페이스보다 우월함을 입증했습니다.

4. 실험 결과 (Results)

저자들은 "부모의 오후 계획 (Parents' Afternoon)" 시나리오를 사용하여 131 명의 참가자를 대상으로 두 그룹 (LLM 기반 인터페이스 vs 템플릿 기반 인터페이스) 을 비교했습니다.

• 목표 달성도 (Utility): LLM 기반 그룹 ($G_{LLM}$) 이 템플릿 기반 그룹 ($G_{TPL}$) 보다 평균적으로 더 높은 유틸리티 (만족도) 를 달성하는 경향을 보였습니다. 특히 초기 반복 단계에서 더 빠르게 수렴하는 모습을 보였으나, 통계적 유의성은 일부 구간에서 미미했습니다 (p-value > 0.05).
• 질문 전략:
  • $G_{LLM}$ 그룹은 $G_{TPL}$ 그룹보다 **질문 수 (11.4 개 vs 22.8 개)**는 적었지만, LLM 번역기가 단일 질문을 여러 형식적 쿼리로 변환했기 때문에 실제 시스템에 전달된 쿼리 수는 훨씬 많았습니다.
  • $G_{LLM}$ 그룹은 제안된 질문 (Question Suggester) 을 61.7% 의 비율로 적극 활용했습니다.
• 사용자 만족도 및 인식:
  • 통계적으로 유의미한 차이: LLM 기반 인터페이스가 "계획 개선에 도움이 되었다" (p=0.01), "난이도를 줄여주었다" (p=0.02) 는 항목에서 템플릿 기반보다 훨씬 높은 점수를 받았습니다.
  • 사용자는 LLM 인터페이스가 더 직관적이고 대화형이라고 느꼈으며, 설명의 유용성을 더 높게 평가했습니다.
• 대화 분석: 대화의 평균 턴 수는 4.3 이었으며, 절반의 경우 사용자가 정적 설명만으로는 부족하다고 느껴 추가 대화를 시도한 것으로 나타났습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 인간-AI 협업의 새로운 패러다임: 이 연구는 LLM 이 복잡한 계획 문제를 직접 해결하는 대신, 사용자의 요구사항을 명확히 하고 시스템의 해법을 설명하는 '소통의 다리' 역할을 함으로써 인간 계획자의 의사결정 능력을 향상시킬 수 있음을 입증했습니다.
• 대화형 설명의 중요성: 정적 설명보다 대화형 (Interactive) 설명이 사용자의 이해도와 신뢰도를 높이며, 특히 목표 간 충돌이 발생하는 복잡한 상황에서 효과적인 도구임을 보여줍니다.
• 향후 연구 방향: 더 다양한 계획 시나리오와 도메인 전문가 (Domain Experts) 를 대상으로 한 연구, 그리고 목표 번역기 ($T_G$) 와 요약 기능의 정교화를 통해 실제 현장 적용 가능성을 높일 필요가 있습니다.

요약하자면, 이 논문은 LLM 기반 멀티 에이전트 시스템을 활용하여 계획 문제의 탐색 공간을 자연어 대화로 탐색하고, 이를 통해 사용자의 신뢰와 계획의 질을 동시에 향상시키는 효과적인 프레임워크를 제시했습니다.