When the Database Fails: Prompting LLM Dialogue Agents for Safe Recovery in Task-Oriented Dialogue

기술 요약: 데이터베이스가 실패할 때: 작업 지향 대화(TOD)에서 안전한 복구를 위한 LLM 대화 에이전트 프롬프팅

문제 정의

호텔 예약, 식당 찾기, 교통편 마련 등을 돕는 작업 지향 대화(TOD) 시스템은 일반적으로 LLM이 의도를 추출하고, 백엔드 데이터베이스를 쿼리하며, 결과에 기반하여 응답을 생성하는 파이프라인에 의존한다. 이 파이프라인는 데이터베이스 경계에서 취약하다. 실제 배포 환경에서는 백엔드 오류, 구체적으로 빈 결과(일치하는 레코드 없음), 잘못된 도메인 반환(부적절한 도메인의 데이터), 그리고 API 오류(타임아웃 또는 서버 장애)가 발생하며, 이는 LLM 에이전트가 유창하지만 안전하지 않은 응답을 생성하게 만든다. 에이전트는 실패를 인정하는 대신, 데이터베이스에 의해 뒷받침되지 않는 장소, 확정 사항 또는 예약 세부 정보를 스스로 지어내는 환각(hallucination) 현상을 자주 보인다. 기존 연구들은 주로 일반적인 에이전트 도구 실패나 사용자 행동 스트레스 요인에 집중해 왔으며, 재학습 없이 프롬프트만을 이용한 복구 전략을 격리하여 평가하는 TOD 시스템 내의 런타임 데이터베이스 실행 결함에 대한 통제된 평가는 부족했다.

방법론

저자들은 두 가지 구조적으로 다른 데이터셋인 MultiWOZ 2.2(5개 도메인)와 SGD(20개 도메인)를 대상으로 복구 전략을 평가하기 위한 통제된 결함 주입(fault-injection) 프레임워크를 제안한다.

• 결함 주입: 각 테스트 대화에 대해, 시스템은 첫 번째 사용자 턴을 추출하고 다음 네 가지 데이터베이스 조건 중 하나를 합성적으로 주입한다:

  1. Clean (정상): 유효한 결과 (산술적 베이스라인).
  2. Empty Result (빈 결과): 일치하는 항목 없음 (올바른 조치: 실패를 인정하고 제약 조건 완화를 제안).
  3. Wrong Domain (잘못된 도메인): 잘못된 도메인의 결과 (올바른 조치: 불일치를 감지하고 사용자에게 확인).
  4. API Error (API 오류): 타임아웃 또는 503 오류 (올바른 조치: 사과하고 재시도를 요청).
     참고: 첫 번째 턴을 사용하는 것은 멀티 턴 상태 추적으로부터 발생하는 혼란을 피하기 위해 즉각적인 복구 동작을 격리하기 위함이다.

• 복구 전략: 본 연구는 고정된 디코딩 온도(0.2)를 사용하여 여섯 가지 오픈 웨이트 모델 제품군(DeepSeek-R1, Gemma-2, Llama-3, Mistral, Phi-3, Qwen-2.5)에 대해 세 가지 프롬프팅 전략을 비교한다:

  1. Naive (단순): 특별한 지시 없이 가공되지 않은 데이터베이스 응답을 그대로 전달.
  2. Inform (정보 제공): 환각을 일으키지 말고 실패를 정직하게 인정하라는 명시적 지시 포함.
  3. Guided-Retry (유도된 재시도): 데이터베이스 상태 필드에 따라 키가 지정된 구조화된 결정 절차를 제공하며, 실패 유형별로 명시적인 지침을 제공하고 장소 이름, 예약 참조 또는 확인 세부 정보를 조작하는 것을 엄격히 금지함.

• 지표:

  • Hallucination Rate (HR, 환각률): DB 응답에 없는 결과를 에이전트가 지어내는 비정상(non-clean) 턴의 비율.
  • Appropriate Action Rate (AAR, 적절한 조치율): 실패 유형별 그라운드 트루스(ground-truth) 적절한 조치와 일치하는 비율.
  • Commitment Safety Rate (CSR, 약속 안전율): 명시적인 허위 약속(예: 지어낸 예약 참조)이 없는 비정상 턴의 비율. 이 지표는 인간 평가자에 의해 검증되었다 (Fleis's $\kappa = 0.7672$).
  • User Friction Score (UFS, 사용자 마찰 점수): 환각 및 침묵하는 실패에 페널티를 부여하는 복합 점수.

주요 결과

본 연구는 구조화된 프롬프팅이 강건성을 크게 향상시키지만, 환각을 완전히 제거하지는 못한다는 것을 발견했다.

• 전반적인 성능: Guided-Retry 전략은 모든 여섯 모델에서 Naive 및 Inform 베이스라인보다 일관되게 우수한 성능을 보였다.

  • MultiWOZ에서, Guided-Retry는 평균 환각률(HR)을 30.5%(Naive)에서 **15.3%**로 감소시켰으며(50% 감소), 적절한 조치율(AAR)을 **83.0%**로 개선했다.
  • SGD에서, HR은 **20.9%**에서 **12.2%**로 감소하였고(42% 감소), AAR은 **83.9%**에 도달했다.
  • 이러한 개선은 모든 모델에서 통계적으로 유의미하다 ($p < 0.001$).

• 모델 편차:

  • DeepSeek-R1은 Guided-Retry 하에서 가장 낮은 HR(MultiWOZ에서 5.8%)을 달성했다.
  • Phi-3는 주목할 만한 예외였다. 이 모델은 Guided-Retry 하에서 Inform 전략보다 성능이 저하되었으며(HR 35.2% vs 31.0%), 이는 구조화된 복구 지침을 안정적으로 따르지 못함을 시사한다.

• 실패 유형 분석:

  • **잘못된 도메인 검색(Wrong-domain retrieval)**이 가장 어려운 실패 사례로 나타났다. Guided-Retry를 적용하더라도 잔여 환각이 높게 유지되었는데(MultiWOZ에서 20.8%, SGD에서 17.0%), 이는 모델들이 불일치를 감지하기보다 잘못된 도메인의 어휘를 채택하는 경향이 있음을 나타낸다.
  • API 오류는 구조화된 프롬프팅의 혜택이 가장 뚜렷하게 나타났으며, 두 데이터셋 모두에서 HR이 약 25 퍼센트 포인트 감소했다.

• 잔여 환각: 개선에도 불구하고, 모델과 데이터셋 전반에 걸쳐 **6~37%**의 상당한 잔여 환각률이 남아 있으며, 이는 프롬프트 수준의 복구만으로는 충분히 강건한 배포가 불가능함을 시사한다.

의의 및 기여

본 논문은 네 가지 주요 기여를 한다:

1. 통제된 프레임워크: 사용자 행동 스트레스 요인으로부터 런타임 데이터베이스 실행 결함을 격리하는 MultiWOZ 및 SGD용 결함 주입 프레임워크.
2. 프롬프팅 평가: 단일 구조화된 시스템 프롬프트 추가만으로 재학습, 추가 추론 호출, 또는 상당한 엔지니어링 오버헤드 없이 환각을 42~50% 줄일 수 있음을 보여주는 평가.
3. 지표: 약속 안전율(CSR)을 포함하여 실패 복구를 위한 자동 및 인간 검증 지표 세트.
4. 경험적 발견: 구조화된 프롬프팅이 환각을 줄이지만, 잘못된 도메인 실패가 가장 지속적인 과제로 남는 등 비사소한 수준의 잔여 환각률을 남긴다는 발견.

저자들은 Guided-Retry가 전반적으로 가장 안전한 동작을 제공하며 TOD의 강건성을 개선하기 위한 실용적이고 비용이 적게 드는 개입책이지만, 완전한 해결책은 아니라고 결론짓는다. 잔여 환각의 지속성은 프롬프트 수준의 복구가 강건한 실제 배포를 위해 다른 조치들과 병행되어야 함을 시사한다.