Quantifying Conversational Reliability of Large Language Models under Multi-Turn Interaction

이 논문은 대규모 언어 모델 (LLM) 이 실제 환경에서 다중 턴 대화를 수행할 때 신뢰성이 현저히 저하된다는 것을 체계적으로 평가하고, 지시 이탈 및 의도 혼란 등 주요 실패 요인을 규명하여 신뢰할 수 있는 배포를 위한 강화된 평가 방법의 필요성을 강조합니다.

핵심

이 논문은 거대 언어 모델 (LLM, 예: 챗봇이나 AI 비서) 이 긴 대화 속에서 얼마나 '착하고 똑똑하게' 행동하는지를 시험한 연구 결과입니다.

쉽게 말해, **"AI 는 한 번에 질문을 받으면 잘 대답하지만, 여러 번 대화를 나누면서 주제가 바뀌거나 산만해지면 얼마나 헷갈려서 망치는가?"**를 확인한 실험 보고서라고 보시면 됩니다.

연구진은 이 복잡한 내용을 세 가지 재미있는 비유로 설명합니다.

---

1. 실험의 핵심: "긴 대화의 함정"

우리가 AI 와 대화할 때, 처음에는 "5 문장 이내로만 답해"라고 지시해도 잘 지키다가, 10 번 이상 대화를 나누고 잡담이 섞이면 그 지시를 잊어버리고 길게 늘어놓는 경우가 많습니다.

이 논문은 AI 가 **긴 대화 (Multi-turn)**를 할 때 얼마나 신뢰할 수 있는지, 그리고 **단순한 질문 (Single-turn)**과 비교했을 때 실수가 얼마나 늘어나는지 정량적으로 측정했습니다.

2. 세 가지 시험 문제 (비유로 설명)

연구진은 AI 를 시험하기 위해 세 가지 상황을 만들었습니다.

① "규칙 지키기" (Instruction Following)

• 상황: "이 대화 내내 반드시 5 문장 이내로만 대답해"라고 처음에 지시했습니다.
• 시험: 그 후 10 번 이상 잡담을 주고받으며 주제를 바꾸다가, 마지막에 "비잔틴 제국의 역사를 자세히 설명해 줘"라고 길게 물어봤습니다.
• 결과: AI 는 규칙을 까맣게 잊어버렸습니다. "5 문장 이내"라는 지시를 무시하고 13 문장이나 되는 긴 글을 써버렸습니다.
• 비유: 식당에서 "음료수만 주문하세요"라고 했다가, 10 분 동안 잡담하다가 "메뉴판 전체를 설명해 줘"라고 하면, AI 는 "아, 음료수만 주문하라는 건가?"를 잊고 메뉴판 전체를 설명해 버리는 꼴입니다.

② "도구 고르기" (Tool Selection)

• 상황: AI 는 날씨, 뉴스, 계산기, 주식 등 여러 가지 '도구'를 쓸 수 있습니다.
• 시험: 대화 중간에 "오늘 주식은 어때?" (주식 도구 필요) -> "그런데 파리의 날씨는?" (날씨 도구 필요) 처럼 주제를 섞어서 물어봤습니다.
• 결과: 작은 AI 모델들은 완전히 헷갈렸습니다. 주식 도구를 써야 할 때 날씨 도구를 쓰거나, 반대로 이전 대화의 도구를 계속 고집했습니다. 반면, 거대하고 비싼 AI 모델들은 잘 구분해 냈습니다.
• 비유: 요리사 (AI) 가 "소금 좀 줘"라고 하면 소금을 주다가, 갑자기 "비행기 시간 알려줘"라고 하면 소금통을 들고 비행기 시간표를 찾아다니는 어리석은 행동을 합니다.

③ "정보 기억하기" (Entity Extraction)

• 상황: "4 명, 4 월 18 일, 저녁 7 시에 식당 예약해 줘"라고 했습니다.
• 시험: 대화 중간에 "아, 친구가 어제 6 시에 예약했다고 하더라" (혼란) -> "아니, 4 명 말고 3 명으로 바꿔" (변경) 같은 상황을 넣었습니다.
• 결과: 이 부분은 가장 잘 견뎌냈습니다. AI 는 마지막에 바뀐 정보 (3 명) 를 기억해 내는 능력이 상대적으로 뛰어났습니다.
• 비유: 식당 점원이 "4 명으로 예약했는데, 나중에 3 명으로 바꾼다"는 말을 들으면, 마지막에 바뀐 숫자를 기억해 내는 것은 비교적 잘해냅니다.

3. 놀라운 발견들

1. 크기가 중요해요: 거대하고 비싼 AI (GPT-4o 등) 는 긴 대화에서도 꽤 잘했지만, 작고 저렴한 AI 모델들은 대화가 길어질수록 실수가 폭발적으로 늘어났습니다.
2. 규칙이 가장 약해요: "문장 수 제한" 같은 형식적인 규칙을 지키는 것이, 구체적인 정보 (날짜, 시간) 를 기억하는 것보다 훨씬 어렵습니다.
3. 혼란이 원인: 단순히 대화 길이가 길어서 망친 게 아니라, 주제가 뒤죽박죽 섞이거나 (산만함), 이전 정보가 덮어씌워지는 (기억 상실) 상황에서 AI 가 무너졌습니다.

4. 결론: 왜 이 연구가 중요한가?

지금까지 AI 를 평가할 때는 "한 번에 질문을 던졌을 때 정답을 맞췄는가"만 보았습니다. 하지만 실제 세상에서는 긴 대화, 잡담, 주제 변경이 일상입니다.

이 연구는 **"AI 가 긴 대화 속에서도 약속을 지키고, 올바른 도구를 골라내고, 마지막 의도를 기억할 수 있는지"**를 엄격하게 테스트해야 한다고 경고합니다.

한 줄 요약:

"AI 는 짧은 대화에서는 천재처럼 보이지만, 긴 대화와 잡담 속에서 규칙을 잊고 헷갈려 할 수 있으니, 실제 서비스 전에 **'긴 대화 내구도 테스트'**를 꼭 받아야 합니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 실제 응용 분야에서 사용자와의 긴 대화 (Extended Conversation) 와 다양한 주제가 섞인 (Mixed-topic) 상호작용에 점점 더 많이 배포되고 있습니다. 그러나 기존 연구들은 주로 단일 턴 (Single-turn) 프롬프트나 추상적인 벤치마크에 집중해 왔으며, 실제와 같은 복잡한 다중 턴 환경에서 모델의 신뢰성이 어떻게 저하되는지에 대한 체계적인 이해가 부족했습니다.

사용자가 대화 중 주제를 변경하거나, 관련 없는 내용을 섞어 말하거나, 목표를 수정할 때 모델이 일관성을 유지하지 못하면 시스템의 실용성이 크게 훼손됩니다. 본 논문은 이러한 실제 운영 환경에서의 대화 신뢰성 (Conversational Reliability) 결여를 정량적으로 평가하고, 그 원인을 규명하는 것을 목표로 합니다.

2. 방법론 (Methodology)

2.1. 평가 태스크 설계

연구진은 실제 서비스 시나리오를 반영한 3 가지 핵심 태스크를 설계하여, **단일 턴 (Single-turn)**과 다중 턴 (Multi-turn) 설정을 비교 평가했습니다.

1. 지시 따르기 (Instruction Following):
   • 대화 시작 시 "최대 5 문장으로만 답변하라"는 전역 제약 조건을 설정합니다.
   • 이후 관련 없는 주제 (Chit-chat) 로 대화를 이어가며, 마지막에 모델이 길고 자세한 답변을 하도록 유도하는 요청을 합니다.
   • 목표: 대화 중 방해 요소가 있더라도 전역 제약 조건을 유지하는지 확인.
2. 도구 선택 (Tool Selection):
   • 고정된 도구 세트 (날씨, 뉴스, 계산기, 주식, 레시피, 사전 등) 가 주어집니다.
   • 다중 턴 설정에서는 여러 도구가 필요한 주제가 섞여 있고, 사용자가 의도를 변경하는 상황을 구성합니다.
   • 목표: 교차된 의도 (Interleaved intents) 속에서 마지막 요청에 맞는 올바른 도구를 선택하는지 확인.
3. 개체 추출 (Entity Extraction):
   • 식당 예약 시나리오 (날짜, 시간, 인원 수) 에서 최종 구조화된 정보를 추출합니다.
   • 다중 턴 설정에서는 사용자가 마음을 바꾸는 경우 (Change of mind), 관련 없는 잡담 (Chit-chat), 타인의 예약 언급 (Multiple mention) 등을 포함합니다.
   • 목표: 대화 중 발생하는 수정 및 방해 요소에도 불구하고 최종 의도를 정확히 추적하여 구조화된 값을 출력하는지 확인.

2.2. 데이터 생성 및 모델 평가

• 데이터 생성: GPT-5 를 사용하여 각 태스크별로 약 100 개의 단일 턴 및 다중 턴 대화 세트를 합성했습니다. 대화 길이, 주제 전환 횟수, 수정 빈도 등을 체계적으로 제어했습니다.
• 평가 모델: 상업용 LLM (GPT-4o, GPT-4o-mini, Gemini-2.5-Flash) 과 오픈소스 소형 모델 (Qwen, Mistral, Gemma 등) 을 포함하여 총 9 개 모델을 평가했습니다.
• 평가 지표: 명확한 통과/실패 (Pass/Fail) 기준을 적용하여 **정확도 (Accuracy)**를 주요 지표로 사용했습니다.

3. 주요 결과 (Key Results)

전체적으로 단일 턴에서 다중 턴으로 전환될 때 모든 모델의 성능이 유의미하게 저하되었으며, 이는 McNemar 검정을 통해 통계적으로 유의미함이 입증되었습니다.

• 지시 따르기 (Instruction Following):
  • 가장 심각한 성능 저하가 관찰된 영역입니다.
  • GPT-4o 는 96% (단일) 에서 63% (다중) 로 급감했고, 소형 모델 (GPT-4o-mini, Qwen-8B 등) 은 20~30% 대로 떨어졌습니다.
  • 대화 길이가 길어질수록 전역 제약 조건을 잊어버리는 경향이 뚜렷했습니다.
• 도구 선택 (Tool Selection):
  • 상업용 대형 모델 (GPT-4o, Gemini) 은 97% 이상의 높은 정확도를 유지했으나, 소형 오픈소스 모델은 37~47% 로 크게 떨어졌습니다.
  • 사용 가능한 도구의 수가 증가할수록 (2 개에서 5 개로) 정확도가 98% 에서 64% 로 급격히 감소했습니다.
• 개체 추출 (Entity Extraction):
  • 세 태스크 중 가장 견고한 (Robust) 성능을 보였습니다.
  • 다중 턴 환경에서도 대부분의 모델이 84~89% 의 정확도를 유지했습니다.
  • 날짜, 시간, 인원 수와 같은 명시적인 구조화된 정보는 맥락 혼란에 상대적으로 덜 취약한 것으로 나타났습니다.

모델 크기별 차이

• 모델 용량 (Capacity) 의 중요성: 대형 모델은 소형 모델에 비해 단일 턴과 다중 턴 간의 성능 격차가 상대적으로 작았습니다. 소형 모델은 대화의 복잡도가 높아질수록 신뢰성이 급격히 떨어지는 취약점을 보였습니다.

4. 오류 분석 (Error Analysis)

정성적 분석을 통해 다음과 같은 주요 실패 패턴을 발견했습니다:

1. 지시 편향 (Instruction Drift): 대화 중 여러 턴이 지나면 초기에 설정된 전역 제약 (예: 문장 수 제한) 을 무시하고 원래의 긴 답변 패턴으로 돌아갑니다.
2. 의도 혼란 (Intent Confusion): 이전 턴의 컨텍스트에 과도하게 의존하여 (Overcommitment), 새로운 요청이 명확히 다른 도구를 필요로 할 때도 이전 도구를 반복 선택합니다.
3. 맥락 덮어쓰기 (Context Overwriting): 대화 중 관련 없는 언급 (예: 친구의 예약 시간) 이 최종 의도 (사용자의 최종 예약 시간) 를 덮어쓰거나 혼란을 일으켜 구조화된 정보 추출을 실패하게 합니다.

5. 기여 및 의의 (Contributions & Significance)

1. 실무 중심의 평가 프레임워크 제시: 기존 추상적인 벤치마크와 달리, 실제 대화 시스템에서 발생하는 구체적인 신뢰성 문제 (지시 유지, 도구 라우팅, 상태 추적) 를 정량화하는 3 가지 컴팩트한 태스크를 제안했습니다.
2. 신뢰성 저하의 정량적 규명: 대화의 길이가 길어지고 주제가 복잡해질수록 모델의 신뢰성이 어떻게, 얼마나 저하되는지를 명확한 수치로 증명했습니다. 특히 소형 모델의 취약성을 강조했습니다.
3. 배포 및 안전성 시사점: 실제 운영 환경 (Production) 에서 LLM 을 배포할 때, 단순한 단일 턴 성능뿐만 아니라 **다중 턴 신뢰성 (Multi-turn Reliability)**을 필수적인 평가 차원으로 포함해야 함을 강조합니다.
4. 재현 가능한 데이터셋 공개: 생성된 데이터셋과 평가 코드를 공개하여 향후 연구의 재현성을 높이고, 더 강력한 평가 방법론 개발을 촉진합니다.

결론

본 논문은 LLM 이 단순한 질문 - 답변을 넘어 복잡한 대화 흐름을 다룰 때 겪는 신뢰성 문제를 체계적으로 규명했습니다. 연구 결과는 모델의 크기와 태스크 유형에 따라 신뢰성 저하 정도가 다르며, 특히 전역 지시 유지가 가장 큰 난제임을 보여주었습니다. 이는 향후 더 견고한 대화형 AI 시스템을 구축하기 위해 다중 턴 스트레스 테스트와 새로운 평가 메트릭의 개발이 시급함을 시사합니다.