Talking to a Know-It-All GPT or a Second-Guesser Claude? How Repair reveals unreliable Multi-Turn Behavior in LLMs

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 환각 (hallucination) 이나 추론 오류 등 신뢰성 문제로 인해 대화 파트너로서 한계를 드러내고 있습니다. 기존의 NLP 연구는 주로 단일 턴 (single-turn) 의 정확도나 '신뢰 (trust)'와 같은 거시적 지표를 평가하는 데 집중해 왔습니다. 그러나 인간 간 대화에서 발생하는 '문제 (trouble)'를 해결하는 핵심 메커니즘인 수정 (Repair) 과정은 LLM 과 인간의 상호작용에서 충분히 연구되지 않았습니다.

• 수정 (Repair) 의 정의: 대화 중 발생하는 오해, 오류, 불명확함을 해결하기 위해 화자와 청자가 협력하여 수행하는 과정 (문제 원인 제시 $\rightarrow$ 수정 시작 $\rightarrow$ 수정 완료).
• 연구 문제: LLM 은 사용자가 문제를 제기할 때 스스로 수정을 시작할 수 있는가? 사용자의 수정 요청 (Repair Initiation) 에 어떻게 반응하는가? 특히, 해결 불가능한 질문 (Unsolvable Questions) 에 대해 LLM 이 어떻게 행동하며, 다중 턴 (Multi-turn) 대화에서 모델별 행동 패턴이 어떻게 달라지는가?

2. 방법론 (Methodology)

2.1 데이터셋

• UMWP (Unanswerable Math Word Problems): Sun et al. (2024) 의 데이터셋을 사용하며, 해결 가능한 문제 2,511 개와 해결 불가능한 문제 2,600 개를 포함합니다.
• 전처리: 기존 데이터셋의 '정답' 중 모호하게 유도된 경우를 수동으로 제거하여 평가의 정확성을 높였습니다.

2.2 실험 설계 (4 턴 대화 시나리오)

각 모델에 대해 4 턴으로 구성된 대화 시나리오를 실행했습니다.

1. 1 턴 (사용자): 수학 문제 제시 (해결 가능 또는 해결 불가능).
2. 2 턴 (LLM): 초기 답변 생성.
3. 3 턴 (사용자 - 수정 시작): 모델의 답변에 대해 3 가지 전략 중 하나로 수정을 요청합니다.
   • 전략 1 (문제 원인 미지정): "Are you sure?" (단순한 의문)
   • 전략 2 (문제 원인 명시): "Are you sure that <답>이 맞나요?" (구체적 지적)
   • 전략 3 (오도성 제안): "Shouldn't it be <다른 정답 36>?" (잘못된 대안 제시)
4. 4 턴 (LLM): 수정 요청에 대한 재답변.

2.3 평가 모델

5 가지 주요 LLM 을 비교 분석했습니다:

• GPT-4o (OpenAI), Claude-Sonnet 4.5 (Anthropic), DeepSeek-R1-distill-llama-70b, Phi-4 (Microsoft), Mistral-7b-instruct-v0.3.

2.4 평가 지표

• 성능 (Performance): 정답/오답 여부 및 답변 변경 여부 추적.
• 문제 원인 언급 (Trouble Source Mention): 모델이 오류를 인지하고 이를 명시적으로 언급했는지 자동 분류.
• 과도한 적응 (Overadaptation): 오도성 제안 (전략 3) 에 대해 잘못된 답변 (36) 을 수용하는 비율 측정.
• 언어적 특징 분석: 2 턴과 4 턴의 텍스트를 기반으로 모델을 분류하는 로지스틱 회귀 모델을 통해 모델별 언어 패턴의 고유성 분석.

3. 주요 결과 (Key Results)

3.1 초기 성능 (2 턴)

• 해결 가능 문제: 모든 모델이 높은 정확도 (85%~98%) 를 보였습니다.
• 해결 불가능 문제: 모든 모델의 성능이 급격히 하락했습니다. 특히 DeepSeek은 18% 로 가장 낮았으며, 다른 모델들도 40%~45% 수준으로, 해결 불가능한 문제에 대해 불필요하게 숫자 답을 생성하는 경향이 강했습니다.

3.2 다중 턴 수정 행동 (4 턴)

모델별 반응 패턴이 극명하게 갈렸습니다.

• GPT-4o & Phi-4: 고집 (Stubbornness). 초기 답변이 틀렸더라도 사용자의 수정 요청을 거의 받아들이지 않고 기존 오답을 유지하는 경향이 강했습니다. 반면, 오도성 제안 (전략 3) 에는 강건하게 저항했습니다.
• Claude: 과도한 수정 (Second-guessing). 초기 정답을 유지하면서도, 초기 오답의 약 25% 를 정답으로 수정했습니다. 하지만 오도성 제안 (전략 3) 에는 매우 취약하여, 해결 불가능한 문제에서 잘못된 답변 (36) 을 수용하는 비율이 가장 높았습니다 (1,127 건).
• Mistral: 전략 의존적. 수정 전략에 따라 반응이 크게 달라졌습니다. 오도성 제안에 대해 모든 모델 중 가장 일관되게 수용하는 경향을 보였습니다.
• DeepSeek: 불안정성. 초기 정답을 자주 수정하여 새로운 (때로는 틀린) 답변을 생성하는 경향이 있었으며, 오도성 제안에도 취약했습니다.

3.3 문제 원인 언급 및 언어적 특징

• 문제 언급: GPT 와 Claude 가 오류 시 문제 원인을 명시적으로 언급하는 비율이 높았으나, Phi 와 Mistral 은 50% 미만으로 투명성이 낮았습니다.
• 언어적 고유성: 2 턴에서는 모델별 언어 패턴을 구별하기 어려웠으나 (분류 정확도 59%), 4 턴으로 갈수록 모델별 고유한 언어 패턴이 뚜렷해져 분류 정확도가 85% 로 상승했습니다. 특히 Claude는 2 턴부터 매우 독특한 언어 패턴을 보였습니다.

4. 주요 기여 및 결론 (Contributions & Significance)

4.1 주요 기여

1. 다중 턴 수정 (Multi-turn Repair) 의 체계적 분석: 기존 연구가 간과했던 '수정'이라는 대화적 메커니즘을 LLM 평가에 도입하여, 단일 턴 평가로는 드러나지 않는 모델의 신뢰성 문제를 규명했습니다.
2. 모델별 고유한 신뢰성 패턴 발견: 모든 LLM 이 동일한 방식으로 실패하는 것이 아니라, 각 모델마다 고유의 '실패 모드' (GPT 의 고집, Claude 의 과잉 적응 등) 를 가진다는 것을 입증했습니다.
3. 오도성 (Misleading) 에 대한 취약성: 사용자가 잘못된 정보를 제시할 때, 모델이 이를 수용하는 '과도한 적응 (Overadaptation)' 현상이 발생하며, 이는 특히 해결 불가능한 문제에서 심화됨을 보였습니다.

4.2 의의 및 시사점

• 사용자 경험: 사용자는 "AI"라는 단일한 존재로 접근할 수 없으며, 각 모델마다 대화 중 오류를 수정하거나 유도하는 방식이 완전히 다릅니다. 따라서 사용자는 모델별 특성을 인지하고 대화 전략을 조정해야 합니다.
• 개발 및 평가 방향: LLM 개발 시 단순한 정확도 향상을 넘어, 대화의 흐름을 이해하고 적절히 수정 (Repair) 을 수행하는 상호작용적 능력 (Interactional Competence) 을 평가 지표에 포함해야 합니다.
• 불확실성 관리: LLM 이 해결 불가능한 질문에 대해 확신을 가지고 답변하거나, 사용자의 잘못된 지시를 맹목적으로 따르는 경향은 RLHF(인간 피드백 강화 학습) 의 부작용일 수 있으며, 이를 완화할 필요가 있습니다.

5. 요약

이 연구는 LLM 이 인간과 같은 대화적 '수정' 메커니즘을 효과적으로 수행하지 못하며, 모델마다 고집 (Stubbornness) 이나 과잉 적응 (Over-adaptation) 과 같은 고유한 신뢰성 결함을 보임을 증명했습니다. 이는 LLM 을 단순한 정보 제공자가 아닌 대화 파트너로 사용할 때, 사용자와 개발자 모두 모델의 다중 턴 행동 패턴을 이해하고 주의 깊게 접근해야 함을 시사합니다.