Seeing the Reasoning: How LLM Rationales Influence User Trust and Decision-Making in Factual Verification Tasks

이 논문은 LLM 의 사실 검증 작업에서 추론 과정의 정확성과 불확실성 표기가 사용자의 신뢰와 의사결정에 결정적인 영향을 미치지만, 추론 제시 방식 (즉시/지연/요청형) 은 큰 영향을 주지 않으며, 사용자는 주로 출력 검증을 위해 적응적이고 불확실성 표시가 포함된 추론을 원한다는 것을 보여줍니다.

핵심

이 논문은 **"인공지능 (AI) 이 답을 줄 때, 그 '생각하는 과정'을 보여준다면 우리가 얼마나 믿고 따라갈까?"**라는 질문에 답하는 연구입니다.

마치 **요리사 (AI)**가 요리를 완성해 주고, 그 옆에 **레시피 (이유/추론)**를 함께 보여준다고 상상해 보세요. 우리는 그 레시피를 보고 "이 요리를 믿고 먹어도 될까?"를 판단하게 됩니다. 이 연구는 그 레시피가 어떻게, 언제, 어떤 말투로 보여지는지에 따라 우리의 신뢰가 어떻게 변하는지 실험했습니다.

핵심 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 실험 설정: 세 가지 변수를 섞어보다

연구진은 68 명의 참가자를 모아, AI 가 답변을 줄 때 보여주는 '생각의 과정 (이유)'을 세 가지 방식으로 바꿔가며 실험했습니다.

• 변수 1: 언제 보여줄까? (전달 방식)

  • 즉시: 답변과 동시에 바로 보여줌.
  • 지연: 답변을 먼저 보여주고, 잠시 기다린 뒤 보여줌.
  • 요청 시: 처음엔 숨겨두고, "생각 과정 보기" 버튼을 누르면 보여줌.
  • (결과: 사람들이 이 '보여주는 타이밍'에는 크게 민감하지 않았습니다.)

• 변수 2: 내용이 맞을까? (정확성)

  • 맞는 이유: 논리적으로 옳은 설명.
  • 틀린 이유: 논리나 사실에 오류가 있는 설명.

• 변수 3: 자신감은 얼마나 있을까? (확신 표현)

  • 확신: "나는 이 생각이 확실해!"라고 말함.
  • 불확실: "음... 좀 더 생각해 봐야 할 것 같아."라고 말함.
  • 없음: 특별한 말 없이 그냥 설명만 함.

---

2. 주요 발견: 우리가 믿는 기준은 무엇일까?

🍎 "사과를 잘 깎았는가?" vs "요리사가 자신감 있게 말했는가?"

가장 중요한 발견은 내용의 정확성과 자신감 표현이 우리의 신뢰를 좌우한다는 것입니다.

• 정확한 이유 + 확신 있는 말투: 사람들은 AI 를 완벽한 요리사처럼 믿었습니다. 답을 채택할 확률이 높았고, 결정에 자신감이 생겼습니다.
• 틀린 이유 + 확신 있는 말투: 이것이 가장 위험한 상황입니다. 마치 "이 요리에 독이 들어있는데, 나는 이 요리를 100% 안전하다고 장담해!"라고 외치는 요리사 같습니다. 사람들은 논리가 틀린 것을 발견하면 신뢰가 급격히 떨어졌지만, 틀린 이유라도 확신 있게 말하면 사람들은 더 쉽게 속아 넘어갈 위험이 있었습니다.
• 불확실한 말투: AI 가 "나는 잘 모르겠어"라고 말하면, 사람들은 그 정보를 거의 믿지 않았습니다. 심지어 아무 말도 안 했을 때보다 더 불신하게 되었습니다.

⏱️ "레시피를 언제 줘도 상관없다"

사람들은 레시피가 언제 주어지느냐 (즉시, 지연, 요청 시) 에는 크게 신경 쓰지 않았습니다. 중요한 건 레시피의 내용이 맞는지와 요리사가 얼마나 자신 있는지였습니다.

---

3. 사람들의 심리: 우리는 AI 를 어떻게 사용했나?

실험 후 인터뷰에서 참가자들은 흥미로운 심리를 드러냈습니다.

• 수사자 (Detective) 역할: 사람들은 AI 의 이유를 그냥 읽는 게 아니라, **"이게 진짜 맞는지 수사"**하는 용도로 썼습니다. "AI 가 어떤 단계를 거쳤는지 확인해서, 내 판단을 보정 (Calibrate) 하려 했다"고 했습니다.
• 불일치에 대한 공포: 만약 AI 가 "정답은 A 야"라고 말하면서, 그 이유 설명을 보니 "B 라서 A 가 돼"라고 논리가 꼬여 있다면, 사람들은 완전히 혼란스러워하며 불신했습니다. 답이 맞더라도 이유 설명이 어색하면 "이건 뭔가 숨기고 있구나"라고 의심했습니다.
• 원하는 것: 사람들은 AI 가 단계별로 (Step-by-step) 설명해 주길 원했습니다. 마치 레시피를 한 단계씩 끊어서 보여주는 것처럼, "어디서부터 틀렸는지" 쉽게 찾을 수 있어야 한다고 했습니다. 또한, AI 가 **"내가 이 부분은 잘 모르겠어"**라고 솔직하게 말해주거나, 스스로 수정하는 모습을 보면 더 신뢰했습니다.

---

4. 결론 및 교훈: AI 설계자에게 주는 메시지

이 연구는 우리에게 중요한 교훈을 줍니다.

1. AI 의 '생각 과정'은 양날의 검입니다.
   잘 만들어진 이유 설명은 우리를 도와주지만, 틀린 이유를 확신 있는 말투로 포장하면 우리는 오히려 더 쉽게 속아 넘어갈 수 있습니다. (유능해 보이는 가짜 요리사)

2. 신뢰를 조절하는 나침반이 필요합니다.
   AI 는 무조건 "내가 확실해!"라고 외치는 게 아니라, 진실도에 맞춰 자신감을 조절해야 합니다. 만약 이유가 약하다면, "이 부분은 확신이 부족합니다"라고 솔직하게 알려주는 것이 오히려 신뢰를 높입니다.

3. 사용자가 직접 확인하게 하세요.
   AI 는 긴 글로 설명하기보다, 핵심만 먼저 보여주고 (요약), 사용자가 "자세히 볼래?"라고 요청하면 단계별로 자세히 보여주는 방식이 가장 좋습니다. 그래야 사용자가 "어디서부터 잘못된 건가?"를 직접 찾아볼 수 있기 때문입니다.

💡 한 줄 요약

"AI 가 아무리 자신감 있게 말해도, 그 이유 (논리) 가 틀리면 우리는 속아 넘어갈 수 있습니다. 하지만 AI 가 솔직하게 '모르는 부분'을 인정하고, 단계별로 명확하게 설명해 준다면, 우리는 더 현명하게 AI 를 믿고 사용할 수 있습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 답변과 함께 단계별 추론 근거 (rationales, 예: Chain-of-Thought) 를 제공하는 경우가 늘고 있습니다. 기존 연구는 주로 모델 성능 향상을 위한 추론 기법에 집중했으나, 이러한 추론 근거가 사용자 인터페이스 (UI) 요소로 노출될 때 사용자의 신뢰와 의사결정에 미치는 영향은 명확하지 않았습니다.

주요 문제점은 다음과 같습니다:

• 부정확한 신뢰성 (Unfaithfulness): LLM 의 추론 근거는 유창하고 설득력 있어 보일 수 있으나, 사실과 다르거나 최종 답변과 모순될 수 있습니다.
• 확신 프레임 (Certainty Framing): 모델이 불확실한 상황에서도 확신에 찬 어조로 답변하거나, 반대로 확신 부족을 표현할 때 사용자의 신뢰가 어떻게 변조되는지 불명확합니다.
• 위험: 잘 구성된 추론 근거는 사용자의 독립적인 사실 확인을 방해하고, 잘못된 확신에 기반한 신뢰 (miscalibrated trust) 를 초래할 수 있습니다.

2. 연구 방법론 (Methodology)

저자들은 온라인 실험 (N=68) 을 통해 LLM 추론 근거의 세 가지 속성을 조작하여 사용자의 반응을 측정했습니다.

• 실험 설계: 혼합 설계 (Mixed Design)

  • 참여자 간 요인 (Between-subjects): 표시 형식 (Presentation Format)
    1. 즉시 (Instant): 답변과 함께 즉시 표시.
    2. 지연 (Delayed): 답변 후 짧은 지연 시간 후 표시.
    3. 온디맨드 (On-demand): 기본적으로 숨겨져 있다가 '추론 단계 보기' 버튼 클릭 시 표시.
  • 참여자 내 요인 (Within-subjects):
    1. 정확성 (Correctness): 추론이 정답과 일치하는지 (Correct) vs 사실적/논리적 오류가 있는지 (Incorrect).
    2. 확신 프레이밍 (Certainty Cue): 추론 끝에 추가된 문장 (확신 있음, 확신 없음, 없음).

• 과제: 사실 검증 (Fact-checking) 질문 (예: "마이애미는 미국 서해안 도시인가?") 에 대해 LLM 의 답변과 추론 근거를 확인하고, 이를 수용할지 여부를 결정하는 시나리오.

• 측정 지표:

  • 정보에 대한 신뢰 (Trust in Information)
  • LLM 시스템에 대한 전반적 신뢰 (Trust in LLM System)
  • 의사결정 신뢰도 (Decision Confidence)
  • AI 조언 수용 여부 (Advice Adoption)

• 데이터 분석: 혼합 ANOVA(Quantitative) 및 귀납적 주제 분석 (Qualitative, 개방형 질문).

3. 주요 결과 (Key Results)

3.1 양적 결과 (Quantitative Findings)

• 정확성 (Correctness) 의 영향:
  • 정확한 추론 근거는 잘못된 근거보다 정보 신뢰도, 시스템 신뢰도, 의사결정 신뢰도, 조언 수용률을 모두 유의미하게 높였습니다.
  • 특히, 잘못된 추론 근거는 추론을 아예 보여주지 않는 경우보다 신뢰도를 더 크게 떨어뜨렸습니다. (부정확한 설명은 신뢰를 해치는 '역효과' 발생)
• 확신 프레이밍 (Certainty Framing) 의 영향:
  • 확신 있는 (Certain) 표현은 불확실한 표현이나 무표현보다 신뢰와 수용률을 높였습니다.
  • 불확실한 (Uncertain) 표현은 신뢰를 '무표현' 상태보다도 더 낮추는 경향이 있었습니다.
  • 중요 발견: 동일한 추론 내용이라도 확신 표현 여부에 따라 사용자의 신뢰와 행동이 크게 달라졌습니다. 즉, 내용의 정확성보다 확신 표현이 신뢰 형성에 강력한 영향을 미쳤습니다.
• 표시 형식 (Presentation Format) 의 영향:
  • 즉시, 지연, 온디맨드 방식 간에는 통계적으로 유의미한 차이가 나타나지 않았습니다. 사용자는 추론이 '어떻게' 노출되는지보다 '얼마나 신뢰할 수 있는지'에 더 민감했습니다.

3.2 질적 결과 (Qualitative Findings)

• 추론의 역할: 사용자는 추론 근거를 결정적인 증거로 받아들이기보다, 모델의 논리를 감사 (Audit) 하고 신뢰를 보정 (Calibrate) 하는 도구로 사용했습니다.
• 일관성의 중요성: 답변과 추론이 불일치할 때 (예: 결론은 맞는데 과정이 틀림) 사용자는 큰 혼란과 불신을 느꼈습니다.
• 기대 사항: 사용자는 단계별 (stepwise), 검증 가능한 (auditable), 그리고 필요 시 확장 가능한 (adaptive) 추론을 원했습니다. 또한 모델의 확신 수준을 명시적으로 표시하고, 스스로 수정 (self-correction) 하는 모습을 보여주길 바랐습니다.

4. 주요 기여 및 시사점 (Key Contributions & Significance)

4.1 이론적 기여

• 신뢰 보정 인터페이스로서의 추론: LLM 추론 근거는 단순히 설명을 제공하는 것을 넘어, 사용자가 모델의 신뢰도를 스스로 조정 (calibrate) 하는 인터페이스 역할을 함을 규명했습니다.
• 이중성 (Double-edged Sword): 잘 설계된 추론은 의사결정을 지원하지만, 부정확한 추론에 확신 있는 어조가 결합되면 사용자를 오도하고 신뢰를 왜곡할 수 있음을 입증했습니다.

4.2 실용적 설계 가이드라인 (Design Implications)

1. 검증용 지지대 (Verification Scaffold) 로 설계: 설득력 있는 텍스트가 아니라, 사용자가 논리 흐름을 추적하고 오류를 찾을 수 있는 단계별 감사 가능한 (auditable) 단위로 추론을 제시해야 합니다.
2. 일관성 확보: 최종 답변과 추론 과정의 불일치는 신뢰를 급격히 떨어뜨리므로, 표시 전 일관성 검사가 필수적입니다.
3. 확신 표현의 신중한 사용: 모델의 실제 정확도와 일치하지 않는 과도한 확신 표현은 피해야 합니다. 불확실성을 명시적으로 표시하거나 시각적 등급으로 표현하여 신뢰를 보정해야 합니다.
4. 적응형 인터페이스: 요약본을 먼저 제시하고 필요 시 상세 추론을 보여주는 '점진적 공개 (progressive disclosure)' 방식과 사용자가 직접 질문하거나 출처를 확인하는 기능을 지원해야 합니다.

5. 결론

이 연구는 LLM 이 제공하는 추론 근거가 사용자의 신뢰와 의사결정에 결정적인 영향을 미치며, 특히 추론의 정확성과 확신 표현이 핵심 변수임을 밝혔습니다. 사용자는 추론을 통해 AI 를 검증하려 하지만, 부정확하거나 모순된 추론은 오히려 신뢰를 파괴합니다. 따라서 AI 시스템 설계자는 추론 근거를 단순한 설명이 아닌, 사용자가 신뢰를 보정하고 독립적으로 검증할 수 있는 투명하고 제어 가능한 도구로 설계해야 합니다.