Not All Trust is the Same: Effects of Decision Workflow and Explanations in Human-AI Decision Making

이 연구는 AI 지원 의사결정에서 과신과 미신을 방지하기 위해 의사결정 워크플로우, 설명 유무, 사용자의 전문성 및 경험이 신뢰와 의존 행동에 미치는 영향을 분석한 결과, 2 단계 워크플로우가 과신을 줄인다는 증거는 없으며 보고된 신뢰와 실제 의존 행동은 별개의 개념으로 별도로 평가해야 함을 밝혔습니다.

Laura Spillner, Rachel Ringe, Robert Porzel, Rainer Malaka

게시일 2026-03-06
📖 3 분 읽기☕ 가벼운 읽기

Each language version is independently generated for its own context, not a direct translation.

이 논문은 **"인공지능 (AI) 과 사람이 함께 결정을 내릴 때, 우리가 AI 를 얼마나 믿어야 하는지 (신뢰)"**에 대해 연구한 내용입니다.

핵심 주제는 **"모든 '신뢰'가 같은 것은 아니다"**는 것입니다. 쉽게 말해, "AI 를 믿는다"고 입으로 말하는 것과, 실제로 AI 의 말을 따르는 행동은 다를 수 있다는 거죠.

이 복잡한 연구 내용을 일상적인 비유로 설명해 드릴게요.


🍳 비유: "요리사와 보조 요리사"의 관계

상상해 보세요. 여러분이 **주방장 (사람)**이고, 옆에 **로봇 보조 요리사 (AI)**가 있다고 칩시다. 로봇은 요리를 도와주지만, 가끔 실수를 하기도 합니다.

이 연구는 두 가지 상황을 비교했습니다.

  1. 1 단계 방식 (1-step): 로봇이 요리를 다 해놓고 "이게 맛있어요!"라고 먼저 말해줍니다. 여러분은 그 말을 듣고 그대로 먹거나, 아니면 "아니야, 내 입맛엔 안 맞아"라고 거절합니다.
  2. 2 단계 방식 (2-step): 로봇이 말을 하기 전에, 여러분이 먼저 "내가 이 요리를 이렇게 만들겠다"라고 결정을 내린 뒤, 로봇이 "아니, 내 생각엔 저렇게 하는 게 더 좋아"라고 조언을 줍니다.

연구자들은 "2 단계 방식이 사람들이 로봇의 실수를 더 잘 알아차리게 해서, 로봇을 맹신하는 것을 막아줄까?"라고 궁금해했습니다. (마치 먼저 생각해보게 하면 로봇의 말에 덜 흔들리겠지? 라는 생각에서요.)

🔍 연구 결과: 예상과 달랐던 놀라운 사실

이 연구는 300 명의 참가자를 대상으로 실험을 했는데, 결과는 다음과 같았습니다.

1. "입으로 하는 말"과 "손으로 하는 행동"은 다릅니다.

  • 상황: 어떤 사람은 "나는 이 로봇 요리사를 아주 믿어!"라고 설문조사에 답했습니다 (설문 신뢰도).
  • 현실: 하지만 막상 로봇이 잘못된 레시피를 제안해도, 그 사람은 로봇의 말을 따르지 않고 자기 생각을 고수하기도 했습니다.
  • 교훈: 사람들이 "믿는다"고 말하는 것과, 실제로 AI 의 말을 따르는 행동은 서로 다른 두 가지입니다. 그래서 개발자들은 둘 다 따로따로 측정해야 합니다.

2. "2 단계 방식"이 오히려 독이 될 수도 있습니다.

  • 예상: 연구자들은 "먼저 스스로 결정하게 하면 (2 단계), AI 의 잘못된 조언을 더 잘 거절할 거야"라고 생각했습니다.
  • 현실: 정반대가 나왔습니다! 2 단계 방식이었던 사람들은 오히려 AI 가 틀렸을 때도 AI 의 말을 더 많이 따랐습니다 (과신 증가).
  • 이유: 스스로 먼저 결정을 내린 후 AI 가 "아니야, 내 방식이 더 좋아"라고 말하면, 사람들은 "아, 내가 처음에 생각한 게 틀렸나 보다"라고 생각하며 AI 에게 더 쉽게 넘어가는 경향이 있었습니다. 마치 "내 생각이 틀렸을 때, 전문가가 도와주니 그 말을 듣는 게 낫겠다"라고 착각하는 것과 비슷합니다.

3. "설명 (이유)"은 상황에 따라 효과가 다릅니다.

  • AI 가 "왜 이 요리를 이렇게 해야 하는지" 이유를 설명해 주면 어떨까요?
  • 1 단계 방식에서는 이유를 설명해 줘도 신뢰가 크게 변하지 않았습니다.
  • 하지만 2 단계 방식에서는 이유를 설명해 주었을 때, 사람들이 AI 를 훨씬 더 신뢰하게 되었습니다.
  • 교훈: "이유를 설명해 주는 것"이 무조건 좋은 것은 아닙니다. 어떤 방식 (1 단계 vs 2 단계) 으로 결정을 내리느냐에 따라 설명의 효과가 완전히 달라집니다.

4. "전문가"와 "초보자"의 차이

  • 요리에 대해 잘 아는 사람 (전문가) 은 2 단계 방식에서 AI 를 더 잘 믿었습니다.
  • 하지만 요리에 대해 잘 모르는 사람 (초보자) 은 2 단계 방식에서 오히려 AI 를 덜 믿었습니다.
  • 즉, 사용자의 지식 수준에 따라 AI 와의 상호작용 방식이 달라져야 합니다.

💡 결론: 우리가 배워야 할 점

이 연구는 우리에게 다음과 같은 중요한 메시지를 줍니다.

  1. 하나의 해법은 없습니다: "무조건 먼저 생각하게 하라"거나 "무조건 이유를 설명하라"는 식의 만능 해결책은 없습니다. 상황과 사용자의 지식 수준에 따라 방법이 달라져야 합니다.
  2. 말과 행동을 구분하라: AI 시스템을 만들 때, 사용자가 "믿는다"고 말하는지 (설문) 만 보지 말고, 실제로 AI 의 말을 따르는지 (행동) 도 꼭 확인해야 합니다.
  3. 과신에 주의하라: AI 가 조언을 줄 때, 우리가 너무 쉽게 그 말을 믿지 않도록 (특히 AI 가 틀렸을 때), 시스템 설계가 더 신중해야 합니다.

한 줄 요약:

"AI 를 믿는다는 건 단순히 '좋다'고 말하는 게 아니라, 언제 믿고 언제 거절할지 아는 것입니다. 그리고 그걸 결정하는 방식은 사람마다, 상황마다 달라야 합니다."