기술 요약: AI의 조언이 "모름"이라고 말하려는 의지를 억제함

문제 제기

인간의 판단은 지식이 불충분할 때 불확실성을 인식하고 판단을 유보하는(즉, "모른다"라고 말하는) 메타인지 능력에 근본적으로 의존한다. 이러한 능력은 잘못된 믿음에 대한 방어 기제이며, 교정된 추론(calibrated reasoning)을 위한 전제 조건이다. 그러나 대규모 언어 모델(LLM)은 거의 모든 질문에 대해 유창하고 즉각적인 답변을 제공하도록 설계되었으며, 불확실성을 인정하는 데 매우 인색하다.

본 연구가 다루는 핵심적인 경험적 질문은 AI가 생성한 답변의 단순한 가용성이 불확실성 하에서 답변하려는 인간의 결정 기준을 변화시키는지 여부이다. 구체적으로, AI의 조언에 접근할 수 있다는 사실이 개인으로 하여금 자신의 불확실성을 무시하고, 원래라면 판단을 유보했을 답변에 대해서도 확언하게 만드는가? 기존 문헌은 인지적 오프로딩(cognitive offloading), 기술 저하(deskilling), 그리고 에이전시의 침식(erosion of agency)을 조사해 왔으며, "인지적 항복(cognitive surrender)"(Shaw & Nave, 2026)이라는 개념은 사람들이 AI가 틀렸을 때조차 AI에 의존할 수 있음을 시사한다. 그러나 이전 연구들은 AI에 대한 의존을 정확한 도구에 대한 합리적 위임과 혼동하여, '판단을 유보하려는 의지' 자체를 주요 결과 변수로 분리하여 고찰하지 않았다.

연구 방법론

저자들은 AI의 가용성을 그 정확성과 분리하여 고찰하기 위해 총 5개의 실험(총 $N = 3,132$; 4개는 사전 등록됨, 1개는 직접 재현 실험)을 수행하였다.

실험 설계 및 자극물:

• 과업: 참가자들은 영화의 미세한 시각적 디테일(예: 이름 없는 애니메이션 속 거북이의 색상, 특정 영화 장면의 차량 등)에 관한 6개의 어려운 질문에 답했다.
• AI 엔지니어링: 질문들은 LLM의 환각(hallucination)을 유도하도록 특별히 선정되었다. 주요 모델로 사용된 Step 3.5 Flash는 이 질문들에 대해 예외 없이 거의 항상 틀린 답을 내놓았다. 최신 모델들(GPT-5.5, Claude 4.6 Sonnet, Gemini 3.5 Flash) 또한 가장 어려운 문항들에서 실패했다. 이러한 설계는 AI의 조언을 따르는 것이 비합리적이도록 보장함으로써, 연구자들이 단순한 '합리적 위임'이 아닌 'AI 출력에 대한 경향성'을 측정할 수 있게 하였다.
• 조건:
  • AI 접근성: 참가자들은 능동적으로 AI 조언을 요청하거나(연구 1a–3), 선택권 없이 자동으로 AI 조언을 받거나(연구 4) 할 수 있었다.
  • 보상(Stakes): 연구 2–4에서는 금전적 인센티브가 도입되었다. 참가자는 정답 시 \0.10를 얻고, 오답 시 \0.10를 잃으며, 판단을 유보할 경우 $0를 받는다.
  • 재현 통제: 연구 1b는 시스템 오류를 배제하기 위해 미리 생성된 틀린 AI 응답을 사용했다. 연구 3은 매 질문 전마다 보상을 상기시켜 인센티브의 중요성을 높였으며, 추측 프라이밍을 방지하기 위해 확신도 산출 과정을 제거했다. 연구 4는 참가자의 통제권을 제거하여 AI 조언이 자동으로 표시되게 했다.

측정 항목:

• 판단 유보(Judgment Suspension): 주요 종속 변수는 참가자가 명시적으로 답변을 유보한(예: "모름", 빈칸 응답) 질문의 비율로 정의되었다.
• 이차 측정 항목: 정답률, 자기 보고식 확신도(연구 2), AI 조언 요청 빈도.

주요 결과

1. 판단 유보의 억제
AI 조언의 단순한 가용성은 AI가 체계적으로 틀린 답변을 내놓을 때조차 참가자들의 판단 유보 의지를 거의 완전히 제거했다.

• 연구 1a/1b: 기본 상태(AI 없음)에서 유보율은 각각 36%와 44%였다. AI 접근이 가능해지자 이 비율은 6%와 3%로 급락했다.
• 연구 2–4: 이 효과는 후속 연구 전반에서 지속되었다. 연구 3에서 유보율은 AI가 없을 때 32%에서, AI가 있을 때(보상 없음) 2%로, 그리고 AI가 있을 때(보상 있음) 8%로 떨어졌다.
• 자동 vs. 능동: 이 효과는 AI 조언이 자동으로 제시될 때도 유지되었으며(연구 4), 이는 유창한 답변의 존재 자체가 답변 여부를 결정하는 데 영향을 미치기에 충분함을 시사한다.

2. 금전적 인센티브의 역할
금전적 인센티브(정답 보상/오답 벌칙)는 독립적이지만 제한적인 효과를 보였다:

• 유보에 미치는 영향: 인센티브는 유보율을 미미하게 증가시켰으나(예: 연구 3의 AI 조건에서 2%에서 8%로), 유보율은 AI가 없을 때의 수준보다 훨씬 낮았다. 사전 등록된 가설과 달리, AI 가용성과 인센티브 사이의 유의미한 상호작용은 없었으며, 두 요인은 대체로 독립적으로 작용했다.
• 정확도에 미치는 영향: 인센티브는 정확도를 유의미하게 향상시켰으나, 이는 오직 AI가 존재할 때만 그러했다. AI가 없을 때는 인센티브가 정확도에 유의미한 변화를 주지 못했다. 이는 인센티브가 참가자들로 하여금 단순히 성능을 높이는 것이 아니라, AI의 조언을 거부하도록 동기 부여했음을 시사한다.
• AI 의존도에 미치는 영향: 참가자들은 인센티브가 있을 때 AI 조언을 덜 자주 요청했다(연구 3의 5.27회 대비 4.53회). 이는 경제적 결과가 도구에 대한 의존도를 낮춘다는 것을 나타낸다.

3. 확신도와 정확도의 괴리
AI 조언에 대한 접근은 확신도와 정확도 사이의 극명한 괴리를 만들어냈다:

• 확신도: AI 접근은 보고된 확신도를 거의 두 배로 높였다(예: 연구 2에서 보상이 없을 때 약 30%에서 76%로).
• 정확도: 참가자들은 더 많은 질문에 답했지만, AI가 없을 때보다 정답률은 약 1/3 수준에 불과했다(통합 정답률: AI가 있을 때 약 9% vs. AI가 없을 때(보상 없음 조건) 약 27%).
• 상호작용: 인센티브는 AI가 없을 때만 확신도를 높였다. AI가 있을 때는 인센티브와 상관없이 확신도가 높게 유지되었다.

주요 기여

1. 메타인지적 변화의 격리: 본 연구는 AI 가용성이 단순히 답변의 내용뿐만 아니라, 답변 여부를 결정하는 메타인지적 임계값을 변화시킨다는 것을 입증한다. 이는 유창한 답변의 존재가 추측을 확언하는 데 따르는 비용을 낮추는 "인지적 항복"을 드러낸다.
2. 의존도와 정확도의 분리: 연구진은 질문을 설계하여 AI가 확실히 틀리도록 만듦으로써, 이러한 현상이 합리적인 역할 분담이 아니라 그럴듯해 보이는 출력에 굴복하는 행동적 경향임을 보여주었다.
3. 인센티브의 한계: 연구는 금전적 이해관계가 독립적 판단을 일부 회복시키고 AI 의존도를 낮출 수는 있지만, 판단 유보 의지에 미치는 AI의 억제 효과를 완전히 상쇄하지는 못한다는 것을 보여준다.
4. 자동 vs. 능동적 영향: 이 효과는 AI 조언이 요청되지 않은 자동 방식일 때도 지속되며, 이는 AI 요약과 제안이 기본 설정으로 사용자 인터페이스에 통합되는 현실 세계의 시나리오에 대한 위험성을 강조한다.

의의 및 주장

저자들은 이러한 발견이 AI 보조가 사람들이 내놓는 답변뿐만 아니라, 불확실성 하에서 답변을 할 것인가라는 근본적인 결정에도 영향을 미친다는 점을 시사한다고 주장한다. 유창한 답변에 대한 "끌림"은 작은 금전적 인센티브를 견뎌낼 만큼 강력해 보인다.

본 논문은 이 현상을 에피스테미아(epistemia), 즉 검증보다는 표면적인 그럴듯함과 통사적 일관성에 기반하여 AI 출력을 수용하려는 경향으로 설명할 수 있다고 본다. 독립적 판단을 보호하기 위해 조언의 비중을 낮게 두는 인간 조언자와 달리, 참가자들은 AI 조언을 과도하게 수용하여 잠재적인 정답을 오류로 전환했다.

결론적으로, AI 생성 답변이 보편화되고 요청하지 않아도 제공되는 환경에서, "모른다"라고 말하려는 의지는 인간-AI 상호작용에서 가장 먼저 희생될 요소 중 하나가 될 수 있다. 이 연구의 의의는 인간의 판단 능력을 보존하는 것이 AI를 더 정확하게 만드는 것보다, 자신의 지식 한계를 인식하고 행동하려는 준비를 유지하는 데 달려 있음을 관찰한 데 있다. 본 연구는 AI가 판단 능력을 제거한다고 주장하는 것이 아니라, 불확실성 하에서 그 능력을 발휘하려는 의지를 급격히 감소시킨다고 주장한다.