기술 요약: 채팅을 통한 학습? 생성형 AI가 정보 탐색 및 학습에 미치는 영향 연구

문제 정의

ChatGPT와 같은 생성형 AI(GenAI) 도구의 급격한 도입은 정보 탐색의 패러다임을 검색 기반의 검색(retrieval-based search)에서 대화형 합성(conversational synthesis)으로 변화시키고 있다. 이러한 도구들은 합성 및 추론과 같은 노력이 필요한 과업을 외부 보조 도구로 전가하는 '인지적 오프로딩(cognitive offloading)'을 제공하지만, 특히 비형식적 학습 맥락에서 학습 결과에 미치는 영향에 대한 연구는 여전히 부족한 실정이다. 제도적 가드레일이 없는 비형식적 학습은 사용자가 지속적인 전문성을 구축하는 데 필수적인 인지적 노력을 오프로딩하기 더 쉬운 환경을 조성할 수 있다. 본 연구가 다루는 핵심 문제는 정보 탐색을 GenAI 도구에 오프로딩하는 것이 인간의 주체성을 감소시키고, 정보 접근을 왜곡하며, 궁극적으로 기존 검색 엔진과 비교했을 때 학습 결과를 저해하는지 여부이다.

연구 방법론

저자들은 8일간(주말 제외) 일기 연구 프로토콜을 활용한 피험자 간 종단적 현장 실험을 수행하였다.

• 참가자: Prolific을 통해 중등도의 GenAI 사용량과 해당 주제에 대한 관심을 가진 80명의 참가자를 모집하였다. 일기 연구에서 흔히 발생하는 중도 탈락을 고려하여, 최종 분석 대상은 ChatGPT 조건 14명, Google 조건 21명으로 구성되었다.
• 과업: 참가자들은 "영양 및 식단 계획"을 중심으로 한 비형식적 학습 과업에 참여하였다. 참가자들은 다음 두 가지 조건 중 하나에 배정되었다:
  • ChatGPT 그룹: 정보 탐색을 위해 인기 있는 GenAI 도구를 사용함.
  • Google 그룹: Google 검색을 사용함. 직접적인 GenAI 출력물(특히 'AI 개요')의 유입을 최소 최소화하기 위해, 참가자들은 모든 쿼리에 "-ai"를 붙여 AI 요약 패널을 억제하도록 지시받았다.
• 데이터 수집:
  • 지식 테스트: 학습 결과(기억, 이해, 적용, 평가, 창조)를 측정하기 위해 Bloom의 분류학에 기반한 사전 및 사후 학습 테스트를 실시하였다.
  • 일일 일기 프로토콜: 참가자들은 특정 하위 주제에 대한 정보 탐색 과정(스크린샷 및 설명 포함)과 기타 일상적 필요를 기록한 일일 성찰 보고서를 제출하였다.
• 분석:
  • 정량적 분석: 그룹 간 학습 점수와 정답률을 비교하기 위해 Welch's t-test와 Fisher's exact test를 사용하였다.
  • 정성적 분석: Ellis의 정보 탐색 행동 모델(시작, 체이닝, 브라우징, 차별화, 모니터링, 추출, 검증, 종료)을 분석 프레임워크로 사용하여 일기 기록에 대한 주제 분석을 수행하였다.

주요 연구 결과

1. 학습 결과에 미치는 영향 (RQ1)

전반적인 학습 결과 점수의 차이는 통계적 유의성에 도달하지 못했으나($p=0.069$), ChatGPT 그룹(평균: 11.62)이 Google 그룹(평균: 12.86)보다 낮은 점수를 보이는 명확한 경향성이 나타났다.

• 결정적 학습 결손: 문항 수준 분석 결과, ChatGPT 그룹은 비판적 학습(적용 및 평가)을 요구하는 질문에 정답을 맞힐 확률이 유의미하게 낮았다.
  • 예시 1 (Q8): 영양 성분표 해석. ChatGPT 그룹은 57%를 기록한 반면, Google 그룹은 95%를 기록했다. 질적 데이터에 따르면 ChatGPT 출력물의 시각적 예시 부족이 실제 적용을 방해한 것으로 나타났다.
  • 예시 2 (Q7): 단백질 공급원 비교. ChatGPT 그룹은 21%, Google 그룹은 57%를 기록했다. 이는 ChatGPT가 육류 기반 단백질원에 편향되어 다양한 선택지에 대한 노출을 제한했기 때문인 것으로 분석되었다.

2. 정보 탐색 행동에 미치는 영향 (RQ2)

일기 분석을 통해 ChatGPT 그룹의 정보 접근에서 나타나는 두 가지 주요 왜곡 원인을 확인하였다.

• 주체성 및 탐색 감소:

  • 협소한 쿼리 범위: ChatGPT 사용자는 대화형 인터페이스의 사회적 스키마(social schema)에 의해 영향을 받아, 더 좁고 고도로 구체화된 쿼리로 시작하는 경향이 높았다 (32.65% vs. 3.57% for Google).
  • 차별화 감소: ChatGPT 사용자는 정보 필터링을 위해 거의 전적으로 '개인적 관련성'에 의존한 반면, Google 사용자는 출처의 신뢰성과 정보 유형도 함께 고려하였다.
  • 수동적 추출: ChatGPT 사용자는 근본적이고 원리 중심적인 정보를 추출하는 비율이 낮았으며(66.33% vs. 97.14% for Google), 솔루션 중심의 산출물(예: 식단 계획, 장보기 목록)을 추출하는 경향이 높았다 (46.94% vs. 6.43%).

• 메타 인지 부하 및 왜곡 증가:

  • 검증 공백: ChatGPT 사용자는 정보를 검증하는 경우가 드물었다 (Google의 19.29% 대비 3.06%). 많은 사용자가 검증하려는 '의도'는 표명했으나, 도구의 정확성에 대한 회의감 등을 이유로 실제 검증 행동을 수행하지는 않았다.
  • 좌절감 및 통제력: ChatGPT 그룹은 더 높은 '불만족스러운' 종료율을 보고했다 (12.24% vs. 10.71%). 이러한 불만족은 통제감의 저하, '지시 격차(instruction gap, 예측 불가능한 출력)', 그리고 학습 목표를 유지하기 위해 대화를 관리해야 하는 인지적 부담에서 기인했다.

주요 기여

1. 학습 트레이드오프에 대한 실증적 증거: 본 연구는 정보 탐색을 GenAI 도구에 오프로딩하는 것이 기존 검색에 비해, 특히 고차원적 비판적 학습에서 더 나쁜 학습 결과를 초래할 수 있다는 현장 기반의 증거를 제공한다.
2. 왜곡 메커니즘 규명: 저자들은 정보 접근의 두 가지 구체적인 왜곡 메커니즘을 식별하였다:
   • 출력 편향: GenAI 도구는 지식 노동 생산성에 초점을 맞춘 학습 데이터로 인해, 원리 중심의 지식보다는 솔루션 중심의 산출물을 생성하는 경향이 있다.
   • 행동적 변화: 대화적이고 사회 지향적인 상호작용 패러다임은 의도치 않게 쿼리의 범위를 좁히고 더 넓은 지식 공간에 대한 탐색을 감소시킨다.
3. 주체성 및 메타 인지: 본 연구는 GenAI가 효율성을 높이는 반면, 정보 선택에 대한 사용자의 주체성을 감소시킨다는 점을 강조한다. 이러한 통제력의 상실은 사용자가 학습 목표를 달러하기 위해 AI의 출력을 모니터링하고 조절하는 과정에서 역설적으로 메타 인지 부하를 증가시킨다.

의의 및 주장

본 논문은 AI에 정보 탐색을 오프로딩하는 것과 의미 있는 학습 사이에는 내재적 긴장 관계가 존재한다고 주장한다. 능동적인 정보 필터링에서 수동적인 산출물 수용으로의 전환은 '지식의 착각(illusion of knowledge)'을 일으키고 지속적인 전문성 발달을 저해할 수 있다.

저자들은 생산성과 인지적 오프로딩에 최적화된 현재의 GenAI 설계가 학습의 근본적인 목적(‘어떻게’와 ‘왜’에 대한 원리적 지식 습득)과 어긋나 있다고 주장한다. 따라서 어떤 인지적 하위 프로세스를 오프로딩할지에 대한 사용자에게 모듈형 제어권을 제공하고 메타 인지적 지원을 강화하는 등의 구조적 변화 없이는, GenAI 도구가 인간의 인지와 정보 참여를 체계적으로 왜곡할 위험이 있다고 제언한다. 본 연구는 GenAI를 단순히 효율성 도구로 보는 관점을 넘어, 인간의 인지 및 학습 과정에 미치는 심대한 영향력을 고려해야 함을 시사한다.