Conceptualising and Measuring Epistemic Dependence in AI-Mediated Learning: Development and Initial Validation of the ED-AIL Scale

당신의 뇌를 활기찬 건설 현장이라고 상상해 보세요. 수 세기 동안 노동자들(당신)은 교과서, 교사, 도서관, 친구와 같이 신뢰할 수 있는 아이템들로 채워진 도구 상자에 의존해 왔습니다. 이것이 과학자들이 말하는 '인식론적 의존성(epistemic dependence)'입니다. 우리가 세상에 대한 이해를 구축하기 위해 모두가 도움이 필요하다는 것을 멋지게 표현한 말이죠. 이것은 나쁜 것이 아닙니다. 사실, 이것이 우리가 배우는 방식입니다. 하지만 이제, 이 현장에 믿을 수 없을 정도로 빠르고 매우 수다스러운 로봇 하나가 도착했습니다. 생성형 인공지능(GenAI)으로 구동되는 이 로봇은 단순히 당신에게 망치를 건네주는 것에 그치지 않습니다. 그것은 설계도를 쓰고, 시멘트를 배합하며, 심지어 당신의 벽이 수직인지까지 알려줄 수 있습니다. 큰 문제는 로봇이 유용한가 하는 점이 아닙니다—그것은 분명히 유용합니다. 진짜 걱정은 이겁니다: 우리가 어느 시점에서 로봇의 작업을 확인하는 것을 멈추고, 그냥 로봇이 모든 것을 운영하도록 내버려 두게 될 것인가 하는 점입니다. 이것이 바로 '비판적이지 않은 인식론적 의존성(uncritical epistemic dependence)'의 영역입니다. 여기서 우리는 로봇이 단지 추측하고 있을 뿐일 때조차도 로봇이 항상 옳다고 믿기 시작하고, 사실을 검증하기 위해 자신의 뇌를 사용하는 것을 멈출 수도 있습니다.

이 논문은 우리가 얼마나 그 로봇이 우리의 사고를 장악하도록 내버려 두는지 정확하게 측정하는 자를 만드는 것에 관한 것입니다. 연구자들인 이란 두(Yiran Du)와 주빈(Bin Zou)은 'ED-AIL 척도'라는 새로운 도구를 만들었습니다. 이것을 '뇌 오프로딩 탐지기(Brain-Offloading Detector)'라고 생각하세요. 그들은 단순히 "AI를 사용합니까?"라고 묻지 않았습니다. 계산기를 사용하는 것이 수학을 하는 법을 잊었다는 뜻은 아니기 때문입니다. 대신 그들은 "당신은 사실이 무엇인지, 어려운 개념이 무엇을 의미하는지, 혹은 당신의 답이 충분히 괜찮은지를 스스로 재확인하지 않고 AI가 결정하게 둡니까?"라고 물었습니다. 그들은 영국, 미국, 유럽의 대학생 약 1,550명을 대상으로 이 자를 테스트했습니다. 결과는 이 자가 학생들이 AI에게 연구, 거대 개념에 대한 이해, 그리고 정답 여부에 대한 판단을 맡기는 순간을 포착하는 데 꽤 잘 작동한다는 것을 시사합니다. 하지만 이 자는 학생들이 다음에 무엇을 공부할지 또는 학습 계획을 어떻게 세울지를 AI가 결정하게 두는지를 측정하는 데 있어서는 다소 흔들립니다. 이 연구는 이러한 '로봇의 장악'이 실재하며 측정 가능한 현상임을 확인해주지만, 동시에 우리가 이 자를 개인 학생을 처벌하거나 AI를 사용하는 것이 항상 나쁘다고 말하는 데 사용해서는 안 된다고 경고합니다. 이것은 문제를 이해하기 위한 도구이지, 하룻밤 사이에 해결할 마법 지팡이가 아닙니다.

"뇌 오프로딩 탐지기" 이야기

문제: 로봇이 주인이 될 때
당신이 이야기를 쓰고 있다고 상상해 보세요. 당신은 초지능 로봇에게 아이디어를 요청합니다. 만약 당신이 그 아이디어를 가져와서, 수정하고, 말이 되는지 확인한 다음, 당신만의 버전으로 쓴다면, 그것은 유능한 부조종사를 두는 것과 같습니다. 하지만 만약 로봇이 이야기 전체를 쓰고, 당신은 그것을 그냥 복사해서 붙여넣기만 하며, "잠깐, 이게 실제로 사실인가?" 혹은 "이게 말이 되나?"라고 결코 묻지 않는다면, 당신은 운전대를 넘겨준 것입니다. 저자들은 이를 '비판적이지 않은 인식론적 의존성'이라고 부릅니다. 이것은 당신이 로봇을 얼마나 자주 사용하는지에 관한 것이 아닙니다. 그것은 당신이 정신적인 힘든 일을 하는 것을 멈추느냐에 관한 것입니다.

연구자들은 기존의 도구들이 이 특정한 문제를 잡아낼 수 없다는 점을 발견했습니다. 어떤 도구들은 당신이 로봇을 얼마나 '신뢰'하는지를 측정하고, 어떤 것들은 얼마나 자주 사용하는지를 측정하며, 또 다른 것들은 로봇에 대해 얼마나 알고 있는지를 측정합니다. 하지만 그 어떤 것도 당신이 스스로 생각하기를 멈추고 로봇의 출력을 최종적인 진리로 받아들이는 그 순간을 측정하지 못했습니다.

자 만들기 (ED-AIL 척도)
이를 해결하기 위해 팀은 23개의 질문으로 구성된 새로운 척도를 만들었습니다. 그들은 61개의 질문으로 시작하여, 전문가와 학생들에게 질문을 소리 내어 읽게 하여 의미가 통하는지 확인하는 과정을 통해 질문을 줄여나갔습니다. 최종적인 자는 학생들이 로봇에게 주도권을 넘겨줄 수 있는 다섯 가지 구체적인 방식을 측정합니다:

1. 지식 습득 ( "검색"의 함정): 로봇이 요약을 제공하면 다른 출처를 찾는 것을 멈춥니까? (예: "AI 개요를 읽은 후, 나는 종종 그것에 도전하거나 확장할 수 있는 다른 출처를 찾는 것을 멈춘다.")
2. 개념적 해석 ( "의미"의 함정): 어려운 아이디어에 대한 로봇의 설명을 유일한 진리로 받아들입니까? (예: "내 해석이 AI의 설명과 다를 경우, 나는 보통 AI 버전 쪽으로 나의 이해를 수정한다.")
3. 인식론적 평가 ( "판단"의 함정): 당신의 답이 맞는지, 혹은 출처가 신뢰할 만한지를 로봇이 결정하게 둡니까? (예: "AI가 어떤 논거가 약하다고 말하면, 나는 직접 확인하기 전에 보통 그것을 약하다고 취급한다.")
4. 지식 생산 ( "작가"의 함정): 로봇의 개요나 문구가 당신의 글쓰기를 좌우하게 둡니까? (예: "AI가 생성한 개요는 종종 내 학술 작업의 구조를 결정한다.")
5. 인식론적 조절 ( "플래너"의 함정): 다음에 무엇을 공부해야 할지, 혹은 충분히 배웠는지 로봇이 결정하게 둡니까? (예: "나는 내가 충분히 이해했는지 결정하기 위해 AI를 사용한다.")

자(Ruler)가 찾아낸 것
연구자들은 이 자를 두 개의 큰 학생 집단에 대해 테스트했습니다. 여기서 그들이 발견한 것은 다음과 같습니다:

• 강점: 이 자는 처음 세 영역, 즉 정보 찾기, 개념 이해, 그리고 답변 판단에 대해 매우 잘 작동했습니다. 학생들의 답변은 일관적이었으며, 질문들은 측정하고자 하는 바를 명확하게 측정했습니다.
• 취약점: 이 자는 마지막 두 영역, 특히 '인식론적 조절'(계획)에 대해서는 덜 신뢰할 수 있었습니다. 이 부분의 질문들은 다른 부분만큼 긴밀하게 결합되지 않았습니다. 저자들은 이것이 학습을 계획하는 것이 매우 크고 복잡한 과업이기 때문이며, 현재의 질문들이 아직 그것을 완벽하게 포착하지 못했을 수 있다고 제안합니다.
• "로봇 vs 인간" 체크: 이 자가 단순히 학생들이 로봇을 얼마나 좋아하는지를 측정하는 것이 아님을 확인하기 위해, 그들은 다른 테스트들과 비교했습니다. 그들은 이 자에서 높은 점수를 받은 학생들이 실제로 출처를 확인하거나 로봇의 오류를 잡아내는 경향이 적다는 것을 발견했습니다. 그러나 그 연결 고리가 아주 강력하지는 않았는데, 이는 이 자가 특정한 태도를 측정하는 것이지, 반드시 학생이 실제 생활에서 수행하는 특정 과업의 능력을 측정하는 것은 아님을 의미합니다.

이 자가 측정하지 '않는' 것
이 연구가 무엇을 찾아내지 '못했는지'를 이해하는 것이 매우 중요합니다. 저자들은 매우 명확하게 밝히고 있습니다:

• 이것은 거짓말 탐지기가 아닙니다: 이 척도를 특정 학생의 학업 부정행위나 '의존성'을 비난하는 데 사용할 수 없습니다. 이것은 연구 도구이지 법정 증거가 아닙니다.
• 이것은 AI 금지가 아닙니다: 이 연구는 AI 사용이 나쁘다고 말하지 않습니다. '비판적이지 않은' 의존성이 위험하다고 말하는 것입니다. 학생은 매일 AI를 사용하면서도 자신의 작업을 확인할 수 있습니다. 이 척도는 확인을 하지 않는 학생들을 측정합니다.
• 이것은 최종 판결이 아닙니다: 저자들은 자신들의 '플래너' 섹션이 불안정하며 더 많은 작업이 필요함을 인정합니다. 또한 그들의 연구가 영어 사용자들을 대상으로 온라인에서 진행되었으므로, 이 자가 다른 국가의 학생들이나 공학이나 예술 같은 다른 분야의 학생들에게도 동일하게 작동할지는 알 수 없다고 언급합니다.

이것이 왜 중요한가
이 연구는 교육자와 연구자들에게 AI에 대해 이야기할 수 있는 새로운 방법을 제공합니다. 단순히 "학생들이 AI를 너무 많이 사용한다"라고 말하는 대신, 이제 우리는 "학생들이 AI가 자신의 생각을 대신하게 내버 de 두고 있는가?"라고 물을 수 있습니다. 저자들은 만약 학교가 돕고자 한다면, 단순히 로봇을 금지해서는 안 된다고 제안합니다. 대신, 학생들이 로봇의 작업을 확인하고, 출처를 비교하며, 왜 자신이 AI와 동의하거나 반대하는지를 설명하도록 강제하는 과제를 설계해야 합니다.

요컨대, ED-AIL 척도는 새로운 영토를 향한 지도의 초안입니다. 그것은 '비판적이지 않은 의존성'의 절벽이 어디에 있을 수 있는지를 보여주지만, 그 지도가 아직 완벽하지 않다고 경고합니다. 우리는 학습의 미래를 안내하기 위해 이 지도를 계속 그려나가고, 테스트하고, 다듬어야 합니다.