Meta-AI literacy and knowledge transfer: Serial mediation through metacognitive regulation and verification behavior in AI-assisted learning

현대적인 교실에 새로운 종류의 튜터가 등장했다. 이 튜터는 결코 잠들지 않으며, 몇 초 만에 에세이를 작성하거나 문제를 해결할 수 있다. 이것이 바로 생성형 인공지능이며, 대학 생활의 일상적인 부분이 된 도구이다. 학생들은 이를 사용하여 읽기 자료를 요약하고, 과제를 초안하며, 결과물을 수정한다. 그러나 이러한 편리함과 함께 조용한 우려도 커지고 있다. 학생이 도움을 받아 훌륭한 논문을 만들어낼 수 있다고 해서, 그것이 실제로 무언가를 배웠다는 의미인가 하는 점이다. 교육자와 연구자들의 핵심 질문은 학생들이 이러한 강력한 도구에 접근할 수 있는지 여부가 아니라, 그들이 도구를 어떻게 활용하느냐 하는 것이다. 완전한 답이 즉각적으로 나타날 때, 개념을 이해하기 위해 필요한 정신적 노력은 통째로 생략될 수 있다. 이를 '인지적 오프로딩(cognitive offloading)'이라고 하는데, 이는 뇌가 외부 자원을 활용해 힘든 작업을 위임하는 현상을 말한다. 위험한 점은 학생이 완벽한 과제물을 제출하면서도, 도구가 꺼지는 순간 해당 자료에 대한 이해를 전혀 보유하지 못할 수도 있다는 것이다.

학습이 이 새로운 환경에서 어떻게 살아남는지 이해하기 위해, 연구자들은 '전이(transfer)'라고 불리는 개념을 살펴본다. 전이는 배운 것을 새로운 상황에 적용하는 능력이다. 여기에는 두 가지 주요 유형이 있다. '근접 전이(near transfer)'는 새로운 문제가 연습했던 문제와 표면적인 세부 사항을 공유하며 매우 유사하게 보일 때 발생한다. '원격 전이(far transfer)'는 훨씬 더 어렵다. 이는 동일한 근본 원리를 표면적으로는 완전히 달라 보이는 문제에 적용하는 것을 요구한다. 원격 전이는 깊은 이해의 진정한 시험대인데, 학습자가 어떤 지식이 관련되어 있는지를 알려주는 익숙한 단서 없이도 문제의 심층 구조를 인식해야 하기 때문이다. 만약 학생이 단순히 정답을 복사한다면, 숙제와 닮은 근접 전이 테스트는 통과할 수 있겠지만, 유연한 사고를 요구하는 새로운 도전 과제에 직면했을 때는 아마도 실패할 것이다.

한 연구팀은 인공지능을 능숙하게 사용하는 학생들이 실제로 어떻게 학습하는지를 조사하기 위해 연구를 시작했다. 그들은 '메타 AI 리터러시(Meta-AI literacy)'라고 불리는 특정 기술 세트에 집중했다. 이는 단순히 프롬프트를 입력하는 법을 아는 것이 아니라, AI가 어떻게 작동하는지 이해하고, 이를 사용하는 법을 알며, AI가 사용되고 있음을 감지하고, 그와 관련된 윤리를 이해하는 것을 포함하는 더 넓은 역량이다. 연구진은 이러한 기술을 갖추는 것이 자동으로 더 나은 학습으로 이어지는지, 아니면 그 사이에 다른 무언가가 있어야 하는지를 알고 싶어 했다. 그들은 그 핵심이 학생의 행동에 있다고 의심했다. 구체적으로, 그들은 학생들이 AI의 출력을 다른 출처와 대조하여 확인하는지, 즉 '검증(verification)'이라는 행동을 하는지를 살펴보았다. 또한 학생들의 계획 수립과 자신의 이해도를 모니터링하는 과정인 '메타인지적 조절(metacognitive regulation)'도 조사했다.

이 연구는 인문학, 공학, 과학 등 다양한 전공의 대학생 483명을 대상으로 진행되었다. 학생들은 AI 도구를 사용하여 학습 과제를 수행하도록 요청받았다. 이 과정 동안 연구진은 학생들이 무엇을 했다고 말하는 것에 의존하지 않고, 대신 학생들이 도구와 주고받은 모든 상호작관을 기록했다. 그들은 학생들이 주장의 출처를 확인하기 위해 얼마나 자주 되돌아가는지, 서로 다른 출처를 비교하는지, 증거를 추적하는지, 그리고 오류를 수정하는지를 기록했다. 이는 검증 행동에 대한 명확하고 객적인 그림을 제공했다. 학습 단계가 끝난 후, AI 도구는 꺼졌고 학생들은 자신이 무엇을 배웠는지 확인하기 위한 테스트를 치렀다. 테스트에는 학습 과제와 유사한 질문들(근접 전이)과, 동일한 원리를 완전히 다른 낯선 시나리오에 적용하는 질문들(원격 전이)이 포함되었다.

결과는 AI와 함께 학습이 어떻게 일어나는지에 대한 놀라운 진실을 드러냈다. 연구진은 높은 메타 AI 리터러시를 갖추는 것 자체가 직접적으로 더 나은 테스트 점수로 이어지지는 않는다는 것을 발견했다. 학생은 AI와 그 윤리에 대해 매우 해박할 수 있지만, 그 기술을 올바른 방식으로 사용하지 않는다면 여전히 학습에 실패할 수 있다. 대신, 학습으로 가는 길은 일련의 사건 체인과 같았다. 첫째, 메타 AI 리터러시가 높은 학생들은 메타인지적 조절을 할 가능성이 더 높았다. 그들은 작업하는 동안 접근 방식을 계획하고 자신의 이해도를 모니터링했다. 둘째, 이러한 세심한 계획은 그들을 AI의 출력을 검증하는 행동으로 이끌었다. 그들은 답을 확인하고, 오류를 찾아내며, 정보를 다른 출처와 비교했다. 마지막으로, 바로 이 검증 행위가 테스트 성적을 직접적으로 예측했다.

가장 눈에 띄는 발견은 근접 전이와 원격 전이의 차이에 관한 것이었다. AI의 작업을 검증하는 행위는 어려운 원격 전이 문제에서의 성공을 예측하는 강력한 변수였다. 사실, 검증과 익숙한 문제를 푸는 것 사이의 연결 고리보다, 검증과 낯선 문제를 푸는 것 사이의 연결 고리가 거의 4배나 더 강했다. 이는 학생들이 답을 검증할 때, 표면적인 해결책을 단순히 수용하는 것이 아니라 근본적인 추론 과정에 다시 참여하게 된다는 것을 시사한다. 이러한 노력 집약적인 처리가 바로 그들이 문제의 심층 구조를 이해하도록 돕는 것이며, 이는 지식을 새로운 상황에 적용하는 데 필수적이다. 즉, 검증을 통해 지식은 단순한 표면적 이해를 넘어 깊어지는 것이다. 검증 없이는 학습이 얕고 취약하게 남게 된다.

또한 연구는 메타인지적 조절이 그 자체만으로는 원격 전이로 직접 이어지지 않는다는 것을 보여주었다. 그것은 검증이라는 구체적인 행동으로 나타날 때만 도움이 되었다. 이는 좋은 계획이나 비판적 사고방식을 갖는 것만으로는 충분하지 않으며, 그러한 내부적 사고가 확인하고 수정하는 외부적 행동으로 번역되어야 함을 의미한다. 연구진은 검증 행동이 학생들이 지식을 새로운 문제로 전이하는 능력의 차이를 상당 부분 설명한다는 것을 발견했다. 모델에 따르면, AI 리터러시의 이점은 지식 그 자체에서 오는 것이 아니라, 그 지식을 사용하여 도구의 출력을 의심하고 검증하는 습관에서 온다.

이러한 발견은 인공지능 시대에 성공적인 학습과 수동적 소비를 가르는 기준이 무엇인지 명확한 그림을 제시한다. AI를 효과적으로 사용하는 능력은 학습을 보장하는 마법의 스위치가 아니다. 대신, 그것은 학생이 정보를 능동적으로 검증하는 특정한 행동을 유발할 때만 학습을 지원하는 도구이다. 학생들이 AI의 작업을 확인할 때, 그들은 단순히 정확성을 확인하는 것이 아니라, 복잡한 원리를 이해하기 위해 필요한 깊은 정신적 작업을 수행하고 있는 것이다. 이러한 행동은 특히 표면적인 기술이 통하지 않는 낯선 문제에 지식을 적용해야 할 때 매우 중요하다. 이 연구는 AI와 함께하는 교육의 미래가 학생들에게 기술 자체에 대해 더 많이 가르치는 것이 아니라, 받은 답변을 확인하고, 의심하고, 검증하도록 요구하는 과제를 설계하여, 수동적인 상호작용을 능동적인 학습 경험으로 전환하는 데 있을지도 모른다고 시사한다.