Who Answers for AI? Epistemic Visibility, Responsibility, and Error Repair in Collaborative Learning

현대의 교실과 현대의 직장에서, 그룹은 종종 지식을 모아 함께 문제를 해결합니다. 이 과정은 미묘한 사회적 합의에 의존합니다. 즉, 누군가 아이디어를 제안할 때, 그룹은 그 아이디어가 어디에서 왔는지, 어떻게 형성되었는지, 그리고 그 정확성을 확인하는 책임이 누구에게 있는지를 알아야 합니다. 이것이 협동 학습의 기초이며, 여기서 목표는 단순히 정보를 공유하는 것이 아니라, 단 한 사람이 혼자서는 만들어낼 수 없는 공유된 이해를 구축하는 것입니다. 그러나 인공지능이라는 새로운 층위가 이 역동성에 추가되었습니다. 학생이나 직원이 AI 도구를 사용하여 답변을 생성할 때, 그들은 중대한 선택에 직면합니다. 그들은 기계가 만들어냈다는 사실을 숨긴 채, 그 아이디어를 단순한 제안으로서 그룹에 가져올 수 있습니다. 또는 질문 내용, 생성된 가공되지 않은 답변, 그리고 수행된 편집 과정을 모두 보여줌으로써 그 아이디어의 전체 이력을 공개할 수도 있습니다. 이러한 차이는 그룹이 보는 것과 실제로 일어난 일 사이의 간극을 만듭니다. 문제는 AI가 도움이 되느냐가 아니라, AI의 기여도가 가시화되는 방식이 사람들이 함께 일할 때 신뢰하고, 논쟁하고, 실수를 바로잡는 방식을 어떻게 변화시키느냐 하는 것입니다.

유니버시티 칼리지 런던(UCL)의 한 연구자는 대학원생들이 그룹 내에서 어떻게 작업하는지를 관찰하며 이 간극을 탐구하고자 했습니다. 연구자는 단순히 학생들에게 AI에 대해 어떻게 생각하는지 묻는 대신, 그들이 작업하는 모습을 실시간으로 지켜보았습니다. 연구자는 48명의 학생을 12개 그룹으로 나누고 그들에게 복잡한 과제를 부여했습니다: 과학 및 수학 교육의 불평등을 해결하기 위한 교육적 개입 방안을 설계하는 것이었습니다. 가시성이 어떻게 중요한지 확인하기 위해, 학생들은 세 가지 다른 방식으로 AI를 사용하는 과정을 거쳤습니다. 첫 번째 시나리오에서, 학생은 개인적으로 AI를 사용할 수 있었습니다. 그들은 질문을 입력하고, 답변을 얻고, 이를 편집한 뒤, 다른 누구도 그 과정을 볼 수 없게 최종 결과물만을 그룹 문서에 붙여넣을 수 있었습니다. 두 번째 시나리오에서, 학생은 여전히 자신의 개인 AI 도구를 사용했지만, 화면의 특별한 패널을 통해 나머지 그룹 구성원들에게 무엇이 입력되었는지, 기계가 무엇이라고 말했는지, 그리고 학생이 그것을 어떻게 수정했는지를 정확히 보여주었습니다. 세 번째 시나리오에서는 그룹 전체가 하나의 AI 도구를 함께 사용하며, 모든 사람이 질문과 답변이 발생하는 과정을 볼 수 있었습니다.

연구자는 학생들이 하는 모든 말, 입력하는 모든 키스트로크, 그리고 문서에 가하는 모든 변경 사항을 기록했습니다. 또한 AI가 틀리거나 오해의 소지가 있는 답변을 주도록 프로그래밍된 특정 순간들을 도입하여, 그룹이 어떻게 반응하는지 관찰했습니다. 연구자는 그룹이 실수를 잡아낼 것인지, 누가 이를 수정할 책임을 느낄 것인지, 그리고 모두가 AI의 작업물을 볼 수 있을 때 최종 결과물이 더 나아질 것인지를 알고 싶었습니다.

연구 결과, AI의 작업이 숨겨졌을 때 그룹의 역동성은 학습 효과를 떨어뜨리는 방향으로 변화했습니다. 학생이 비공개적이고 불투명한 AI를 사용할 때, 그들은 종합적인 정보의 유일한 문지기가 되는 경우가 많았습니다. 그들은 정제된 아이디어를 그룹에 가져왔고, 다른 구성원들은 기계의 원래 출력물이나 그 과정에 이르게 된 질문들을 볼 수 없었기 때문에, 그 아이디어를 마치 학생으로부터 직접 나온 것처럼 취급했습니다. 이는 AI를 통제하는 학생이 그룹이 알게 될 지식을 결정할 모든 권력을 쥐게 되는 상황을 만들었습니다. 만약 AI가 실수를 저지르면, 다른 학생들은 그 작업을 검증해야 할 필요성을 깨닫지 못하는 경우가 많았습니다. 그들은 학생이 이미 검증했을 것이라고 가정하거나, 단순히 유창하게 들리는 답변을 아무 의문 없이 받아들였습니다. 아이디어에 대한 책임은 조용히 개인 학생에게로 옮겨갔다가, 결국에는 누구도 그 주장에 대해 진정으로 책로를 갖지 못한 채 완전히 사라져 버렸습니다.

AI의 작업이 가시화되었을 때, 그룹의 행동은 극적으로 변했습니다. 학생들이 자신의 AI를 사용하되 그 전체 이력을 그룹에 보여주는 조건에서, 역동성은 훨씬 더 균형 잡힌 모습이 되었습니다. 다른 구성원들은 기계가 무엇이라고 말했는지, 그리고 학생이 그것을 어떻게 편집했는지를 정확히 볼 수 있었습니다. 이러한 투명성은 그룹이 하나의 '검사팀'처럼 행동할 수 있게 해주었습니다. 그들은 "왜 AI에게 그렇게 물어봤나요?"라거나 "기계는 이렇게 말했는데, 왜 이 부분은 당신이 이렇게 고쳤나요?"와 같은 질문을 던질 수 있었습니다. 이러한 가시성은 AI를 블랙박스에서 그룹이 함께 조사할 수 있는 공유된 대상으로 바꾸어 놓았습니다. 학생들은 AI의 제안에 더 적극적으로 이의를 제기하고, 사실을 검증하며, 오류가 발생했을 때 이를 바로잡았습니다. 그룹은 단순히 출력을 수용하는 것이 아니라, 무엇이 신뢰할 수 있고 무엇이 더 보완되어야 하는지를 함께 결정하며 프로세스를 능동적으로 규제했습니다.

흥미롭게도, 연구는 모두가 동시에 같은 도구를 사용하는 공유 AI 작업 공간이 추적 가능한 개인 AI를 사용하는 것보다 항상 더 나은 결과를 낳는 것은 아니라는 점을 발견했습니다. 공유 작업 공간은 AI의 출력을 공개적으로 만들었지만, 그것이 반드시 동일한 수준의 비판적 검토를 장려하지는 않았습니다. 핵심 요인은 단순히 모두가 화면을 볼 수 있느냐가 아니라, 단일 학생이 기계와 상호작용하는 구체적인 경로를 볼 수 있느냐였습니다. 초기 질문부터 최종 편집된 문장에 이르기까지, 주장의 이력을 추적할 수 있는 능력은 그룹이 정직함을 유지하게 만드는 가장 강력한 도구인 듯 보였습니다.

연구자는 또한 AI가 틀린 답을 주었을 때 그룹이 어떻게 대처하는지도 살펴보았습니다. 숨겨진 조건에서는 이러한 오류들이 실제 토론 없이 최종 프로젝트에 그대로 포함되거나, 타당성에 대한 실질적인 논쟁 없이 수용되었습니다. 반면 가시적인 조건에서 오류는 협업을 촉발하는 계기가 되었습니다. 그룹은 잠시 멈추어 차이점을 논의하고, 올바른 정보를 찾기 위해 함께 노력했습니다. 이러한 오류를 탐지하고 수정하는 과정은 더 높은 품질의 최종 결과물 및 더 나은 개인별 학습 성과와 연결되었습니다. 가시적인 조건에서 작업한 학생들은 더 나은 결과물을 만들어냈을 뿐만 아니라, 이후 새로운 과제에 배운 내용을 적용하는 능력도 더 강하게 나타났습니다.

이 연구는 그룹 작업에서 AI의 가치가 모든 사람이 기술에 얼마나 많이 접근할 수 있느냐보다는, 그룹이 그 작업을 검사할 수 있는지 여부에 달려 있다는 점을 시사합니다. 지식 생산의 경로가 보이지 않을 때, 책임은 모호해지며 그룹은 스스로의 학습을 규제하는 능력을 상실할 수 있습니다. 그 경로가 보일 때, 그룹은 주체성을 유지하며 AI가 검증되지 않은 권위의 원천이 아닌 탐구를 위한 도구로 기능하도록 보장할 수 있습니다. 연구는 AI가 진정한 학습 파트너가 되기 위해서는, 그룹이 기계의 기여를 보고, 의심하고, 수정할 수 있는 사회적 조건이 갖춰져야 한다고 밝히고 있습니다. 그러한 가시성이 없다면, 그룹은 자신도 모르는 사이에 사고를 외주화할 위험이 있습니다. 가시성이 있다면, 그룹은 인간의 손에 지식에 대한 책임을 쥐어둔 채 AI의 힘을 활용할 수 있습니다.