From Agent Labels to Accountable Deployment: Evidence Maturity and Meaningful Human Oversight for Agentic AI in Higher Education

고등 교육은 조용하지만 중대한 전환점에 서 있습니다. 수년 동안 교실 내 인공지능은 매우 빠르고 박식한 사서와 같은 역할을 해왔습니다. 학생이 질문을 하면 시스템이 답변을 제공하는 방식입니다. 만약 답변이 틀렸다면, 학생은 단순히 다시 질문하거나 다른 출처를 확인하면 그만이었습니다. 그 위험은 일시적인 혼란에 국한되었습니다. 하지만 이제 단순히 대화하는 것을 넘어 무언가를 '수행'할 수 있는 새로운 세대의 소프트웨어가 등장하기 시작했습니다. 흔히 "에이전틱(agentic)" 인공지능이라 불리는 이 시스템들은 행동할 수 있습니다. 이들은 큰 목표를 작은 단계로 나누고, 어떤 도구를 사용할지 선택하며, 다양한 곳에서 정보를 수집한 다음, 지속적인 인간의 지시 없이도 계획을 실행할 수 있습니다. 학생을 위해 에세이를 써주는 것에 그치지 않고, 에세이를 초안하고, 출처를 확인하고, 성적 포털에 제출한 뒤, 수행된 작업의 요약본을 교수에게 이메일로 보내는 시스템을 상상해 보십시오. 질문에 답하는 것에서 행동을 취하는 것으로의 이러한 변화는 위험의 본질을 바꿉니다. 시스템이 말만 할 때는 실수가 단지 틀린 문장에 불과하지만, 시스템이 행동할 때는 실수가 학생의 기록을 변경하거나, 개인 데이터를 노출하거나, 되돌리기 어려운 일련의 사건을 촉발할 수 있습니다.

오늘날 대학들이 직면한 질문은 이 강력한 도구들이 작동하느냐가 아니라, 우리가 이들을 스스로 작동하게 내버려 두어도 될 만큼 충분히 알고 있느냐는 것입니다. 남우랄 주립대학교(South Ural State University)의 연구원 아비셰크 데이(Abhishek Dey)가 작성한 새로운 비판적 검토 논문은 고등 교육 분야에서 이 기술의 현재 상태를 조사합니다. 이 연구는 기술을 고립된 상태로 보는 것이 아니라, 다음과 같은 어려운 윤리적 질문을 던집니다. "우리가 이 시스템들에게 중요한 결정의 열쇠를 넘겨주기 전에, 이들이 안전하고 공정하며 유익하다는 충분한 증거를 가지고 있는가?" 이 검토 논문은 기존의 수십 가지 연구와 보고서를 훑으며 실제 증거가 무엇을 뒷받침하는지, 그리고 어떤 격차가 남아 있는지를 밝혀냅니다. 연구 결과에 따르면, 이러한 시스템이 특정하고 작은 과업들을 개선할 수는 있지만, 학생들의 미래에 관한 주요 결정을 내리도록 허용할 만큼의 증거는 아직 충분히 강력하지 않습니다.

검토는 먼저 무엇을 "에이전트(agent)"로 간주할 것인지 명확히 하는 것으로 시작합니다. 모든 챗봇이나 자동화 도구가 이 설명에 부합하는 것은 아닙니다. 진정한 에이전트로 간주되려면, 시스템은 일련의 행동을 계획하고, 대화의 맥락을 기억하며, 외부 도구를 사용하고, 자신의 작업을 스스로 점검할 수 있어야 합니다. 이 분야의 많은 연구는 이러한 고급 시스템을 단순히 텍스트를 생성하는 더 단순한 시스템과 혼동하고 있습니다. 이러한 혼동은 저자가 "라벨 인플레이션(label inflation)"이라고 부르는 현상을 초래했는데, 이는 모든 자동화 도구가 에이전트로 묘사되는 현상을 의미합니다. 또한, 시스템이 어떻게 보이거나 들리는지에 대한 작은 개선을 학생들의 학습 능력에 대한 실질적인 향상으로 오해하는 "결과 인플레이션(outcome inflation)"을 야기합니다. 검토 결과, 문헌들은 이러한 광범위한 주장들로 가득 차 있지만, 그 증거는 종종 취약한 것으로 나타났습니다. 가장 강력한 증거는 이 시스템들이 학생의 글쓰기에 대한 피드백과 같은 특정 결과물을 얼마나 잘 만들어내는지에 존재합니다. 그러나 학생들이 실제로 더 많이 배우는지, 시스템이 모두를 공정하게 대하는지, 혹은 장기적으로 교사의 업무량을 줄여주는지에 대한 증거는 훨씬 약해집니다.

가장 주목할 만한 발견 중 하나는 가장 유망한 연구들이 대개 전체 이야기를 들려주지 못하는 짧은 단일 사이트 실험이라는 점입니다. 예를 들어, 한 연구는 중학생 과학 수업에 피드백을 주는 시스템을 테스트했습니다. 두 개의 서로 다른 에이전트를 사용하여 서로의 작업을 점검하게 한 이 시스템은 과도한 칭찬을 하거나 사실을 지어내는 횟수를 유의미하게 줄였습니다. 이는 명백한 기술적 성공입니다. 그러나 이 연구는 학생들이 이 피드백 덕분에 실제로 과학을 더 많이 배웠는지, 혹은 교사들이 에이전트의 작업을 검증해야 하는 수고를 덜었는지에 대해서는 보여주지 않았습니다. 또 다른 연구는 대학 입학처에서 지원자들의 질문에 답하기 위해 사용된 시스템을 살펴보았습니다. 이 시스템은 수천 개의 질문에 빠르고 정확하게 답했으며 오류는 거의 없었습니다. 하지만 이것은 2주간의 시험 운용이었습니다. 이 연구는 시스템이 한 학기 전체의 입학 과정을 어떻게 처리할지, 누가 합격할지에 대한 공정성에 어떤 영향을 미칠지, 혹은 프로세스를 관리해야 하는 직원들의 업무량을 어떻게 변화시킬지는 보여주지 못했습니다. 검토는 이러한 시스템들이 기술적으로는 인상적이지만, 우리는 여전히 이들의 실제 세계적 영향력을 이해하는 초기 단계에 있다고 결론짓습니다.

또한 이 검토는 우리가 이러한 시스템을 관리하는 방식에 있어 결정적인 격차를 강조합니다. 많은 보고서가 "인간의 감독(human oversight)"을 언급하며 교사나 행정가가 시스템을 지켜보고 있다고 제안합니다. 그러나 이 검토는 인간이 존재한다는 것이 효과적인 통제를 의미하는 것은 아니라고 주장합니다. 진정한 감독이란 인간이 시스템이 무엇을 하고 있는지 볼 수 있고, 잘못될 경우 이를 멈출 수 있으며, 실수가 발생했을 때 그 행동을 되돌릴 수 있는 것을 의미합니다. 현재의 많은 설정에서 인간은 단지 시스템의 출력을 승인하기만 하는 '고무 도장(rubber stamp)'에 불과하며, 시스템이 그 결과에 도달하기 위해 거친 복잡한 단계들을 이해할 능력이 없습니다. 이는 위험한데, 시스템이 잘못된 결정을 내릴 경우 책임자가 이를 수정할 도구를 갖추지 못할 수 있기 때문입니다. 검토는 강력하고 검증된 감독 없이는 시험 채점이나 프로그램 입학 결정과 같이 사람들의 삶에 영향을 미치는 결정을 이 시스템들에게 맡기는 것이 윤리적으로 불가능하다고 지적합니다.

이러한 시스템의 능력과 우리가 그들에 대해 알고 있는 것 사이의 불일치를 해결하기 위해, 저자는 "자율성-감독-증거(Autonomy-Oversight-Evidence)"라는 새로운 프레임워크를 제안합니다. 이 프레임워크는 인공지능에게 부여하는 자유의 양이 그것이 안전하다는 증거의 강도, 또는 인간의 통제력의 강도를 결코 초과해서는 안 된다고 제안합니다. 이 프레임워크는 자율성을 프롬프트에 응답하여 문장을 쓰는 수준부터 학생의 미래에 관한 중대한 결정을 내리는 수준까지 단계별로 나눕니다. 또한 증거를 단순한 컴퓨터 테스트부터 여러 학교에 걸친 장기적인 실제 현장 시험까지 단계별로 구분합니다. 규칙은 간단합니다. 높은 수준의 증거와 높은 수준의 인간 통제가 없다면 높은 수준의 자유를 부여할 수 없습니다. 만약 증거가 약하거나 인간의 감독이 형식적인 수준이라면, 시스템의 권한은 좁고 가역적(reversible)이어야 합니다.

이러한 발견의 함의는 대학들이 앞으로 나아가는 방식에 있어 매우 중요합니다. 이 검토는 이러한 시스템을 금지해야 한다고 주장하는 것이 아닙니다. 대신 신중하고 절제된 접근 방식을 주장합니다. 대학은 실험실에서 잘 작동하는 시스템이 실제 교실에서도 잘 작동할 것이라고 가정해서는 안 됩니다. 대학은 이 도구들을 자신들의 구체적인 맥락 속에서 테스트해야 하며, 누가 혜택을 받고 누가 피해를 입을지를 면밀히 살펴야 합니다. 또한 교사와 직원들이 시스템을 멈출 수 있는 권한을 가져야 하며, 학생들이 기계에 의한 결정에 이의를 제기할 수 있는 방법을 확보해야 합니다. 검토는 입증의 책임이 기관에 있음을 강조합니다. 인공 에이전트에게 실질적인 권한을 넘겨주기 전에, 학교는 이를 뒷받침할 증거를 갖추었는지, 그리고 이를 관리할 인력을 갖추었는지를 증명해야 합니다.

궁극적으로 이 논문은 명확성과 책임감을 촉구하는 호출입니다. 기술은 질문에 답하는 도구에서 행동을 취하는 시스템으로 빠르게 진화하고 있습니다. 그러나 이들의 안전성과 공정성에 대한 증거는 그 속도를 따라잡지 못하고 있습니다. 검토 결과, 이러한 에이전트들이 특정 과업을 개선할 수는 있지만, 우리는 아직 이들에게 학생의 교육을 결정짓는 중대한 결정을 맡길 준비가 되지 않았습니다. 나아갈 길은 혁신을 멈추는 것이 아니라, 속도를 늦추고 필요한 안전장치를 구축하는 것입니다. 시스템의 능력과 증거의 강도, 그리고 인간 통제의 질을 일치시킴으로써, 대학은 이 강력한 도구들이 교육의 가치를 훼손하지 않으면서 학생들에게 봉사할 수 있도록 할 수 있습니다. 목표는 미래를 막는 것이 아니라, 미래가 도착했을 때 그것이 진실과 신뢰라는 토대 위에 세워지도록 만드는 것입니다.