Do Academic Credentials Still Predict Professional Competence After Generative AI?

대학 학위가 학생이 배운 내용에 대한 증명서라기보다, 어려운 과정을 견뎌낼 수 있는 능력을 보여주는 신호가 되는 세상을 상상해 보십시오. 수십 년 동안 경제학자와 교육자들은 학술적 자격 요건을 이러한 관점에서 바라보았습니다. 즉, 설령 학생이 제출한 과제물이 온전히 자신의 것이 아니었더라도, 학위를 취득하는 것이 도전적인 과업을 완수할 수 있는 규율과 지능을 갖추었음을 증명한다는 생각입니다. 이 시스템은 학생이 제출하는 작업물이 자신의 정신을 진실하게 반영하고 있다는 단순한 가정에 의존합니다. 하지만 2022년 말, 새로운 기술이 등장하여 이 가정을 무너뜨릴 위협을 가했습니다. 에세이를 쓰고, 문제를 풀며, 복잡한 논거를 작성할 수 있는 생성형 인공지능의 등장은 학생들이 아주 적은 노력만으로도 고품질의 결과물을 만들어내는 것을 가능하게 만들었습니다. 즉각적인 공포는 이 기술이 학위의 가치를 공동화(hollow out)할 것이라는 점이었습니다. 만약 누구나 결과물을 만들어낼 수 있다면, 그 신호는 의미가 없어질 것이고, 졸업장과 실제 전문적 기술 사이의 연결 고리는 끊어질 것이라는 우려였습니다.

이 질문은 단순히 학업적 부정행위에 관한 것이 아닙니다. 이는 전문 자격 인증 시스템 전체가 여전히 작동하는가에 관한 문제입니다. 법학 대학원 졸업생이 변호사 시험을 치르거나 간호 대학원 졸업생이 면허 시험을 볼 때, 그들은 컴퓨터로 외주를 줄 수 없는 고도의 집중력을 요하는 감독 하의 시험을 치릅니다. 이 시험들은 최종 점검 지점이며, 학위의 약속이 현실에 의해 검증되는 순간입니다. 만약 그 시험에 이르는 과정에서의 학습 과정이 인공지능에 의해 훼손되었다면, 학위는 더 이상 누가 실제로 그 일을 할 수 있는지를 예측하지 못할 수도 있습니다. 우려는 기술이 신호를 생산하는 비용을 너무 낮추어, 유능한 자와 무능한 자를 더 이상 구분하지 못하게 함으로써 고용주와 대중에게 예전만큼의 의미를 갖지 못하는 자격증을 남길 것이라는 점입니다.

한 연구팀은 생성형 인공지능의 등장이 실제로 학술적 자격과 전문적 역량 사이의 연결 고리를 깨뜨렸는지 확인하기 위해 방대한 데이터를 바탕으로 이 공포를 테스트하고자 했습니다. 그들은 법률과 간호라는 두 가지 뚜렷한 직업군에 주목했습니다. 이 분야들은 일상적인 업무가 언어와 텍스트에 얼마나 의존하느냐에 따라 양극단에 위치해 있기 때문입니다. 법률은 언어 기반 과업에 크게 노출된 분야로, 텍스트 생성 도구에 의해 가장 크게 변화될 가능성이 높은 후보입니다. 간호는 비판적 사고를 요구하면서도, 컴퓨터가 시뮬레이션하기 훨씬 어려운 상당한 수준의 실무적, 물리적, 대인 관계적 업무를 포함합니다. 이 두 분야를 비교함으로써, 연구진은 자격의 침식이 기술에 가장 많이 노출된 분야에서 더 많이 일어났는지 확인할 수 있었습니다.

연구진은 미국 전역의 수천 개 법과 대학 및 간호 프로그램을 추적하는 거대한 데이터셋을 구축했습니다. 그들은 학생들이 프로그램에 처음 입학할 당시의 학업 기록, 구체적으로는 표준화된 시험 점수와 대학 성적을 조사한 다음, 동일한 집단이 3년 후 전문 면허 시험에서 어떻게 수행했는지를 추적했습니다. 이를 통해 명확한 타임라인이 만들어졌습니다. 연구진은 우수한 학업 기록을 가지고 입학한 학생들이 교육 후에 여전히 강력한 전문가가 되었는지, 그리고 그 관계가 인공지능이 널리 보급된 이후에도 변했는지를 볼 수 있었습니다. 그들은 기술이 도착하기 전 9년과 도착 후 3년을 포함하여 2014년부터 2025년까지의 데이터를 조사했습니다.

결과는 놀랍게도 명확했으며, 일반적인 불안과는 상반되었습니다. 연구진은 입학 시의 학술적 능력과 전문 면허 합격 사이의 연결 고리가 생성형 인공지능의 등장 이후 약화되지 않았음을 발견했습니다. 사실, 그 관계는 기술 출시 이후에도 여전히 강력했으며, 일부 통계적 척도에서는 오히려 약간 더 강해지기도 했습니다. 데이터는 높은 시험 점수를 가지고 법대에 입학한 학생들이 인공지능에 접근할 수 있었는지 여부와 상관없이 변호사 시험을 더 높은 비율로 통과했다는 것을 보여주었습니다. 간호 프로그램에서도 동일한 패턴이 나타났습니다. 연구진은 만약 인공지능이 자격의 예측력을 유의미하게 떨어뜨렸다면 데이터에서 쉽게 포착되었을 것이라고 계산했습니다. 대신, 증거는 약 20%보다 큰 하락은 없었으며, 가장 가능성 있는 시나리오는 그 하락이 훨씬 작거나 아예 존재하지 않는다는 것이었습니다.

가장 눈에 띄는 발견 중 하나는 데이터의 주요 단절이 인공지능이 도착했을 때 발생한 것이 아니라는 점이었습니다. 연구진은 2022년경 데이터에서 변화를 감지했지만, 이 변화는 기술이 공개적으로 출시되기 전에 이미 대부분의 교과 과정을 마친 학생 집단에서 나타났습니다. 이는 혼란이 인공지능에 의한 것이 아니라 팬데믹과 급격한 원격 학습으로의 전환에 의한 것임을 시사합니다. 실제로 기술을 사용하며 공부한 학생들은 최종 감독 시험을 통과하는 능력에서 저하를 보이지 않았습니다. 데이터는 기술이 학생들의 일상적인 숙제를 수행하는 방식은 바꾸었을지 모르지만, 학위가 가진 '누가 실전에서 성공할 것인가'를 예측하는 근본적인 능력은 파괴하지 못했음을 나타냅니다.

또한 연구는 기술이 약한 학생들을 따라잡게 하여 모두를 하나로 묶는, 즉 모든 차이를 없애버리는 '풀링(pooling)' 현상이 발생하는지를 살펴보았습니다. 이것은 구체적인 공포였습니다. 즉, 인공지능이 부진한 학생들로 하여금 상위권 학생들의 작업물만큼 훌륭해 보이는 결과물을 만들어내게 함으로써 성적 분포를 평탄하게 만들 것이라는 우려였습니다. 연구진은 이에 대한 증거를 찾지 못했습니다. 점수 분포는 이론이 예측했던 것처럼 압축되지 않았습니다. 상위 성취자들은 하위 성취자들과 여전히 뚜렷하게 구분되었으며, 그들 사이의 격차는 사라지지 않았습니다. 기술은 차이를 지워버리는 위대한 평등 장치가 되지 못했으며, 최종적인 전문적 역량에 따른 학생들의 순위는 그대로 유지되었습니다.

인공지능 시대에 학위의 가치는 무엇을 의미할까요? 연구 결과는 전문 자격 인증 시스템이 예상보다 훨씬 더 견고하다는 것을 시사합니다. 누가 법이나 의학을 수행할 수 있는지를 결정하는 최종 감독 시험이, 초기 비감독 학습 과정 중에 발생했을지도 모를 역량의 손실을 걸러내는 신뢰할 수 있는 필터 역할을 했다는 것입니다. 학위는 여전히 사람이 가장 중요한 시험을 통과할 수 있는 능력이 있음을 신호합니다. 그러나 이것이 시스템이 완벽하다거나 일상적인 숙제의 무결성이 안전하다는 뜻은 아닙니다. 연구진은 위험이 단순히 상류(upstream)로 이동했다고 지적합니다. 위험은 이제 최종 시험이 훼손되는 것이 아니라, 학습 과정 자체, 즉 일상적인 과제와 기술의 발달 과정이 최종 시험이 포착할 수 없는 방식으로 변질될 수 있다는 점에 있습니다. 학위는 시험 합격을 예측하지만, 학생이 그 과정에서 배워야 했던 모든 것을 정말로 배웠는지는 더 이상 보장하지 못할 수도 있습니다.

연구는 생성형 인공지능의 등장이 아직 학술적 자격의 신호를 파괴하지 않았다고 결론짓습니다. 학생이 시작할 때 알고 있는 것과 끝날 때 할 수 있는 것 사이의 연결 고리는 여전히 강력합니다. 기술은 학위를 무의미하게 만들지도, 유능한 자와 무능한 자 사이의 경계를 흐리게 만들지도 않았습니다. 대신, 시스템은 충격을 흡수했으며, 최종 고위험 시험은 전문적 준비도를 측정하는 신뢰할 수 있는 척도로 계속 기능하고 있습니다. 교육자와 기관들의 진짜 과제는 이미 회복력이 입증된 최종 시험을 보호하는 것이 아니라, 그 시험 이전의 몇 년 동안 일어나는 학습이 여전히 진실하고 효과적인지 확인하는 것입니다. 학위는 여전히 작동하지만, 그것이 인증하는 여정은 우리가 이제 막 이해하기 시작한 방식으로 변했을지도 모릅니다.