AI University: An LLM-Powered Learning Assistant for Engineering---A Finite Element Method Case Study

고등 교육의 세계, 특히 공학이나 물리학과 같은 분야에서 학습은 물리적 세계가 어떻게 작동하는지를 설명하는 복잡하고 추상적인 개념을 숙달하는 과정을 포함합니다. 그중 하나인 유한 요소법(finite element method)은 다리가 무게에 의해 어떻게 휘어지는지부터 제트 엔진을 통해 열이 어떻게 흐르는지에 이르기까지, 어려운 수학적 문제를 해결하는 데 사용되는 강력한 수치 기법입니다. 수십 년 동안 학생들은 강의, 교과서, 연습 문제를 통해 이러한 주제를 학습해 왔으며, 자료의 미묘한 차이를 설명해 줄 인간 강사에게 의존해 왔습니다. 오늘날, 이 과정을 돕기 위해 새로운 도구가 등장했습니다. 바로 대규모 언어 모델(large language model)입니다. 이들은 인터넷의 방대한 텍ast를 학습하여 거의 모든 주제에 대해 질문에 답하고 설명을 생성할 수 있는 인공지능 시스템입니다. 그러나 이러한 범용 모델은 매우 해박한 지식을 가지고 있음에도 불구하고, 특정 대학 강의의 구체적인 목소리, 스타일, 깊이는 결여되어 있는 경우가 많습니다. 모델은 개념을 정확하게 설명할 수는 있지만, 특정 교수가 가르치는 방식과는 다를 수 있으며, 이로 인해 학생들은 생소한 용어나 수업에서 사용된 구체적인 예시를 놓쳐 혼란을 느낄 수 있습니다.

남가주 대학교(University of Southern California)의 연구진은 이러한 격차를 메우기 위해 'AI 유니버시티(AI University)'라고 불리는 시스템을 개발했습니다. 그들의 목표는 단순히 주제를 아는 것을 넘어, 자신이 돕고 있는 특정 강의의 언어로 말하는 학습 보조 도구를 만드는 것이었습니다. 이 아이디어를 테스트하기 위해, 연구진은 유한 요소법을 다루는 대학원 수준의 공학 강의에 집중했습니다. 연구진은 특화된 인공지능과 강의 녹화 영상, 강의 노트, 교과서를 포함한 해당 강의의 자체 자료를 즉각적으로 검색할 수 있는 시스템을 결합한 프레임워크를 구축했습니다. 그 결과, 학생의 질문에 강의자의 말투, 스타일, 참조 문헌과 동일한 방식으로 답하면서도, 해당 개념이 원래 설명되었던 비디오 강의의 정확한 시점이나 책의 페이지를 직접 안내해 주는 디지털 튜터가 탄생했습니다.

과정은 맞춤형 데이터셋을 만드는 것으로 시작되었습니다. 연구진은 강의의 주요 교과서, 강의 스크립트, 코딩 과제를 가져와 고급 AI를 사용하여 오직 해당 자료에만 기반한 수천 개의 질의응답 쌍을 생성했습니다. 이 단계는 매우 중요했습니다. 이를 통해 AI가 강의자가 새로운 아이디어를 도입하는 구체적인 방식, 선호하는 기호, 요구되는 세부 사항의 깊이를 학습할 수 있었기 때문입니다. 그런 다음 연구진은 이 데이터를 사용하여 중간 규모의 오픈 소스 AI 모델을 '미세 조정(fine-tuning)'했습니다. 미세 조정이란 일반적인 AI에게 특정 주제에 대한 추가 학습을 제공하여 해당 분야의 전문가로 만드는 과정입니다. 연구진은 모델을 처음부터 완전히 다시 구축할 필요 없이 새로운 자료를 효율적으로 학습할 수 있게 해주는 '저계수 적응(Low-Rank Adaptation)'이라는 기술을 사용했습니다. 이렇게 탄생한 모델은 'LLaMA-TOMMI-1.0'이라 명명되었으며, 강의의 교수법을 모방하도록 설계되었습니다.

하지만 연구진은 과거의 자료로 학습된 모델이 새로운 질문에 어려움을 겪거나, 일반적인 학습 내용에 너무 의존하여 실수를 할 수 있다는 점을 알고 있었습니다. 이를 해결하기 위해 그들은 시스템에 두 번째 계층을 구축했습니다. 학생이 질문을 하면, 시스템은 먼저 미세 조정된 전문가 모델에게 답변을 요청합니다. 그 직후 시스템은 교과서나 비디오 강의에서 관련 섹션을 찾기 위해 데이터베이스를 검색합니다. 그다음, 더 논리적인 두 번째 AI 모델이 합성 역할을 수행합니다. 이 모델은 전문가 모델의 초기 답변과 검색된 강의 자료를 가져와 서로 비교하고, 최종 응답을 구성합니다. 만약 전문가 모델의 답변이 강력하다면, 합성 모델은 강의 자료의 인용구를 더해 이를 풍성하게 만듭니다. 만약 답변이 약하거나 부정확하다면, 합성 모델은 그 답변을 무시하고 검색된 강의 콘텐츠만을 바탕으로 새로운 답변을 구축합니다. 이 시스템에는 AI가 자신의 추론 과정을 설명하고 답변에 대한 신뢰도를 할당하는 '사고(thinking)' 단계도 포함되어 있어, 학생들이 결론에 어떻게 도달했는지 이해할 수 있도록 돕습니다.

연구진은 이 시스템이 실제로 일반적인, 학습되지 않은 AI를 사용하는 것보다 더 나은 성능을 보이는지 확인하기 위해 엄격하게 테스트했습니다. 그들은 맞춤형 미세 조정 모델의 성능을 동일한 AI의 수정되지 않은 원본 버전과 비교했습니다. 자동화된 테스트에서 미세 조정된 모델은 강의 자료의 '정답(ground truth)'에 훨씬 더 가까운 답변을 생성했습니다. 정량적 척도로 평가했을 때, 전문가 모델은 테스트 케이스의 86%에서 더 높은 점수를 받았습니다. 더욱 중요한 것은, 강의 내용에 익숙한 인간 전문가들이 답변을 검토했을 때도 맞춤형 모델에 대한 강한 선호도를 보였다는 점입니다. 이 고급 사용자들은 어떤 응답이 강의 내용을 이해하는 데 더 나은지 묻는 질문에 대해 기본 모델보다 맞춤형 버전을 거의 두 배 더 자주 선택했습니다.

또한 연구진은 이 시스템을 특정 강의를 위해 미세 조정되지 않은 매우 강력한 상용 AI 모델과 비교했습니다. 상용 모델은 수학적으로 정교한 답변을 제공할 수 있었지만, 종종 특정 대학원 수업의 범위를 벗어난 개념과 용어를 사용했습니다. 때때로 기술적으로는 옳지만 학생들의 현재 학습 수준에 비해 너무 심화되었거나 부적절한 답변을 제공하기도 했습니다. 반면, AI 유니버시티 시스템은 일관되게 강의의 특정 교수 스타일과 일치하는 답변을 제공했으며 학생들이 사용하는 자료를 참조했습니다. 톤과 정렬 상태를 평가한 강의 담당 교수는 맞춤형 시스템이 55%의 사례에서 더 낫다고 판단하며, 이것이 강의실 경험의 자연스러운 연장선처럼 느껴진다고 언급했습니다.

이 프로젝트의 핵심 기능은 학생들이 사용할 수 있는 작동하는 웹 애플리케이션입니다. 이 인터페이스를 통해 사용자는 질문을 던지고, 비디오 강의의 특정 타임스탬프와 교과서의 관련 섹션으로 연결되는 클릭 가능한 링크가 포함된 답변을 받을 수 있습니다. 이 기능은 신뢰성과 투명성을 더해주며, 학생들이 정보를 즉시 확인할 수 있게 합니다. 시스템은 유연하게 설계되어, 강의가 진행됨에 따라 새로운 강의가 추가되면 시스템을 업데이트하여 새 콘텐츠를 포함할 수 있으므로 학기 내내 최신 상태를 유지할 수 있습니다. 연구진은 전체 시스템이 오픈 소스 도구를 사용하여 구축되었음을 강조하며, 이는 학생의 개인정보를 보호하기 위해 로컬에서 호스팅될 수 있고 독점적인 데이터 공유에 의존하지 않음을 의미합니다.

연구는 일반적인 인공지능 모델이 강력하긴 하지만, 특정 강의의 필요와 스타일에 맞춰질 때 교육에서 가장 효과적이라는 결론을 내립니다. AI 유니버시티 프레임워크는 미세 조정과 특정 강의 자료에 근거한 답변 검색 시스템을 결합함으로써, 정확하면서도 교육적으로 정렬된 학습 보조 도구를 만드는 것이 가능하다는 것을 보여줍니다. 연구 결과는 이러한 접근 방식이 고등 교육에 AI를 통합하는 실질적인 경로를 제시하며, 학생들에게 강사의 고유한 목소리와 구조를 잃지 않으면서 학습을 지원하는 도구를 제공한다는 것을 시사합니다. 연구진은 이번 연구가 소수의 고급 사용자 그룹과 단일 강의에 국한되었다는 점을 언급하면서도, 결과의 일관성이 과학 및 공학 분야의 전문 분야에 AI를 적응시키는 유망한 방법임을 보여준다고 밝혔습니다.