EMSEIF Provides an Explainable AI Framework for Multi Stakeholder Curriculum Feedback and Quality Assurance in Higher Education

대학은 방대하고 데이터가 풍부한 곳이지만, 수집된 엄청난 양의 정보를 의미 있는 행동으로 전환하는 데 종종 어려움을 겪습니다. 매년 학생, 교사, 동문, 학부모, 고용주들은 커리큘럼이 얼마나 잘 작동하는지를 논의하기 위해 양식을 작성하고, 의견을 남기며, 위원회에 참여합니다. 이러한 피드백은 품질 보증의 생명선이지만, 많은 기관에서 이는 수동적인 읽기 작업, 단순한 백분율 차트, 그리고 특정 결정까지 추적하기 어려운 회의록이라는 안개 속에 길을 잃곤 합니다. 핵심 과제는 정보의 부족이 아니라 명확성의 부족입니다. 즉, 서로 다른 관점과 서로 다른 화법을 가진 수천 개의 개별적인 목소리를 어떻게 명확하고 공정하며 실행 가능한 개선 계획으로 번역할 것인가 하는 문제입니다.

이 지점에서 교육 데이터 마이닝(educational data mining) 분야가 등장하여, 컴퓨터를 이용해 인간의 피드백에서 패턴을 찾으려 시도합니다. 그러나 단순히 컴퓨터에게 의견이 "좋다" 또는 "나쁘다"라고 말하라고 요구하는 것은 너무 투박한 도구가 될 수 있습니다. 한 학생이 교사의 에너지에 대해 찬사를 보내면서 동시에 강의에 실무 프로젝트가 부족하다고 불평할 수도 있기 때문입니다. 유용한 시스템이 되려면, 이러한 뉘앙스를 이해하고, 정확히 커리큘럼의 어느 부분이 논의되고 있는지 식별하며, 왜 그러한 결론에 도달했는지 설명할 수 있어야 합니다. 나아가, 이러한 결정이 실제 사람들의 교육과 경력에 영향을 미치기 때문에, 시스템은 '블랙박스'가 되어서는 안 됩니다. 즉, 인간 지도자들이 그 제안을 신뢰하고 공정성을 검증할 수 있을 만큼 투명해야 합니다.

인도의 MIT 아트, 디자인 & 테크놀로지 대학교 연구진은 이 문제를 해결하기 위해 EMSEIF라는 새로운 프레임워크를 개발했습니다. 단순히 결과를 예측하는 또 다른 도구를 만드는 대신, 그들은 인간이 최종 결정권을 유지하면서 원시 피드백을 구체적인 커리큘럼 변화로 연결하는 완전한 시스템을 구축했습니다. 연구팀은 자신들이 속한 대학의 실제 데이터를 사용하여 이 시스템을 테스트했습니다: 2023~24년도 연례 품질 보증 기록입니다. 이 아카이브는 수천 개의 피드백 양식, 평점 표, 공식 서신이 포함된 1,542페이지 분량의 문서였습니다. 연구진은 이 전체 아카이브를 8,742개의 개별 피드백 단위로 구성된 구조화된 디지털 라이브러리로 변환하였으며, 모든 데이터에 발화자, 소속 부서, 특정 주제를 태깅하여 데이터의 정체성을 확실히 했습니다.

시스템의 핵심은 다양한 목소리를 획일화하지 않고 경청하는 능력에 있습니다. 일반적인 대학에서 학생은 "실습 기회"를 더 요구할 수 있고, 고용주는 "산업계 노출"을 요구할 수 있습니다. 이들은 다르게 들리지만, 사실 같은 것을 요구하고 있는 것입니다. 연구진은 시스템이 이러한 다양한 표현 방식들을 인식하고, 이를 "실무 노출"과 같은 공통된 주제 아래로 그룹화하도록 학습시켰습니다. 또한, 이러한 주제들을 특정 과목 및 학습 목표와 연결하는 '지식 그래프(knowledge graph)'라 불리는 디지털 지도를 구축했습니다. 이를 통해 시스템은 한 부서에서의 "프로젝트 확대" 요청이 다른 부서에서의 "장비 개선" 요청과 연결되어 있음을 파악하여, 무엇을 변화시켜야 하는지에 대한 통합된 그림을 그려낼 수 있습니다.

시스템의 신뢰성을 보장하기 위해 연구진은 설명 가능하도록 설계했습니다. 컴퓨터가 변화를 제안할 때, 단순히 예 또는 아니오라는 답만 내놓는 것이 아닙니다. 대신, 어떤 단어가 제안을 이끌어냈는지, 시스템의 확신도는 어느 정도인지, 그리고 학생과 고용주 같은 서로 다른 집단 간에 해당 이슈에 대한 의견이 일치하는지를 보여주는 "증거 카드(evidence card)"를 생성합니다. 만약 시스템이 특정 집단에 대해 불공정하게 대우하고 있다고 감지하면, 권고안이 만들어지기 전에 이를 인간의 검토 대상으로 분류합니다. 이러한 "인간 참여형(human-in-the-loop)" 접근 방식은 컴퓨터가 데이터 분류와 분석이라는 힘든 일을 처리하되, 최종적인 조치는 반드시 인간 학술 지도자가 승인하도록 합니다.

연구 결과, 이 방식이 기존 방식보다 훨씬 효과적임이 나타났습니다. 표준 컴퓨터 모델들과 비교했을 때, 새로운 시스템은 구체적인 커리큘럼 문제를 식리고 실행 가능한 피드백을 예측하는 데 있어 훨씬 더 높은 정확도를 보였습니다. 시스템은 모든 이해관계자가 변화가 필요하다고 동의한 세 가지 주요 영역을 성공적으로 식별했습니다: 실무 중심의 학습 필요성, 인공지능 및 디지털 도구 관련 기술 업데이트 필요성, 그리고 학생들의 취업 준비 지원 필요성입니다. 예를 들어, 시스템은 항공우주 프로그램의 학생들이 전반적인 만족도는 높았지만, 구체적으로는 항공기 모델에 대한 접근성과 현장 방문을 원한다는 점을 찾아냈습니다. 이는 단순한 종합 만족도 점수에서는 놓칠 수 있었던 세부 사항입니다.

결정적으로, 본 연구는 시스템이 다양한 집단 간에 공정성을 유지할 수 있음을 입증했습니다. 조정 전에는 특정 학과나 이해관계자의 역할에 따라 정확도가 떨어지는 작은 편향성이 나타나기도 했습니다. 그러나 연구진은 특정 교정 작업을 적용함으로써 이러한 격차를 엄격한 거버넌스 기준을 충족하는 수준까지 낮추었으며, 이를 통해 특정 목소리가 체계적으로 무시되지 않도록 보장했습니다. 또한 시스템은 자신의 제안을 대학의 실제 조치와 일치시킬 수 있음이 증명되었습니다. 연구진이 컴퓨터의 권고 사항을 대학의 공식 "조치 완료(action-taken)" 서신 및 위원회 회의록과 비교했을 때, 강력한 일치성을 발견했습니다. 이는 시스템이 단순히 아이디어를 생성하는 것에 그치지 않고, 기관이 이미 추진하고 있는 바로 그 변화들을 정확히 식별하고 있음을 입증합니다.

연구진은 이것이 모든 교육 문제를 자동으로 해결하는 마법 지팡이가 아님을 주의 깊게 명시하고 있습니다. 이 시스템은 판단을 대체하는 것이 아니라 지원을 위한 도구입니다. 시스템은 최선의 커리큘럼이 무엇인지 결정할 수는 없지만, 의사 결정자들이 전체적인 그림을 명확히 볼 수 있도록 증거를 정리할 수는 있습니다. 또한 본 연구는 시스템이 특정 대학 내에서 잘 작동했다는 점을 강조하며, 다른 곳에 적용하기 위해서는 각기 다른 문화와 규칙에 맞춘 현지화 작업이 필요하다고 밝히고 있습니다. 그럼에도 불구하고, 이 연구는 대학이 피드백 수집에서 실제로 피드백을 사용하는 단계로 나아가, 사람들이 말하는 것과 기관이 행하는 것 사이의 고리를 닫을 수 있는 명확하고 재현 가능한 청사진을 제공합니다.

결론적으로, 이 연구는 품질 보증을 바라보는 새로운 방식을 제시합니다. 피드백의 가치는 최종 점수나 평균 평점이 아니라, 코멘트 속에 숨겨진 구체적이고 실행 가능한 증거에 있다는 것입니다. 첨단 컴퓨터 분석과 인간의 감독, 그리고 공정성에 대한 약속을 결합함으로써, 연구진은 혼란스러운 서류 더미를 명확하고 탐색 가능한 개선 경로로 바꿀 수 있음을 보여주었습니다. 이 시스템은 단순히 대학에 무엇이 잘못되었는지를 알려주는 것이 아니라, 어디를 보아야 하는지, 그것이 왜 중요한지, 그리고 어떻게 해결해야 하는지를 보여주는 동시에, 그 과정의 중심에 인간의 목소리를 두도록 합니다.