Mapping the Research Landscape of Capstone and Final-Year Project Assessment in Computing Education: A Bibliometric Analysis (2020–2026)

대학 교육의 세계를 거대하고 북적이는 건설 현장이라고 상상해 보십시오. 수년 동안 학생들은 컴퓨터 과학이나 기술 같은 분야에서 학위의 최종적이고도 정점인 성취인 '캡스톤 프로젝트'라는 정교하고 복잡한 구조물을 지어왔습니다. 이것은 단순한 숙제가 아닙니다. 학생들이 배운 모든 것을 활용하여 실제 문제를 해결하는 소프트웨어나 시스템을 팀 단위로 구축하며, 자신이 무엇을 할 수 있는지 증명하는 순간입니다. 하지만 여기서 까다로운 문제가 발생합니다. 이 건물들이 정말로 훌륭한지 어떻게 측정할 수 있을까요? 오랫동안 '검사관'(교사 및 심사위원)들은 주로 자신의 직관에 의존해 왔습니다. 최종 발표를 지켜보고 몇몇 사람들에게 결과가 마음에 드는지 물어보는 식이었죠. 이는 마치 건물의 내부 철골 구조가 무게를 견딜 만큼 튼튼한지 확인하지 않은 채, 거리에서 창문이 얼마나 반짝이는지만 보고 마천루를 심사하는 것과 같습니다.

우리가 더 잘할 수 있는 방법이 있는지 알아내기 위해, 연구자들은 '계량서지학적 분석(bibliometric analysis)'이라는 특별한 도구를 사용합니다. 이것을 거대한, 마법 같은 지도 제작자라고 생각하십시오. 이 지도 제작자는 도로와 강을 그리는 대신, 수천 편의 연구 논문 사이의 연결 고리를 그립니다. 논문이 몇 편 존재하는지, 누가 썼는지, 누가 읽는지, 그리고 가장 자주 사용하는 단어가 무엇인지를 계산합니다. 이러한 패턴을 살펴봄으로써, 지도 제작자는 숨겨진 아이디어의 동네를 드러내어 연구 커뮤니티가 어디에서 강력하고 어디가 비어 있는지를 보여줍니다. 이 연구는 '캡스톤 프로젝트 평가'의 동네를 매핑하여, 우리가 이러한 학생 프로젝트를 공정하고 정확하게 판단할 수 있는 충분한 도구를 갖추고 있는지 확인하는 데 목적이 있습니다.

지도 제작자의 여정: 논문의 발견

이 연구에서 연구자 에일런 라구다(Ailen Laguda)는 이러한 최종 학년 컴퓨팅 프로젝트를 어떻게 채점할 것인가에 관한 연구 지형도를 그리기로 결정했습니다. 그녀는 2020년에서 2026년 사이에 발표된 156편의 특정 연구 논문을 살펴보았습니다. 그녀는 단순히 논문을 읽은 것이 아니라, VOSviewer라는 강력한 컴퓨터 프로그램을 사용하여 텍스트를 시각적 네트워크로 변환했습니다. 이는 마치 논문이 다른 논문에 의해 얼마나 자주 인용되는지를 나타내는 별의 밝기와 같은 별자리 형태를 띱니다.

협업의 "유령 마을"
라구다가 지도를 살펴보았을 때, 그녀는 놀라운 사실을 발견했습니다. 연구 커뮤니티가 놀라울 정도로 외롭다는 것입니다. 156편의 논문 중 평균 인용 횟수는 3.38회에 불과했으며, 전체의 무려 39.1%가 인용 횟수가 0회였습니다. 이는 마치 연구자들이 광활한 들판에 각자의 집을 따로 짓고 있으며, 서로를 거의 방문하지 않는 것과 같습니다. 저자들의 네트워크는 "희소하고 파편화되어" 있습니다. 즉, 긴밀하게 연결된 하나의 큰 전문가 집단이 존재하지 않습니다. 대신 대부분의 저자는 고립되어 있으며, 단 한 명의 작은 그룹(10명)만이 하나의 논문을 위해 함께 협력하고 있습니다. 이는 이 분야가 아직 매우 젊으며, 아직 견고하고 통일된 팀을 형성하지 못했음을 시사합니다합니다.

평가의 "숨겨진 보석"
하지만 지도는 매혹적인 비밀을 드러냈습니다. 연구자들이 '컴퓨터 과학'이나 '소프트웨어 공학' 같은 일반적인 주제에 대해서는 많이 이야기하지만, 이 프로젝트들을 어떻게 채점할 것인가라는 구체적인 주제는 숨겨진 보석과 같았습니다. 평가와 관련된 단어들(예: '루브릭(rubric)', '채점(grading)', '평가(evaluation)')은 문헌에서 매우 드물게 등장합니다. 이러한 단어들이 드물기 때문에 중요하지 않다고 생각할 수도 있습니다. 하지만 지도는 그 반대를 보여주었습니다!

이 희귀한 평가 관련 용어들은 지도상의 어떤 단어보다 높은 '인용 영향력'을 가졌습니다. 예를 들어, '루브로크'(점수 가이드)라는 단어는 단 9번 등장했지만, 그 몇 안 되는 논문들은 각각 평균 11.1회 인용되었습니다. 이는 일반적인 용어들보다 훨씬 높은 수치입니다. 이는 마치 소란스러운 도시 한복가운데에 아주 작고 조용한 마을이 있는데, 그곳이 가장 가치 있는 보물을 품고 있기 때문에 사람들이 비밀리에 찾아가는 것과 같습니다. 이 연구는 연구 커뮤니티가 평가에 대해 많이 쓰지는 않지만, 그들이 쓰는 적은 양의 글이 믿을 수 없을 정도로 영향력 있고 가치 있다는 것을 보여줍니다.

"컴퓨터 과학" 편향
지도는 또한 지형의 명확한 편향성을 보여주었습니다. 연구가 '컴퓨터 과학'(키워드로 137회 등장)에 과도하게 집중되어 있습니다. 반면, '정보기술(IT)'이나 '정보 시스템'과 같은 관련 분야는 지도에서 거의 보이지 않습니다. 마치 지도 제작자들이 컴퓨터 과학이라는 산을 탐험하는 데에만 모든 시간을 쓰고, 정보기술의 언덕을 그리는 것은 완전히 잊어버린 것과 같습니다. 이는 문제가 될 수 있는데, 이 다른 분야들의 프로젝트는 성격이 다르기 때문입니다. 이들은 순수 소프트웨어를 구축하기보다는 기술을 실제 비즈니스에 적용하는 것에 더 가깝습니다. 컴퓨터 과학 프로젝트를 채점하기 위해 사용되는 도구가 이러한 다른 유형의 프로젝트에는 잘 맞지 않을 수 있습니다.

결론: 성장을 기다리는 분야
그렇다면 이 모든 것이 의미하는 바는 무엇일까요? 이 연구는 캡스톤 프로젝트 평가 분야가 "부상하고 있지만" 아직 "통합되지 않았다"고 결론짓습니다. 이곳은 잠재력은 가득하지만 기반이 탄탄하지 못한 곳입니다. 연구는 "인용이 적고", "파편화되어" 있습니다. 즉, 우리는 아직 공유된 규칙이나 함께 협력하는 큰 전문가 집단을 갖추지 못했다는 뜻입니다.

가장 중요한 핵심은 평가가 가장 영향력 있으면서도 가장 덜 발달된 주제라는 점입니다. 연구 커뮤니티는 (높은 인용 횟수가 보여주듯) 이러한 프로젝트를 더 잘 채점하는 방법을 찾는 데 깊은 관심을 가지고 있지만, 아직 문제를 해결할 만큼 충분한 연구를 생산해내지 못했습니다. 이는 명확한 지도의 공백입니다. 연구는 다음과 같이 제언합니다. 우리가 '직관'에 의한 채점에서 벗어나 공정하고 증거 기반의 점수 산출로 나아가고자 한다면, 우리는 이 공백을 채워야 합니다. 우리는 더 많은 연구, 더 많은 협력, 그리고 특히 컴퓨터 과학을 넘어선 분야들의 독특한 특성에 맞게 설계된 전용 도구들이 필요합니다. 지도는 그려졌고, 보물은 발견되었지만, 그곳으로 가는 길은 여전히 건설 중입니다.