User Experience and Usability Evaluation Identifies Learnability Barriers in an Industry Linked Vocational Learning Management System

현대 사회에서 디지털 플랫폼은 수백만 명의 학생들에게, 특히 청년들을 특정 직업과 산업 자격증에 대비시키려는 목표를 가진 직업 교육 분야에서 주요한 교실이 되었습니다. 학습 관리 플랫폼이라 불리는 이러한 시스템은 단순히 영상과 퀴즈를 제공하는 것 이상의 역할을 해야 합니다. 즉, 학습자가 첫 로그인을 하는 순간부터 수료증을 받는 순간까지 안내하며, 학교와 노동 시장 사이를 잇는 신뢰할 수 있는 가교 역할을 해야 합니다. 그러나 보기 좋고 사용하기 흥미진진하게 느껴지는 플랫폼이 반드시 조작하기 쉬운 것은 아닙니다. 연구자들은 사용자가 시스템에 대해 느끼는 전반적인 감정—시스템이 자극적인지 혹은 신뢰할 수 있는지에 대한 느낌—과, 막힘없이 사용하는 방법을 파악할 수 있는 실질적인 능력 사이를 구분합니다. 디지털 도구가 고용의 문을 여는 수단으로 쓰일 때, 설계상의 혼란이나 숨겨진 마찰은 학생이 목표에 도달하는 것을 가로막는 장벽이 될 수 있습니다.

한 연구팀은 인도네시아의 '아시오 클래스 프로그램(Axioo Class Program)'이라는 특정 직업 교육 프로그램 내에서 발생하는 바로 이 긴장 관계를 조사하기 위해 나섰습니다. 이 이니셔티브는 학교와 산업 파트너를 연결하여 학생들이 고용주가 인정하는 기술과 자격증을 취득할 수 있도록 지원합니다. 이 프로그램의 디지털 핵심은 '업마이스킬(UpMySkill)'이라는 플랫폼으로, 학생과 교사가 코스에 접속하고, 과제를 수행하며, 자격증 취득을 향한 진척도를 추적할 수 있게 해줍니다. 연구진은 이 플랫폼이 의도한 대로 제대로 작동하고 있는지 알고 싶었습니다. 그들은 주로 15세에서 24세 사이의 학생들로 구성된 232명의 피드백과 소수의 교사 그룹으로부터 시스템 경험에 대한 평가를 수집했습니다. 그들은 두 가지 다른 방식으로 이 경험을 측정했습니다. 한 방법은 시스템이 신선하거나 효율적인지와 같이 사용자가 느끼는 광범위한 감정을 살펴보는 것이었고, 다른 방법은 사용자가 시스템을 배우고 운영하는 것이 얼마나 쉽거나 어려운지에만 엄격히 집중했습니다.

결과는 사람들이 플랫폼을 경험하는 방식에서 나타난 놀라운 격차를 드러냈습니다. 긍정적인 측면에서, 사용자들은 시스템이 매력적이고 가치 있다고 느꼈습니다. 그들은 시스템의 흥미 유발 능력, 전반적인 매력도, 그리고 방법을 알았을 때 과업을 완수하는 효율성 측면에서 높은 점수를 주었습니다. 실제로, 경험을 측정하는 6가지 지표 중 5가지가 다른 소프트웨어 평가에서 발견되는 평균보다 높았습니다. 사용자들은 플랫폼이 신뢰할 만하며, 자신들의 학습 여정을 스스로 통제하고 있다는 느낌을 갖도록 도와준다고 느꼈습니다. 그러나 연구진이 실질적인 측면, 즉 시스템을 배우는 것이 얼마나 쉬운지 그리고 도움 없이 얼마나 직관적으로 사용할 수 있는지에 대해 물었을 때, 상황은 바뀌었습니다. 사용 편의성(usability)에 대한 종합 점수는 교육자와 설계자들이 성공적인 도구의 징표로 흔히 사용하는 표준 기준치 아래로 떨어졌습니다. 응답자의 70% 이상이 이 참조점 미만의 점수를 기록했는데, 이는 사용자들이 플랫폼을 좋아하면서도, 스스로 사용법을 파악하는 데에는 어려움을 겪었음을 나타냅니다.

시스템을 좋아하는 것과 이를 쉽게 사용하는 것 사이의 이러한 간극은 이번 연구의 가장 중요한 발견이었습니다. 데이터에 따르면 플랫폼이 지루하거나 신뢰할 수 없어서 실패한 것이 아니라, 명확하지 않았기 때문에 실패했다는 것을 시사했습니다. 사용자들은 시스템을 효과적으로 사용하기 전에 많은 것을 배워야 한다고 보고했으며, 항시 기술적 지원이 필요하다고 느꼈습니다. 연구진은 학습 활동의 순서를 이해하기 어렵다거나, 자격증 취득으로 가는 경로가 불분명하다는 점, 그리고 문제가 생겼을 때 도움을 받는 방법을 찾는 데 혼란을 겪는 점 등 설계상의 마찰이 발생하는 구체적인 영역들을 지목했습니다. 이 연구는 플랫폼이 단순히 나쁘거나 매력이 없는 것이라는 가설을 명시적으로 배제했습니다. 사용자들은 분명히 콘텐츠와 그 플랫폼이 제공하는 기회를 가치 있게 여겼습니다. 대신, 문제는 '학습 가능성 장벽(learnability barrier)', 즉 시스템이 어떻게 작동하는지 이해하기 위한 초기 허들이 너무 높다는 것으로 식별되었습니다.

이러한 결과의 함의는 실무적이고 직접적입니다. 연구진은 직업 교육 플랫폼이 진정으로 양질의 교육을 지원하고 학생들이 산업 자격증을 취득하도록 돕기 위해서는, 초기 학습 노력을 낮추도록 재설계되어야 한다고 결론지었습니다. 이는 새로운 사용자들을 단계별로 안내하는 더 명확한 온보딩 프로세스를 만들고, 자격증 취득 경로를 눈에 띄고 명확하게 만들며, 학생들이 다음에 어디로 가야 할지 추측하지 않도록 내비게이션을 단순화하는 것을 의미합니다. 이 연구는 디지털 도구에 대한 긍정적인 정서적 연결이, 도구 자체가 혼란스럽다면 충분하지 않다는 점을 강조합니다. 이러한 구체적인 사용 편의성 문제를 해결함으로써, 플랫폼은 지속적인 지원이 필요한 시스템에서 학생들이 고용을 향한 여정에 공정하고 독립적으로 참여할 수 있게 하는 시스템으로 변화할 수 있습니다. 이 연구는 설계를 고치는 것이 모든 학생의 취업이나 자격증 시험 합격을 자동으로 보장한다고 주장하는 것이 아니라, 이러한 디지털 장벽을 제거하는 것이 그러한 결과를 가능하게 하는 필수적인 첫 단계임을 보여줍니다.