Multilevel implementation assessment of a national health and life skills curriculum policy: development and content validation

학교는 단순히 수학과 역사를 배우는 곳 그 이상입니다. 아이들이 인생의 큰 부분을 보내는 곳이며, 건강을 증진하고 젊은이들이 세상을 살아가는 법을 가르칠 수 있는 강력한 환경이기도 합니다. 수십 년 동안 연구자들은 학교가 이러한 건강 목표를 얼마나 잘 달rick하는지 측정하기 위해 노력해 왔습니다. 보통 이는 특정 프로그램이 마치 레시피처럼 작성된 대로 정확히 수행되었는지 확인하는 과정을 포함합니다. 하지만 목표가 단 하나의 레시피가 아니라, 학교 일과 전체에 녹아든 광범위한 개념일 때는 어떻게 될까요? 노르웨이에서는 주요 교육 개혁을 통해 '건강과 생활 기술(Health and Life Skills)'이라는 새롭고 유연한 주제를 도입했습니다. 이 방식은 엄격한 매뉴얼 대신, 교사와 학교 운영자들이 자신의 전문적인 판단에 따라 수업을 특정 교실 상황에 맞게 조정할 수 있도록 자유를 부여했습니다. 이러한 접근 방식은 영리하고 적응력이 뛰어나지만, 과학자들에게는 어려운 문제를 안겨줍니다. 즉, 누가 수행하느냐와 어디서 일어나느냐에 따라 형태가 변하는 것을 어떻게 측정할 것인가 하는 문제입니다. 만약 모든 학교가 규칙을 각기 다르게 해석한다면, 연구자들은 이 정책이 제대로 작동하고 있는지, 아니면 단순히 무시되고 있는 것인지 어떻게 구별할 수 있을까요?

이 수수께끼를 풀기 위해 노르웨이 전역의 대학과 교육 기관에서 모인 대규모 연구팀이 새로운 종류의 측정 도구를 구축하기 위해 나섰습니다. 그들은 경직된 '일률적(one-size-fits-all)' 프로그램에 맞춰 설계된 기존의 설문지들을 사용하고 싶지 않았습니다. 그러한 방식은 이 유연한 개혁의 미묘한 차이를 놓칠 것이기 때문입니다. 대신, 그들은 학교 시스템의 각 단계—학교를 소유하고 자금을 지원하는 사람, 학교를 운영하는 교장, 현장에서 일하는 교사, 그리고 실제 교실에서 일어나는 수업—를 위한 네 가지 연결된 설문 세트를 개발하는 데 수년을 보냈습니다. 목표는 최상위 단계부터 마지막 수업 시간까지, 실행의 이야기를 포착할 수 있는 도구를 만드는 것이었습니다. 그들은 이 새로운 도구를 '건방과 생활 기술 실행 평가(Health and Life Skills Implementation Assessment)'라고 불렀습니다.

이 도구를 구축하는 과정은 신중하고 깊이 있는 협력 속에서 이루어졌습니다. 연구진은 먼저 다른 연구들이 학교 프로그램을 어떻게 측정했는지 검토했으나, 이곳에는 적합하지 않다는 것을 빠르게 깨달았습니다. 그들은 교육, 심리학, 공중보건 분야의 전문가들을 영입했을 뿐만 아니라, 실제로 업무를 수행하는 사람들인 학교 운영자, 교사, 그리고 노조 대표들도 초대했습니다. 워크숍과 회의를 통해 이 그룹들은 어떤 질문이 가장 중요한지를 결정하는 데 참여했습니다. 그들은 학교 운영자가 교사를 지원하기 위해 무엇을 알아야 하는지, 혹은 교사가 생활 기술을 가르치기 위해 무엇을 느껴야 하는지에 대해 스스로 질문했습니다. 이러한 상호 작적인 과정은 질문들이 적절한 용어를 사용하고, 추상적인 이론보다는 현실 세계의 과제에 집중하도록 보장했습니다.

질문 초안이 작성된 후, 팀은 이를 엄격하게 테스트했습니다. 그들은 교사 및 교장들과 일대일 인터뷰를 진행하며, 질문을 소리 내어 읽게 하고 각 질문이 무엇을 의미한다고 생각하는지 설명하도록 요청했습니다. '인지적 면접(cognitive interviewing)'이라고 알려진 이 단계는 숨겨진 문제점들을 드러냈습니다. 어떤 질문은 혼란스러웠고, 어떤 질문은 지역적 맥락에 맞지 않는 전문 용어를 사용했으며, 어떤 응답 옵션은 교사가 겪는 경험의 전체 범위를 담아내지 못했습니다. 연구진은 모든 의견에 귀를 기울였고 설문지를 반복해서 수정했습니다. 또한 사람들이 답변하다 지치지는 않는지, 완료하는 데 시간이 얼마나 걸리는지 확인하기 위해 소규모 파일럿 테스트도 실시했습니다. 이러한 반복적인 과정을 통해 그들은 도구가 명확하고 실용적이며, 노르웨이 학교의 독특한 운영 방식에 민감하게 반응할 때까지 정교화했습니다.

최종 결과물은 네 가지 도구로 구성된 조율된 시스템이었습니다. 학교 운영자와 교장을 대상으로 한 설문은 자원, 우선순위, 그리고 전반적인 학교 분위기에 대해 물었습니다. 교사 설문은 교사 자신의 교육, 자신감, 그리고 해당 과목을 어떻게 계획하여 가르칠 것인지에 대해 물었습니다. 결정적으로, 팀은 교사들이 특정 수업 후에 작성할 '수업 로그(lesson log)'를 만들었습니다. 이 로그는 교사가 계획했던 내용과 실제로 가르친 내용을 기록하게 함으로써, 의도와 실제 사이의 차이를 포착했습니다. 이 구분은 매우 중요합니다. 유연한 시스템에서는 교사가 거창한 수업을 계획했다가도 즉흥적인 건강 관련 대화로 마무리할 수 있는데, 이 두 가지 모두 가치 있는 데이터 포인트이기 때문입니다.

2025년, 연구팀은 이 새로운 도구를 국가적 규모로 시험대에 올렸습니다. 그들은 노르웨이 전역의 학교 운영자, 교장, 그리고 수천 명의 교사들을 참여에 초대했습니다. 대규모 학교 연구에서 흔히 나타나듯 응답률은 엇갈렸지만, 458개 학교로부터 충분한 데이터를 수집하여 시스템이 작동함을 입증했습니다. 그들은 학교의 네 가지 계층 모두로부터 조율된 정보를 성공적으로 수집했으며, 이는 모두를 똑같은 틀에 가두지 않고도 국가 시스템 전체에 걸쳐 통합된 데이터를 수집하는 것이 가능하다는 것을 증명했습니다. 데이터에 따르면, 일부 학교는 새로운 커리큘럼에 깊이 몰입해 있었던 반면, 다른 학교들은 이를 어떻게 적용할지 여전히 고민 중이었는데, 이 도구는 이를 실패로 규정하지 않으면서도 그 변화를 포착해 냈습니다.

이 연구는 새로운 커리큘ium이 학생의 건강 결과에 개선을 가져왔는지에 대한 답을 내놓으려 한 것이 아닙니다. 그것은 향후 연구의 과제입니다. 대신, 이 논문은 전문적인 판단과 지역적 적응을 존중하는 측정 도구를 구축하는 것이 가능하다는 점을 보여주었습니다. 학교 생태계의 다양한 목소리에 귀를 기울임으로써, 연구진은 광범广泛한 국가 정책이 실제 교실에 어떻게 도달하는지를 이해할 수 있는 방법을 제시했습니다. 그들은 정책이 유연할 때 측정 도구 역시 유연해야 하며, 단순히 요구 사항 목록을 체크하는 것이 아니라 작업의 형태를 볼 수 있어야 한다는 것을 보여주었습니다. 이러한 접근 방식은 목표가 획일성이 아닌 사려 깊은 지역적 적응인 다른 복잡한 교육 및 보건 이니셔티브를 연구하기 위한 청사진을 제공합니다.