Design, rollout and early institutionalisation of a digital 360-degree performance management system in Cameroon’s Expanded Programme on Immunization: an implementation study

카메룬의 확장 예방접종 프로그램(EPI)을 거대하고 북적이는 오케스트라라고 상상해 보십시오. 수년 동안 그들은 모든 연주자가 조율에 맞춰 연주하고 있는지 확인하기 위해 일반적인 종이 기반 설문조사를 시도해 왔습니다. 그것은 마치 바이올린 연주자와 드럼 연주자에게 똑같은 "기분이 어떠신가요?"라는 양식을 작성하라고 요청하는 것과 같았습니다. 결과는 엉망이었고, 피드백은 모호했으며, 누구에게 추가 연습이 필요한지, 혹은 누가 독주를 할 준비가 되었는지 아무도 알 수 없었습니다.

2024년과 2025년에 EPI는 시스템을 업그레이드하기로 결정했습니다. 그들은 단순히 새로운 악기를 산 것이 아니라, 이미 보유하고 있던 Microsoft 생태계 내부에 완전히 새로운 디지털 무대를 구축했습니다. 이 새로운 시스템은 디지털 360도 성과 관리 플랫폼입니다. 이것은 단순히 당신의 모습을 비추는 거울이 아니라, 지휘자, 동료 음악가, 그리고 심지어 당신 자신까지도 특정 기술에 대해 실시간으로 당신의 연주를 평가할 수 있게 해주는 고성능 인터랙티브 거울이라고 생각하면 됩니다.

거대한 전환: 종이에서 힘으로

기존 시스템은 고장 난 라디오와 같았습니다. 데이터를 수집하기는 했지만 이를 명확하게 재생할 수는 없었습니다. PowerApps와 SharePoint를 기반으로 구축된 새로운 시스템은 스마트하고 연결된 대시보드입니다. 이 시스템은 범용적인 설문 도구를 역할별 디지털 플랫폼으로 대체했습니다. 이제 시스템은 '팀워크'나 '리더십' 같은 주제에 대한 47개의 일반 질문뿐만 아니라, 98개의 서로 다른 기술적 테마에 걸쳐 특정 직무(예: 백신 물류 또는 데이터 관리)에 맞춘 무려 154개의 기술적 질문을 던집니다.

저자들은 기존 방식에 "기술적 지표 누락"과 "데이터 집계 약화"가 있었다는 것을 발견했습니다. 그렇다면 새로운 방식은 어떨까요? 그것은 중앙 통제 센터입니다. 직원이 검토를 마치면, 시스템은 즉시 그들에게 개인화된 대시보드를 생성하며, 리더들에게는 전체적인 그림을 볼 수 있는 거대하고 다채로운 Power BI 대시보드를 제공합니다.

"베타 테스트" (알파 테스트)

이 시스템을 전국적으로 배포하기 전에, 팀은 핵심 플레이어 6명(HR, 계획 및 데이터 팀 소속)을 초대하여 직접 사용해 보게 했습니다. 이것이 바로 "알파 테스트"였습니다.

• 결론: 모든 참여자는 새 플랫폼이 사용하기 쉽다는 데 동의했습니다. 테스터들의 **100%**가 기능에 대해 "매우 만족"한다고 답했습니다.
• 수정 사항: 하지만 아직 완벽하지는 않았습니다. 일부 사용자는 로그인이 까다롭다고 느꼈고, 시스템은 초기에는 영어로만 제공되었습니다. 팀은 카메룬이 영어와 프랑스어를 모두 사용하는 점을 고려하여 이중 언어 네비게이션을 추가하고, 인증 오류를 수정하며, 아무도 길을 잃지 않도록 "사용자 가이드"를 만드는 방식으로 빠르게 문제를 해결했습니다.
• 교훈: 이 논문은 초기 사용자들의 목소리에 귀를 기울이는 것이 매우 중요했음을 시사합니다. 그들은 단순히 소프트웨어를 만들고 운에 맡긴 것이 아니라, 실제 피드백을 바탕으로 설계를 조정하여 장벽을 기능으로 바꾸었습니다.

지휘자 교육하기

세상에서 가장 좋은 악기를 가지고 있더라도 오케스트라가 연주하는 법을 모른다면 아무 일도 일어나지 않습니다. EPI는 디지털 엔진을 계속 가동할 사람들을 위한 8명의 백엔드 사용자(시스템 관리자)를 교육했습니다.

• 결과: 교육 전, 이들의 역량 점수는 **31%**였습니다. 교육 후, 그 점수는 **76%**로 급증했습니다. 특히 백엔드 도구를 사용하는 능력은 **0%**에서 **60%**로 뛰어올랐습니다.
• 목표: 이것은 단순히 버튼을 클릭하는 법을 가르치는 것이 아니었습니다. 이는 EPI가 외부의 도움 없이도 이 시스템을 스스로 운영할 수 있도록 만드는 것이 목표였습니다.

첫 번째 큰 공연

첫 번째 전체 운영 주기(2025년 중간 검토)에서 시스템은 중앙 본부와 10개 지역 전체에 적용되었습니다.

• 관객: 181명의 직원이 참여했습니다. 여기에는 최고 경영진부터 지원 인력에 이르기까지 102명의 남성과 79명의 여성이 포함되었습니다.
• 점수: 1점에서 5점 척도에서 평균 점수는 4.2였습니다. 이는 "높은" 점수로, 사람들이 스스로 잘하고 있다고 느끼고 있음을 시사합니다.
• 주의점: 논문은 이 부분에서 매우 신중합니다. 저자들은 이 높은 점수가 갑작스러운 성과 향상의 증거가 아니라, 하나의 "기준점"이자 "보정 신호"라고 명시했습니다. 실제로 데이터는 흥미로운 격차를 보여주었습니다:
  • 사람들이 자신을 평가한 점수(4.3)가 상사가 그들을 평가한 점수(4.1)보다 높았습니다.
  • 지원 인력은 리더십 그룹보다 낮은 점수를 받았습니다.
  • 일부 지역은 다른 지역보다 높은 점수를 기록했습니다(서부의 3.7에서 북부 및 남서부의 4.4까지).

저자들은 이러한 격차가 실패가 아니라, 바로 시스템이 찾아내야 할 목적이라고 주장합니다. 이는 마치 코치가 선수가 패스 실력이 뛰어나다고 생각하지만, 코치는 그에게 연습이 필요하다고 판단하는 것과 같습니다. 시스템은 이러한 차이를 표면화하여 논의하고 해결할 수 있도록 합니다.

논문이 배제하는 것 (그리고 주장하지 않는 것)

이 논문이 무엇을 말하지 않는지 이해하는 것이 매우 중요합니다.

• 이것은 마법의 치료제가 아닙니다: 논문은 이 시스템이 직원의 성과를 높였거나 예방접종률을 높였다는 것을 입증하지 않았다고 명시적으로 밝히고 있습니다. 이것은 *구현 연구(implementation study)*로, 도구가 건강 결과를 해결했는지 여부가 아니라, 어떻게 도구를 만들고 사용했는지를 연구한 것입니다.
• 이것은 "해결된" 문제가 아닙니다: 저자들은 신중합니다. 그들은 지속 가능성이 "유망하지만 초기 단계"라고 언급했습니다. 그들은 시스템을 무너뜨릴 수 있는 위험 요소로 연결성 문제, 직원 이직, 약한 리더십 집행 등을 식-별했습니다.
• 이것은 직원에 대한 최종 판결이 아닙니다: 높은 점수는 단지 사람들이 친절하게 답변했거나(사회적 바람직성 편향), 새로운 도구에 열광했기 때문일 수도 있습니다. 논문은 이 첫 번째 주기의 수치를 사용하여 직원의 역량을 확정적으로 판단하는 것을 경계합니다.

핵심 요약

주요 결과는 카메론의 EPI가 기존의 부서진 종이 기반 설문조사에서 디지털로 소유되는 역할별 성과 시스템으로 성공적으로 전환했다는 것입니다. 그들은 정부의 기존 Microsoft 환경 내에서 이를 구축하고, 현지 직원들을 교육하며, 전국 181명의 사람들이 이를 사용하게 만드는 것이 가능함을 증명했습니다.

논문은 진정한 승리가 소프트웨어 자체에 있는 것이 아니라 프로세스에 있다고 제안합니다. 즉, 도구를 실제 직무 기술서와 일치시키고, 데이터를 관리하는 사람들을 교육하며, 결과를 단순히 성적표를 나누어 주는 것이 아니라 대화를 시작하는 데 사용하는 것입니다. 저자들이 말했듯, 이것은 성과 검토를 실제 관리 시스템으로 바꾸는 "실행 가능한 경로"입니다. 하지만 여정은 이제 시작일 뿐입니다. 다음 단계는 이 점수들이 실제로 더 나은 교육과, 궁극적으로 더 나은 보건 결과로 이어지는지 확인하는 것입니다.