📈 경제학

The Optimal Intensity of Performance Evaluation

이 논문은 굿하트의 법칙과 캠벨의 법칙을 매개변수화된 임계값 모델로 변환하여 대학 성과 평가가 조직 유효성과 역 U자형 관계를 따른다는 것을 입증하며, 과도한 강도가 기능 장애를 유발하는 결정적인 변곡점을 식별하고 다양한 제도적 맥락에서 이러한 효과를 완화하기 위한 세 가지 질적 레버를 제안한다.

원저자: Zhongjun Wang

게시일 2026-09-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhongjun Wang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 대학 사회에서는 성공을 측정하려는 욕구와 실제로 무엇이 성공을 만드는가 사이의 고요한 긴장이 커지고 있다. 수십 년 동안 행정가들은 연구와 교육의 질을 판단하기 위해 논문 편수, 인용 횟수, 연구비 총액과 같은 수치에 의존해 왔다. 이러한 접근 방식은 '측정할 수 있다면 관리할 수 있다'는 단순한 전제에 기초한다. 그러나 경제학 및 사회과학 분야의 오랜 관찰은 이 논리에 한계점이 존재한다고 경고한다. 측정이 주요 목표가 되면, 사람들은 그 측정이 본래 나타내고자 했던 근본적인 가치보다는 숫자 자체를 최적화하기 시작한다. 흔히 굿하트의 법칙(Goodhart's Law)이라 불리는 이 현상은, 어떤 지표가 목표가 되는 순간 더 이상 좋은 척도가 되지 못함을 시사한다. 학계에서는 이러한 현상으로 인해 교수진이 깊이 있고 난도 높은 학술 활동보다는 단순히 점수를 높이는 활동에 더 많은 시간을 할애하게 되는 '목표 전치(goal displacement)' 현상에 대한 우려가 제기되고 있다. 오늘날 대학이 직면한 과제는 지표를 사용할 것인가의 여부가 아니라, 시스템이 스스로를 해치기 시작하기 전까지 지표를 얼마나 많이 사용해야 하는가이다.

중쥔 왕(Zhongjun Wang)의 새로운 연구는 이러한 추상적인 경고를 구체적이고 측정 가능한 틀로 변모시킨다. 이 연구는 성과 평가의 실패를 막연한 가능성으로 취급하는 대신, 수학적 모델을 구축하여 정확히 어느 지점에서 균형이 무너지는지를 밝혀낸다. 핵심 결과는 기관이 구성원을 얼마나 강도 높게 평가하느냐와 실제 산출물의 질 사이의 관계가 특정한 형태, 즉 역 'U'자형 곡선을 따른다는 것이다. 초기에는 더 엄격한 평가를 도입하는 것이 도움이 된다. 이는 기대치를 명확히 하고, 노력을 정렬하며, 협업을 개선한다. 그러나 이러한 이점은 영원히 지속되지 않는다. 이 모델은 시스템이 기능 장애로 무너지는 특정 임계점, 즉 강도의 임계치를 식별한다. 대학이 이 선을 넘어서면 전략적 출판이나 교육 경시의 비용이 급격히 증가하여, 남아 있는 모든 이점을 압도하고 결국 지표를 전혀 사용하지 않았을 때보다 기관을 더 나쁜 상태로 만든다.

이 연구는 위험 지대를 식별하는 데서 멈추지 않고, 해결책을 세 가지 뚜렷한 도구로 나누어 이를 헤쳐 나갈 방법을 제시한다. 연구는 단순히 '정량적' 수치를 '정성적' 의견으로 바꾸는 것은 너무 투박한 도구라고 주장한다. 대신, 인간의 판단 역할을 동료 검토(peer review), 가치 정렬(value alignment), 절차적 공정성(procedural fairness)이라는 세 가지 구체적인 레버로 분리한다. 전문가가 직접 저작물을 판단하는 동료 검토는 위험한 임계치를 뒤로 밀어내어 기관이 더 안전하게 지표를 사용할 수 있도록 하는 방패 역할을 한다. 대학의 특정 사명(교육, 연구 또는 봉사)과 지표를 일치시키는 것은 달성 가능한 수준의 천장을 높여준다. 마지막으로, 평가 과정이 교수진에게 공정하다고 느껴지도록 보장하는 것은 시스템에서 에너지를 앗아가는 근본적인 원인인 반발과 저항을 줄여준다. 이 세 요소는 서로 대체될 수 없다. 각각은 문제의 서로 다른 부분을 해결하며, 잘못된 도구를 사용하는 것은 붕괴를 막지 못한다.

저자는 시간이 흐름에 따라 교수진의 행동이 어떻게 변화하는지를 추적하기 위해 동적 모델을 활용한다. 시뮬레이션에 따르면, 평가 강도가 임계치를 넘어서면 학술 문화 내에서 미묘하지만 강력한 변화가 일어난다. 출판물 수가 계속 증가함에도 불구하고, 실제 작업의 질은 하락하기 시작한다. 이는 지표를 통한 성과 압박이 너무 압도적이어서 직장의 사회적 규범을 변화시키기 때문이다. 한때 사소한 지름길로 여겨졌던 것이 표준적인 관행이 되고, 대학의 집단적 노력은 진정한 가치를 창출하는 것에서 점수를 최적화하는 방향으로 이동한다. 모델은 이러한 괴리가 즉각적으로 나타나는 것이 아니라, 더 많은 사람이 게임에 참여함에 따라 가속화되며, 잘못된 행동에 점점 더 큰 보상을 주는 피드백 루프를 형성한다는 것을 보여준다.

또한 이 연구는 왜 어떤 대학들은 고압적인 환경에서도 살아남는 반면 다른 대학들은 무너지는지를 명확히 설명한다. 임계치는 모두에게 고정된 숫자가 아니며, 기관의 설계에 따라 달라진다. 강력한 동료 검토 시스템과 공정한 절차를 갖춘 대학은 기능 장애에 도달하기 전까지 더 높은 강도의 측정을 견뎌낼 수 있다. 반면, 이러한 안전장치 없이 원시적인 수치에 과도하게 의존하는 시스템은 훨씬 더 빨리 기능 장애 지점에 도달한다. 연구는 글로벌 순위와 경쟁에 의해 주도되는 현재의 지표 증가 추세가 많은 기관을 위험한 한계점 근처나 그 너머로 몰아넣고 있다고 시사한다. 모델은 단순히 지표의 수를 줄이는 것만으로는 충분하지 않으며, 해결책은 고품질의 인간적 판단 능력을 구축하여 시스템을 완충하는 데 있다고 말한다.

궁극적으로 이 연구는 대학 지도자와 정책 입안자들에게 진단 도구를 제공한다. 이 연구는 논의를 '지표냐 아니냐'라는 이분법적 선택에서 '설계의 문제'라는 더 미묘한 질문으로 옮겨 놓는다. 연구는 평가의 최적 강도가 존재하며, 이는 성과를 개선하면서도 굿하트의 법칙이 경고하는 역효과를 일으키는 행동을 유발하지 않는 '스위트 스팟(sweet spot)'이라고 제안한다. 임계치를 더 나은 동료 검토와 더 공정한 절차를 통해 관리할 수 있는 변수로 취급함으로써, 이 연구는 앞으로 나아갈 길을 제시한다. 목표는 측정을 없애는 것이 아니라, 측정의 강도가 측정하고자 하는 바로 그 가치를 파괴하기 시작하는 지점 아래에 머물도록 보장하는 것이다. 연구 결과는 다양한 유형의 기관에 대해 이 임계치의 정확한 위치를 정교화하기 위한 추가적인 데이터 수집을 권장하는 테스트 가능한 명제들로 제시되지만, 핵심 메시지는 명확하다. 우리가 엉뚱한 것을 측정하기 시작하기 전까지 측정할 수 있는 데에는 한계가 있다는 것이다.

기술 요약: 성과 평가의 최적 강도

문제 제기
성과 평가는 고등 교육의 핵심적인 거버넌스 도구가 되었으나, 이 분야에는 평가 강도가 유익함을 넘어 조직의 목표를 저해하기 시작하는 지점에 대한 공식적인 이해가 부족하다. 굿하트의 법칙(Goodart's Law, 1975)과 캠벨의 법칙(Campbell's Law, 1979)은 "측정치가 목표가 되면 더 이상 좋은 측정치가 아니게 된다"는 수사적 경고로 널리 인용되지만, 이는 정량화된 모델이라기보다 해석적인 은유에 머물러 있다. 기존 문헌들은 지표 과부하와 목표 전치(goal displacement) 현상을 질적으로 기록하고 있으나, 평가 강도와 결과 사이의 비단조적(non-monotonic) 관계, 특히 제도적 임계치와 내생적 완화 기제를 포함하는 공식적인 모델을 제시하지 못하고 있다. 결과적으로 정책 입안자들은 언제 평가가 도움이 되고 언제 해가 되는지를 결정할 수 없으며, 서로 다른 유형의 질적 검토를 구분할 수도 없다.

방법론
본 논문은 조직 경제학, 동기 심리학, 고등 교육 정책 분석을 통합한 공식 임계치 모델을 개발한다. 방법론은 세 가지 뚜렷한 정식화를 통해 진행된다.

정적 단변량 모델 (Static Univariate Model): 모델은 조직 효과성 $U(k)$ 를 정렬 이득 $U_1(k)$ 와 기능 장애 비용 $U_2(k)$ 의 순결과로 정의하며, 여기서 $k$ 는 평가 강도를 나타낸다.
- 정렬 이득 (Alignment Benefit): 조정과 피드백에 대한 한계 효용 체감을 반영하여 오목한 지수 함수 $A(1 - e^{-\alpha k})$ 로 모델링된다.
- 기능 장애 비용 (Dysfunction Cost): 조각별 함수(piecewise function)로 모델링된다. 임계치 $k_0$ 미만에서는 비용이 선형적으로 증가한다. $k_0$ 를 초과하면 두 가지 강화 피드백 기제—사회적 규범 효과(게이밍/수치 조작이 정상화되는 현상)와 조직적 증폭 효과(단기적 이득에 대응하여 경영진이 지표를 강화하는 현상)—로 인해 비용이 기하급수적으로 가속화된다.
- 결과: 이 구조는 역 U자형(inverted-U) 관계를 생성하며, 과도한 평가가 평가가 전혀 없는 것보다 조직을 더 악화시키는 "손익 분기점"을 도출한다.
이변량 확장 (질적 판단): 모델은 질적 판단을 위한 가중치 $w$ 를 도입하며, 이를 세 가지 상호 대체 불가능한 레버로 분해한다.
- 동료 검토 (Peer Review, $w_p$ ): 주로 정보 비대칭을 줄임으로써 임계치 $k_0$ 를 높인다.
- 가치 지향성 (Value Orientation, $w_v$ ): 주로 지표를 기관의 미션과 일치시킴으로써 이득의 상한선 $A$ 를 높인다.
- 절차적 정의 (Procedural Justice, $w_j$ ): 주로 반발심을 완화함으로써 기초 기능 장애 비용 $B$ 를 낮춘다.
- 이 정식화는 "양적 대 질적"이라는 단순한 이분법적 논쟁을 넘어, 특정 레버가 특정 파라미터를 변화시키는 매개변수화된 설계 공간을 제공한다.
동적 드리프트-확산 층 (Dynamic Drift–Diffusion Layer): 행동의 시간적 진화를 포착하기 위해 폭커-플랑크 방정식(Fokker–Planck equation)을 채택한다.
- 기제: 교수자의 노력을 품질 스펙트럼 $x \in [0,1]$ (여기서 $x=0$ 은 순수한 지표 최적화, $x=1$ 은 진정한 가치 창출) 상의 밀도 분포 $e(x,t)$ 로 모델링한다.
- 드리프트 (Drift): 임계치 $k_0$ 위에서는 드리프트 속도 항이 활성화되어, 노력의 분포를 저품질의 지표 최적화 방향으로 밀어낸다.
- 결과: 이 층은 지표 점수( $M(t)$ )가 상승하더라도 진정한 가치( $V(t)$ )는 단조 감소함을 보여주며, 굿하트의 법칙에 대한 동적 미시적 근거를 제공한다.

주요 결과

역 U자형 관계: 모델은 조직 효과성이 평가 강도에 대해 역 U자형 곡선을 따름을 확인한다. 최적의 강도 $k^{**}$ 와 순효용이 음수가 되는 손익 분기점 $k_{be}$ 가 존재한다.
임계치의 존재: 결정적인 제도적 임계치 $k_0$ 가 존재한다. 이 지점 아래에서는 기능 장애가 선형적으로 성장하지만, 이 지점을 넘어서면 사회적 규범의 티핑 포인트로 인해 기능 장애가 기하급수적으로 가속화된다.
차별적 레버: 질적 판단은 단일한 해결책이 아니다. 동료 검토는 임계치 $k_0$ 를 높이는 주요 기제이며, 가치 지향성은 최대 잠재적 이득을 높이고, 절차적 정의는 기초 행정 비용을 낮춘다.
동적 괴리: $k > k_0$ 인 체제에서는 지표 점수는 상승하는 반면 진정한 조직 가치는 감소하는 점진적 괴리가 발생함을 모델은 예측한다. 이는 교수자의 노력이 지표 최적화로 이동하는 데서 기인한다.

여섯 가지 반증 가능한 명제
본 논문은 모델을 여섯 가지 테스트 가능한 명제로 정립하며, 이를 위한 구체적인 실증 연구 전략을 제시한다.

비단조성 (Non-monotonicity): 평가 강도와 효과성은 역 U자형을 따른다 (기관 패널 데이터를 통해 검증 가능).
임계치 효과 (Threshold Effect): 기능 장애는 임계치를 넘어서면 급격히 나타난다 (중국의 "파오이단오(破五唯)"와 같은 개혁을 이용한 이중차분법을 통해 검증 가능).
조절 효과 (Moderation): 질적 판단은 임계치 $k_0$ 를 높인다 (매개 모델을 통해 검증 가능).
차별적 효과 (Differential Effects): 동료 검토는 절차적 정의보다 $k_0$ 를 더 강력하게 높인다 (위계적 회귀 분석의 상호작용 항을 통해 검증 가능).
동적 적응 (Dynamic Adaptation): $k > k_0$ 일 때 지표 점수와 진정한 가치 사이의 괴리는 시간이 흐름에 따라 가속화된다 (사건 연구를 통해 검증 가능).
이질성 (Heterogeneity): 임계치 $k_0$ 는 경력 단계(초기 경력 연구자에게 더 낮음)와 학문 분야(정량화가 용이한 STEM 분야에서 더 높음)에 따라 달라진다.

의의 및 주장
본 논문은 고등 교육 학계에 세 가지 주요 기여를 한다고 주장한다.

은유의 공식화: 굿하트와 캠벨의 법칙을 해석적 은유에서 매개변수화되고 반증 가능한 임계치 모델로 전환했다. 개인의 준거점을 다루는 기존 경제 모델(예: Rablen, 2010)과 달리, 본 모델은 기능 장애가 가속화되는 제도적 임계치를 식별한다.
질적 검토의 분해: "양적 대 질적"이라는 이분법을 넘어, 특정 기제를 통해 작동하는 세 가지 독립적인 레버(동료 검토, 가치 지향성, 절차적 정의)를 식별했다. 이를 통해 막연한 "더 많은 질적 평가"의 호출이 아닌, 타겟팅된 정책 설계를 가능하게 한다.
동적 기제: 폭커-플랑크 드리프트-확산 층을 통합함으로써, 지표 점수와 진정한 가치가 왜, 그리고 어떻게 시간이 지남에 따라 괴리되는지를 설명하며, 기능 장애의 기하급수적 비용에 대한 행동적 미시 근거를 제공한다.

본 논문은 처방적 판결보다는 진단 도구로서의 역할을 자처한다. "최적"의 강도는 보편적인 상수가 아니라 제도적 설계 파라미터의 함수라고 주장한다. 모델은 특정 평가 시스템(예: 중국의 "파오이단오", 영국의 REF, 미국의 성과 기반 펀딩)이 지속 가능한 체제 내에서 작동하고 있는지, 아니면 기능 장애의 임계치를 넘어섰는지를 진단하는 프레임워크를 제공한다. 저자는 정량적 수치(예: $k_0 = 0.5$ )는 예시적이며 실증적 보정이 필요하지만, 임계치의 존재와 드리프트의 방향에 관한 질적 예측은 파라미터 변화에도 불구하고 견고하다고 강조한다.

유사한 논문