당신이 비즈니스와 학교의 세계에서 벌어지는 거대하고 보이지 않는 게임의 심판이라고 상상해 보십시오. 이 게임에서 플레이어들(친환경적이 되려는 기업이나 대학에 입학하려는 학생들 같은)은 자신의 성과를 높이기 위해 숨겨진 행동을 취합니다. 심판(평가 기관이나 시험 채점자 같은)은 플레이어가 얼마나 노력했는지에 대한 노이즈가 섞인 단서를 보지만, 실제 관중(투자자나 대학)은 심판의 최종 점수만을 봅니다. 까다로운 점은 플레이어들이 영리하다는 것입니다. 그들은 심판의 규칙을 알고 있으며, 실제적인 선한 일을 하기보다는 높은 점수를 받는 데만 집중하거나 노력을 속이는 방식으로 시스템을 악용(gaming the system)하려 할 수 있습니다. 이것이 바로 **정보 설계(information design)**와 **도덕적 해이(moral hazard)**의 세계입니다. "도덕적 해이"란 사람들이 걸리지 않을 것이라고 생각하면 태만해지거나 속임수를 쓸 수 있다는 것을 의미하는 멋진 표현일 뿐입니다. 그리고 "정보 설계"는 사람들이 공정하게 플레이하도록 유지하기 위해 정확히 얼마만큼의 진실을 공개할지 결정하는 기술입니다. 큰 질문은 이것입니다. 심판은 플레이어의 성과에 대한 모든 세부 사항을 보여주어야 할까요, 아니면 플레이어의 동기 부여를 위해 일부를 숨겨야 할까요?

"최적의 등급 설계: 도덕적 해이 하에서(Optimal Rating Design under Moral Hazard)"라는 제목의 이 논문은 바로 이 질문을 깊이 파고듭니다. 저자인 메리암 사에디(Maryam Saeedi)와 알리 슈라이데(Ali Shourideh)는 완벽한 등급 시스템의 규칙북을 찾아내려는 숙련된 게임 디자이너처럼 행동합니다. 그들은 정답이 하나로 정해져 있지 않다는 것을 발견했습니다. 때로는 모든 것을 보여주는 것이 최선입니다. 하지만 종종, 정보를 **검열(censor)**하는 것, 즉 특정 결과들 사이의 경계를 의도적으로 흐리는 것이 가장 현명한 방법이 됩니다. 그들은 최선의 검열 방식이 플레이어의 노력이 성공 확률을 어떻게 변화시키느냐에 전적으로 달려 있다는 것을 발견했습니다. 만약 노력을 더 하는 것이 "홈런"을 칠 확률을 높이면서 동시에 "삼진 아웃"을 당할 확률도 높인다면, 최선의 등급 시스템은 나쁜 결과들을 숨겨야 합니다(낮은 수준의 검열). 반대로, 노력을 더 하는 것이 결과를 더 일관되게 만들고 위험을 줄이는 것이라면, 최선의 시스템은 놀라운 결과들을 숨겨야 합니다(높은 수준의 검열). 그들은 또한 플레이어가 실제 업무를 수행하지 않고도 높은 점수를 얻기 위해 겉치레를 할 수 있는(이를 "윈도우 드레싱(window dressing)"이라 부릅니다) 복잡한 상황에서, 심판이 때때로 중간 점수들을 통째로 숨겨야 한다는 점도 보여줍니다.

숨겨진 노력과 노이즈 섞인 단서의 게임

이 논문을 이해하기 위해 간단한 이야기로 무대를 설정해 봅시다. 한 제빵사가 마을에서 최고의 빵을 팔고 싶어 한다고 상상해 보세요. 제빵사는 열심히 일하거나(프리미엄 밀가루를 사용하고 몇 시간 동안 반죽함) 지름길을 택할(저렴한 밀가루와 기계를 사용함) 수 있습니다. 마을 고객들(시장)은 훌륭한 빵을 원하지만, 제빵사의 손을 볼 수는 없습니다. 그들은 오직 완성된 빵의 맛만을 느낄 수 있습니다. 평가 기관(중개인)은 제빵사를 관찰하며 "단서"를 봅니다. 예를 들어 주방의 냄새나 빵 껍질의 색깔 같은 것입니다. 이 단서에는 노이즈가 섞여 있습니다. 좋은 냄새가 반드시 훌륭한 빵을 보장하는 것은 아니며, 나쁜 냄새가 반드시 나쁜 빵을 보장하는 것도 아닙니다.

평가 기관은 선택권이 있습니다. 고객들에게 단서가 말해주는 바를 그대로 전달할 것인가, 아니면 "좋음", "보통", "나쁨"과 같이 모호한 요약본을 줄 것인가. 제빵사는 기관의 규칙을 알고 있습니다. 기관이 너무 가혹하면 제빵사는 포기할 수도 있습니다. 기관이 너무 관대하면 제빵사는 열심히 노력하는 대신 겉모습만 좋게 보이려 할 수도 있습니다. 기관은 제빵사가 최대한 열심히 일하게 하거나, 혹은 가난한 제빵사들이 살아남도록 돕거나, 혹은 제빵사들이 "좋음" 등급을 받기 위해 속임수를 쓰는 것을 막기 위한 등급 시스템을 설계하고자 합니다.

이 논문의 핵심적인 트릭은 등급 시스템이 단순히 점수를 주는 것이 아니라, 제빵사의 노력에 대한 **가격(price)**을 형성한다는 점을 깨닫는 것입니다. 등급이 "좋음"이면 제빵사는 빵에 대해 높은 가격을 받습니다. 등급이 "나쁨"이면 낮은 가격을 받습니다. 제빵사는 더 열심히 노력했을 때 기대할 수 있는 추가 수익이 얼마인지에 따라 얼마나 노력할지를 결정합니다. 저자들은 **중간 가격(interim prices)**이라는 영리한 개념을 도입합니다. 이것은 제빵사의 "두 번째 추측"이라고 생각하면 됩니다. 최종 등급이 나오기 전에 제빵사는 이렇게 생각합니다. "만약 좋은 냄새가 난다면, 고객들은 결국 나에게 어떤 평가를 내릴까?" 논문은 만약 등급 시스템이 공정하다면(즉, 더 높은 냄새가 항상 더 높은 기대 가격으로 이어진다면), 가능한 등급 시스템의 집합은 가공되지 않은 단서의 극단적인 변동을 "매끄럽게 만드는(smooth out)" 것들로 제한된다는 것을 증명합니다. 당신은 가공되지 않은 단서보다 가격을 더 격렬하게 요동치게 만들 수 없습니다. 오직 평균화할 수 있을 뿐입니다.

진실을 숨기는 마법

이 논문의 가장 흥이트나는 부분은 "언제 진실을 숨겨야 하는가?"라는 질문에 답하는 방식입니다. 저자들은 답이 제빵사의 노력이 결과의 형태를 어떻게 바꾸느냐에 달려 있다는 것을 발견했습니다. 그들은 이를 MLRP, ELRP, CLRP라고 부르는 세 가지 주요 시나리오로 식별했습니다.

1. 표준적인 경우 (MLRP): 모든 것을 보여라!
전형적인 교과서적인 세상에서는, 제빵사가 더 열심히 일하면 전반적으로 빵이 그냥 더 좋아집니다. 열심히 일하는 제빵사는 어느 지점에서 보더라도 항상 더 훌륭한 빵을 가질 확률이 높고, 나쁜 빵을 가질 확률은 낮습니다. 논문은 이 지루하고 예측 가능한 세상에서 최선의 등급 시스템은 **완전 공개(full disclosure)**임을 확인합니다. 당신은 고객에게 모든 것을 말해야 합니다. 왜냐하면 만약 당신이 나쁜 빵을 숨긴다면, 제빵사가 실제로 열심히 노력하고 있다는 사실을 실수로 숨기게 될 수도 있기 때문입니다. 만약 좋은 빵을 숨긴다면, 그들의 노력에 대한 보상을 앗아가는 것입니다. 따라서 이 표준적인 경우에서는 투명성이 왕입니다.

2. 위험한 혁신가 (ELRP): 재앙을 숨겨라!
이제 제빵사가 혁신가라고 상상해 보세요. 그들은 아주 새로운 레시피를 시도하고 있습니다. 만약 그들이 열심히 노력한다면, 전설적이고 세계적으로 유명한 빵(거대한 승리)을 만들 수도 있지만, 동시에 빵 전체를 태워버릴 수도(거대한 재앙) 있습니다. 만약 노력을 하지 않는다면, 그저 평범한 빵을 얻게 됩니다. 여기서 열심히 노력하는 것은 꼬리 부분을 확장시킵니다. 즉, 최고의 결과와 최악의 결과 모두를 더 발생 가능하게 만듭니다. 이것이 **확장된 가능도 비율 특성(Expanding Likelihood Ratio Property, ELRP)**입니다.

논문은 이 경우 최선의 등급 시스템이 **낮은 수준의 검열(lower censorship)**이라고 제안합니다. 즉, 기관은 정말 나쁜 결과들을 숨겨야 합니다. 만약 제빵사가 빵을 태웠다면, 기관은 그저 "그다지 좋지는 않다"라고 말해야지, 구체적인 재앙을 드러내서는 안 됩니다. 왜냐하면 제빵사가 완전한 실패가 공개적으로 망신을 당할 것이라는 것을 알게 되면, 위험한 새로운 레시시피를 시도하는 것을 너무 두려워할 수 있기 때문입니다. 나쁜 결과들을 하나로 묶어 "안전한" 평균 등급을 부여함으로써, 기관은 제빵사에게 하락 위험에 대한 보험을 제공합니다. 이는 제빵사가 전설적인 빵을 꿈꾸며 위험을 감수하고 열심히 노력하도록 독려합니다. 이는 마치 부모가 아이에게 "네가 이 로켓을 만들려다 폭발하더라도, 우리는 그냥 학습 경험이었다고 말할 거야"라고 말하여 아이가 불을 붙이는 것을 너무 무서워하지 않게 하는 것과 같습니다.

3. 신중한 유지자 (CLRP): 기적을 숨겨라!
반대로, 제빵사가 그저 빵의 일관성을 유지하고 싶어 한다고 상상해 보세요. 만약 그들이 열심히 일한다면, 실수를 멈추게 됩니다. 그들은 더 전설적인 빵을 만들지는 못하지만, 탄 빵을 만드는 일은 멈춥니다. 열심히 일하는 것은 분포를 중간 쪽으로 압축합니다. 이것이 **압축된 가능도 비율 특성(Compressing Likelihood Ratio Property, CLRP)**입니다.

여기서 논문은 **높은 수준의 검열(upper censorship)**을 주장합니다. 기관은 정말 좋은 결과들을 숨겨야 합니다. 만약 제빵사가 우연히 완벽한 빵을 만들었다 하더라도, 기관은 그것이 기적이었다는 것을 밝히지 않고 그저 "좋다"라고만 말해야 합니다. 왜냐하면 만약 제빵사가 완벽한 빵이 큰 보상을 받을 것이라는 것을 알게 된다면, 운에 기대어 지름길을 택하려 할 수 있기 때문입니다. 하지만 기관이 높은 점수를 숨긴다면, 제빵사는 일관성을 유지하고 실수를 피하는 것만이 "좋음" 등급을 받는 유일한 길임을 깨닫게 됩니다. 높은 점수를 숨김으로써, 기관은 제빵사가 나태하거나 일관성이 없을 때(왜냐하면 나태하다면 실수로 나쁜 빵을 만들 수 있고, 그 나쁜 빵은 드러나서 처벌받을 것이기 때문) 적절히 대응합니다. 이는 마치 학생들이 운 좋게 점수를 잘 받기를 바라기보다 낙제하지 않는 것에 집중하도록, "A+"는 숨기고 "F"는 보여주는 선생님과 같습니다.

윈도우 드레싱의 함정

논문은 또한 교활한 문제인 **윈도우 드레싱(window dressing)**을 다룹니다. 이것은 플레이어가 시장에는 실제로 도움이 되지 않으면서 등급에는 좋게 보이도록 무언가를 할 때 발생합니다. 예를 들어, 어떤 회사는 실제 환경 파괴는 무시하면서 ESG 점수를 좋게 만들기 위해 화려한 광고 캠위를 펼칠 수 있습니다. 또는 학생이 내용을 학습하지 않고 시험 답안을 암기할 수도 있습니다.

저자들은 등급 시스템이 노력을 완벽하게 측정하더라도, 플레이어가 신호를 "조작"할 수 있다면 여전히 문제가 생길 수 있다는 것을 발견했습니다. 그들은 **단조로운 상대적 정보성(Monotone Relative Informativeness, MRIP)**이라는 규칙을 도입했습니다. 이것은 "높은 점수가 플레이어의 진짜 노력에서 온 것인가, 아니면 가짜 노력에서 온 것인가?"를 묻는 세련된 표현입니다.

만약 높은 점수가 항상 가짜 노력으로부터 나올 가능성이 높다면, 최선의 등급 시스템은 높은 수준의 검열(높은 점수를 숨기는 것)입니다. 이는 조작자가 자신의 속임수로 큰 보상을 받는 것을 막습니다. 만약 높은 점수가 항상 진짜 노력으로부터 나올 가능성이 높다면, 최선의 시스템은 낮은 수준의 검열(낮은 점수를 숨기는 것)을 통해 진짜 노동자를 격려하는 것입니다. 여기서 핵심 통찰은 시스템 전체를 바꿀 필요 없이, 조작자들이 잘하는 특정 부분의 점수만을 검열하면 된다는 것입니다. 이는 마치 선생님이 학생이 객관식 답안은 잘 맞히지만 에세이는 못 한다는 것을 깨달았을 때, 학생의 실제 지식을 제대로 파악하기 위해 객관식 점수는 숨기고 에세이 점수만 보여주기로 결정하는 것과 같습니다.

중간 지대: 재분배 테스트

마지막으로, 논문은 다른 목표인 **재분배(redistribution)**를 살펴봅니다. 소외된 학생들을 돕고자 하는 학교 시스템을 상상해 보세요. 학교는 어떤 학생들은 (예를 들어 공부할 조용한 장소가 없는 등) 더 힘든 상황에 처해 있어, 같은 점수를 얻기 위해 두 배로 노력해야 한다는 것을 알고 있습니다. 학교는 모든 사람이 노력하도록 독려하면서도, 어려움을 겪는 학생들에게 도움을 줄 수 있는 테스트를 설계하고 싶어 합니다.

저자들은 이 경우 최적의 테스트가 **중간 검열(mid-censorship)**을 사용할 수 있다고 발견했습니다. 이것은 테스트가 중간 점수는 숨기되 매우 높거나 매우 낮은 점수는 드러내는 기묘한 중간 지대입니다. 왜냐하면 중간을 숨기면, 어려움을 겪는 학생들이 자신의 노력을 반영하지 못하는 "보통" 점수에 낙담하는 것을 방지할 수 있기 때문입니다. 동시에, 높은 점수는 공개하여 상위 성과자를 보상하고, 낮은 점수는 공개하여 모두가 계속 노력하도록 유지합니다. 이것은 균형 잡기입니다. "괜찮은" 결과들은 모아서 친절을 베풀되, 극단적인 결과들은 날카롭게 유지하여 최선을 다하려는 동기를 부여하는 것입니다.

거시적 관점

논문은 결론적으로 단 하나의 "최선"의 등급 시스템은 없다고 말합니다. 완벽한 설계는 평가되는 업무의 성격에 전적으로 달려 있습니다.

• 업무가 일상적이고 예측 가능하다면, 모든 것을 보여주십시오.
• 업무가 위험하고 혁신적이라면, 대담함을 독려하기 위해 실패를 숨기십시오.
• 업무가 일관성과 안전에 관한 것이라면, 나태함을 방지하기 위해 기적을 숨기십시오.
• 업무에 속임수가 포함되어 있다면, 조작자가 조작할 수 있는 점수를 숨기십시오.
• 목표가 공정성이라면, 취약한 계층을 보호하기 위해 중간 지대를 숨기십시오.

저자들은 이러한 "검열" 전략이 단순한 추측이 아니라 복잡한 방정식을 통해 도출된 최적의 솔루션임을 수학적으로 증명합니다. 그들은 최선의 등급 시스템이 종종 단순하고 결정론적인 규칙, 즉 "점수가 X 미만이면 '나쁨', X와 Y 사이면 '평균', Y 이상이면 '좋음'"과 같은 형태라는 것을 보여줍니다. 하지만 마법은 바로 그 선을 어디에 긋느냐에 있습니다. 노력이 성공 확률을 어떻게 바꾸는지 이해함으로써, 우리는 단순히 성과를 측정하는 것을 넘어 실제로 더 나은 성과를 만들어내는 등급 시스템을 설계할 수 있습니다.

아마존 리뷰부터 대학 입시, ESG 점수에 이르기까지 등급이 가득한 세상에서, 이 논문은 규제자와 설계자들에게 도구 상자를 제공합니다. 이 논문은 우리가 진실을 숨기는 것처럼 보이는 등급 시스템을 보게 될 때, 그것이 실수나 음모가 아니라 가장 현명한 가능성일 수도 있음을 시사합니다.