Manipulation testing based on Benford's Law for discrete scores

기술 요약: 이산 점수(discrete scores)에 대한 벤포드의 법칙(Benford's Law) 기반 조작 검정

문제 제기
회귀 불연속 설계(Regression Discontinuity Designs, RDD)는 단위(unit)가 처리 절단점(treatment cutoff)을 넘기 위해 실행 변수(running variable, 점수)를 완벽하게 조작할 수 없다는 결정적인 식별 가정에 의존한다. 전통적인 검증 방법인 McCrary 검정과 그 확장판들(Otsu et al., 2013; Cattaneo et al., 2020)은 절단점 주변의 실행 변수 밀도(density)의 연속성을 테스트함으로써 이를 평가한다. 그러나 이러한 방법들은 실증 연구에서 흔히 나타나는 이산적 점수(discrete scores)에 적용할 때 상당한 한계에 직면한다. 이산적인 설정에서는 연속성이라는 개념을 적용할 수 없으며, 연구자들은 더 약한 개념인 비대칭성(asymmetry)이나 단순 계수 절차(counting procedures)에 의존해야 한다(Frandsen, 2017; Cattaneo et al., 2024). 또한, 표준 밀도 기반 테스트는 연구자가 결과에 편향을 줄 수 있는 임의적인 파라미터(예: 다항식 차수, 커널 함수, 대역폭)를 선택해야 하는 경우가 많다. 아울러, 고전적인 McCrary 테스트의 경직된 대칭적 설정은 조작이 대칭적이 아니라 방향성을 띠는 경우 체계적인 불균형을 간과할 수 있다.

방법론
저자들은 많은 실제 데이터셋에서 나타나는 선두 숫자의 비균등 분포를 설명하는 자연적 통계 규칙인 벤포드의 법칙(Benford's Law, BL)에 기초한 새로운 조작 검정을 제안한다. 이 방법론은 이산적 실행 변수를 위해 특별히 설계되었으며, 다음의 두 가지 주요 단계로 진행된다:

1. 반복 절차를 통한 최적 대역폭(Optimal Bandwidth, BW) 선택:
   연구자가 대역폭을 직접 선택하는 기존 방식과 달리, 이 접근법은 반복 알고리즘을 사용하여 데이터 기반의 최적 대역폭을 도출한다.

• 이 절차는 실행 변수의 지지 집합($R_i$)을 절단점($C$)을 기준으로 왼쪽($g^{(-)}$)과 오른쪽($g^{(+)}$) 집합으로 분할한다.
• 이 방법은 확률 질량(probability mass)이 벤포드 분포($B_j = \log_{10}(1 + 1/j)$)를 따르도록 하는 내생적 임계값($X^{(-)}_n, X^{(+)}_n$)을 반복적으로 정의한다.
• 이 반복은 유도된 구간 내의 데이터의 경험적 분포가 사전에 정의된 허용 수준 $\alpha$를 준수하면서 이론적 벤포드 분포로부터의 평균 절대 편차(Mean Absolute Deviation, MAD)를 최소화할 때까지 계속된다.
• 이를 통해 연구자의 자의성 없이 벤포드 특성을 가장 잘 만족하는 임계값 $(X^{(-)}_{n^*,1}, X^{(+)}_{n^*,1})$에 의해 정의된 최적 대역폭을 산출한다.

2. 비대칭성 검정:
   최적 대역폭 내에서 저자들은 비대칭성을 평가하여 조작을 탐지하는 두 가지 상호 보완적인 방법을 제안한다.

• 허용 임계값 접근법(Tolerance Threshold Approach): 이 방법은 절단점의 좌우에 있는 내생적 임계값($X^{(-)}_j$ 및 $X^{(+)}_j$)을 비교한다. 완벽한 대칭 하에서, 절단점에서 대응하는 임계값까지의 거리는 동일해야 한다($C - X^{(-)}_j = X^{(+)}_j - C$). 이 방법은 이러한 거리들을 확률로 정규화하고 두 확률 집합 사이의 거리 척도 $D$를 계산한다.
• MAD 접근법: 이 방법은 절단점에 대해 대칭적인 임계값($Y^{(-)}_k, Y^{(+)}_k$)을 구축한다(예: $Y^{(+)}_k$는 왼쪽의 $X^{(-)}_k$와 거리가 같은 오른쪽 지점). 그런 다음 이 대칭 구간 내의 경험적 확률 질량을 계산하고, 별도의 MAD 통계량(왼쪽 $MAD^{(-)}$ 및 오른쪽 $MAD^{(+)}$)을 사용하여 이를 벤포드 분포와 비교한다.
• 진단적 세밀함(Diagnostic Granularity): 핵심적인 특징은 "부분적 대칭"을 탐지할 수 있는 능력이다. 만약 $MAD^{(+)}$가 비대칭을 나타내는 반면 $MAD^{(-)}$는 대칭을 나타낸다면(또는 그 반대의 경우), 이 테스트는 조작의 구체적인 방향을 짚어낼 수 있으며, 단위들이 절단점을 넘기 위해 점수를 조작하는 경우와 그렇지 않은 경우를 구분할 수 있다.

주요 기여

• 이산 점수 적용 가능성: 이 프레임워크는 연속성 가정이 성립하지 않는 이산적 실행 변수에 대한 조작 검정의 공백을 메운다.
• 자의적 파라미터 제거: 벤포드의 법칙을 사용하여 최적 대역폭과 기대 밀도 임계값을 모두 결정함으로써, McCrary 유형의 테스트에 영향을 미칠 수 있는 연구자 선택 파라미터(커널, 다항식 차수, 대역폭 선택)를 제거한다.
• 방향성 민감도: 대칭적 밀도 테스트와 달리, 이 접근법은 데이터를 방향별 구성 요소로 분리하여 연구자가 편차의 정확한 기원을 식별하고 표준 프레임워크가 놓칠 수 있는 숨겨진 조작을 탐지할 수 있게 한다.
• 이론적 적응: 저자들은 데이터의 기수(cardinality) 및 일반적인 BL 적용 시 발생하는 제한적인 범위 문제를 극복하기 위해, 숫자의 법칙으로서의 BL을 임계값의 이산 확률 분포로 적응시켰다.

결과

• 시뮬레이션: 편향된 절단점을 가진 완벽한 대칭 정규 분포를 사용한 시뮬레이션 실험에서, 제안된 방법은 유도된 비대칭성을 성공적으로 탐지했다.
  • 이 방법은 왼쪽 구간(짧은 구간)은 대칭을 따르는 반면($MAD^{(-)}$가 낮음), 오른쪽 구간(긴 구간)은 유의미한 편차를 보인다($MAD^{(+)}$가 높음)는 것을 정확히 식별했다.
  • 반면, 동일한 비대칭 구간에 적용된 표준 McCrary 유형의 테스트는 귀무가설인 대칭성을 기각하는 데 실패했다(p-value = 0.850). 이는 벤포드 법칙 기반 접근법이 미세한 비대칭성을 탐지하는 데 있어 우월한 진단 능력을 갖추고 있음을 입증한다.
• 실증 적용:
  • Meyersson (2014) 데이터셋: 터키 지방 선거의 승리 차이를 분석한 결과, 테스트는 유의미한 우측 비대칭($MAD^{(+)} > MAD^{(-)}$)을 식별하였으며, 이는 절단점 우측에 단위들이 집중되거나 조작이 발생했음을 시사한다.
  • Londoño-Vélez et al. (2020) 데이터셋: 콜롬비아의 SISBEN 부(wealth) 지수를 분석한 결과, 테스트는 더 큰 좌측 비대칭($MAD^{(-)} > MAD^{(+)}$)을 탐지했다. 이는 절단점 미만의 단위들이 혜택을 받을 수 있는 인센티브 구조와 일치한다.
  • 두 사례 모두에서 이 방법은 전통적인 테스트보다 더 세밀한 밀도 행동 분석을 제공하여 특정 방향의 편차를 식별해 냈다.

의의 및 주장
본 논문은 이 방법론을 전통적인 McCrary 유형 테스트의 필수적인 보완재이자 중요한 예방적 안전장치로 위치시킨다. 저자들은 McCray 테스트가 업계 표준으로 남아있지만, 대칭적 대역폭과 연속적 밀도 가정에 대한 의존성이 진단 능력을 제한하여, 근본적인 비대칭성이 존재할 때 위음성(false negative)을 초래할 수 있다고 주장한다.

벤포드의 법칙이 가진 보편적 규칙성을 활용함으로써, 제안된 프레임워크는 밀도 행동을 평가하기 위한 "더 신중하고" "세밀한 렌즈"를 제공한다. 이를 통해 연구자는 다음과 같은 이점을 얻을 수 있다:

1. 임의적인 파라미터 선택을 피할 수 있다.
2. 전체 밀도가 연속적으로 보이거나 조작이 방향성을 띠는 경우에도 조작을 탐지할 수 있다.
3. "좌측 대칭"과 "우측 대칭"을 구분하여, 통계적 결과에 경제적 맥락(예: 조작이 절단점을 넘으려는 인센티브에 의한 것인지 여부)을 부여할 수 있다.

저자들은 이 접근법이 특히 이산적 설정에서 RDD 타당성 검증의 견고성을 높인다고 결론짓는다. 다만, 표본 크기에 따른 MAD 값의 명확한 운영 임계치를 확립하기 위해 추가 연구가 필요함을 인정한다.