Manipulation testing based on Benford's Law for discrete scores

Resumo Técnico: Teste de manipulação baseado na Lei de Benford para escores discretos

Problema
Os Desenhos de Descontinuidade de Regressão (RDD) dependem do pressuposto identificador crítico de que as unidades não podem manipular perfeitamente a variável de corrida (escore) para cruzar um ponto de corte de tratamento. Os métodos tradicionais de validação, como o teste de McCrary e suas extensões (Otsu et al., 2013; Cattaneo et al., 20,20), avaliam isso testando a continuidade na densidade da variável de corrida em torno do corte. No entanto, esses métodos enfrentam limitações significativas quando aplicados a escores discretos, que são comuns em aplicações empíricas. Em configurações discretas, o conceito de continuidade é inaplicável, e os pesquisadores devem confiar em conceitos mais fracos de assimetria ou procedimentos simples de contagem (Frandsen, 2017; Cattaneo et al., 2024). Além disso, testes de densidade padrão frequentemente exigem que os pesquisadores selecionem parâmetros discricionários (ex: ordens polinomiais, funções de kernel, larguras de banda) que podem enviesar os resultados. Adicionalmente, a configuração simétrica rígida dos testes clássicos de McCrary pode negligenciar desequilíbrios sistêmicos se a manipulação for direcional em vez de simétrica.

Metodologia
Os autores propõem um novo teste de manipulação fundamentado na Lei de Benford (LB), uma regularidade estatística natural que descreve a distribuição não uniforme dos dígitos iniciais em muitos conjuntos de dados do mundo real. A metodologia é desenhada especificamente para variáveis de corrida discretas e procede em duas fases principais:

1. Seleção de Largura de Banda (BW) Ótima via Procedimento Iterativo:
   Ao contrário dos métodos tradicionais onde o pesquisador escolhe a largura de banda, esta abordagem deriva uma BW ótima e orientada pelos dados usando um algoritmo iterativo.

• O procedimento particiona o suporte da variável de corrida ($R_i$) em conjuntos à esquerda ($g^{(-)}$) e à direita ($g^{(+)}$) em relação ao corte ($C$).
• Ele define iterativamente limiares endógenos ($X^{(-)}_n, X^{(+)}_n$) de modo que a massa de probabilidade dentro desses intervalos esteja em conformidade com a distribuição de Benford ($B_j = \log_{10}(1 + 1/j)$).
• A iteração continua até que a distribuição empírica dos dados dentro dos intervalos derivados minimize o Desvio Médio Absoluto (MAD) em relação à distribuição teórica de Benford, sujeito a um nível de aceitação pré-definido $\alpha$.
• Isso resulta em uma largura de banda ótima definida pelos limiares $(X^{(-)}_{n^*,1}, X^{(+)}_{n^*,1})$ que melhor satisfazem as propriedades da LB sem a discricionariedade do pesquisador.

2. Teste de Assimetria:
   Dentro da BW ótima, os autores propõem dois métodos complementares para detectar manipulação através da avaliação da assimetria:

• Abordagem de Limiar de Tolerância: Este método compara os limiares endógenos à esquerda ($X^{(-)}_j$) e à direita ($X^{(+)}_j$) do corte. Sob simetria perfeita, a distância do corte aos limiares correspondentes deve ser igual ($C - X^{(-)}_j = X^{(+)}_j - C$). O método normaliza essas distâncias em probabilidades e calcula uma métrica de distância $D$ entre os dois conjuntos de probabilidades.
• Abordagem MAD: Este método constrói limiares simétricos ($Y^{(-)}_k, Y^{(+)}_k$) em relação ao corte (por exemplo, $Y^{(+)}_k$ é o ponto à direita equidistante de $X^{(-)}_k$ à esquerda). Ele então calcula a massa de probabilidade empírica nesses intervalos simétricos e compara as distribuições resultantes com a distribuição de Benford usando estatísticas MAD separadas para o lado esquerdo ($MAD^{(-)}$) e direito ($MAD^{(+)}$).
• Granularidade Diagnóstica: Uma característica fundamental é a capacidade de detectar "simetria parcial". Se $MAD^{(+)}$ indica assimetria enquanto $MAD^{(-)}$ indica simetria (ou vice-versa), o teste pode identificar a direção específica da manipulação, distinguindo entre casos onde as unidades manipulam os escores para cruzar o corte versus casos onde elas não o fazem.

Principais Contribuições

• Aplicabilidade a Escores Discretos: O framework aborda a lacuna no teste de manipulação para variáveis de corrida discretas onde as suposições de continuidade falham.
• Eliminação de Parâmetros Discricionários: Ao usar a Lei de Benford para determinar tanto a largura de banda ótima quanto os limiares de densidade esperados, o método remove os parâmetros escolhidos pelo pesquisador (kernel, ordem polinomial, seleção de largura de banda) que frequentemente influenciam os resultados de testes do tipo McCrary.
• Sensibilidade Direcional: Diferente dos testes de densidade simétricos, esta abordagem separa os dados em componentes direcionais, permitindo que os pesquisadores identifiquem a origem exata dos desvios e detectem manipulações ocultas que os frameworks padrão podem perder.
• Adaptação Teórica: Os autores adaptam a LB de uma lei de dígitos para uma distribuição de probabilidade discreta de limiares, superando limitações relativas à cardinalidade do conjunto de dados e intervalos limitados frequentemente associados às aplicações padrão de LB.

Resultados

• Simulações: Em um exercício de simulação usando uma distribuição Normal perfeitamente simétrica com um corte deslocado (criando uma largura de banda assimétrica), o método proposto detectou com sucesso a assimetria induzida.
  • O método identificou corretamente que o lado esquerdo (intervalo mais curto) estava em conformidade com a simetria ($MAD^{(-)}$ foi baixo), enquanto o lado direito (intervalo mais longo) mostrou desvio significativo ($MAD^{(+)}$ foi alto).
  • Em contraste, um teste do tipo McCrary padrão aplicado ao mesmo intervalo assimétrico falhou em rejeitar a hipótese nula de simetria (p-valor = 0,850), demonstrando o poder diagnóstico superior da abordagem baseada em LB para detectar assimetrias sutis.
• Aplicações Empíricas:
  • Dataset de Meyersson (2014): Analisando a margem de vitória nas eleições municipais da Turquia, o teste identificou uma assimetria significativa à direita ($MAD^{(+)} > MAD^{(-)}$), sugerindo manipulação ou concentração de unidades no lado direito do corte.
  • Dataset de Londoño-Vélez et al. (2020): Analisando o índice de riqueza SISBEN na Colômbia, o teste detectou maior assimetria à esquerda ($MAD^{(-)} > MAD^{(+)}$), consistente com a estrutura de incentivos onde as unidades abaixo do corte são elegíveis.
  • Em ambos os casos, o método forneceu uma decomposição mais granular do comportamento da densidade do que os testes tradicionais, identificando desvios direcionais específicos.

Significância e Alegações
O artigo posiciona esta metodologia como uma salvaguarda de precaução vital e um complemento necessário aos testes tradicionais do tipo McCrary. Os autores alegam que, embora o teste de McCrary continue sendo o padrão da indústria, sua dependência de larguras de banda simétricas e suposições de densidade contínua limita seu poder diagnóstico, podendo levar a falsos negativos quando existem assimetrias subjacentes.

Ao alavancar a regularidade universal da Lei de Benford, o framework proposto oferece uma "lente mais prudente" e "granular" para avaliar o comportamento da densidade. Ele permite que os pesquisadores:

1. Evitem escolhas arbitrárias de parâmetros.
2. Detectem manipulação mesmo quando a densidade geral parece contín于a ou quando a manipulação é direcional.
3. Distingam entre "simetria à esquerda" e "simetria à direita", fornecendo contexto econômico aos achados estatísticos (ex: determinar se a manipulação é impulsionada por incentivos para cruzar o corte).

Os autores concluem que esta abordagem aumenta a robustez das verificações de validade de RDD, particularmente em configurações discretas, embora reconheçam a necessidade de pesquisas adicionais para estabelecer limiares operacionais mais claros para valores de MAD dependentes do tamanho da amostra.