📈 economics

Manipulation testing based on Benford's Law for discrete scores

Este artículo presenta un novedoso marco de prueba de manipulación para Diseños de Discontinuidad de Regresión que aprovecha la Ley de Benford para detectar desequilibrios estructurales en las variables de asignación mediante el análisis de componentes de densidad direccional, ofreciendo una alternativa libre de parámetros y más sensible a las pruebas tradicionales de tipo McCrary.

Autores originales: Roy Cerqueti, Marco Ventura

Publicado 2026-07-16✓ Author reviewed ⓘ

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Roy Cerqueti, Marco Ventura

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando averiguar si se está jugando un juego de forma justa. En el mundo de la economía y las ciencias sociales, los investigadores suelen utilizar un truco ingenioso llamado "Diseño de Discontinuidad de Regresión" (RDD, por sus siglas en inglés) para ver si una política específica realmente funciona. Piensa en ello como una beca escolar: si obtienes 90 o más en un examen, recibes un viaje gratis; si obtienes 89, no recibes nada. La idea es que los estudiantes que obtienen 89 y 90 son casi idénticos, por lo que, si los de 90 se desenvuelven mejor en la vida, debe ser debido al viaje y no porque fueran más inteligentes de antemano. Pero aquí está el problema, ¿y si alguien hace trampa? ¿Qué pasa si un estudiante que sacó 89 de alguna manera "manipuló" su puntuación para obtener un 90? Si eso sucede, todo el experimento se arruina porque los dos grupos ya no son idénticos.

Para atrapar a los tramposos, los científicos suelen observar la "densidad" de las puntuaciones alrededor de la línea de corte. En un juego justo, el número de personas que puntúan justo por debajo de la línea debería coincidir aproximadamente con el número de personas que puntúan justo por encima, creando una colina de datos suave y continua. Si hay un salto repentino o un vacío justo en la línea, parece que alguien ha empujado los datos. Sin embargo, las herramientas tradicionales para detectar este salto tienen un punto ciego: a menudo asumen que los datos son perfectamente suaves y continuos, como un río que fluye. Pero en el mundo real, las puntuaciones suelen ser "discretas", lo que significa que son como los peldaños de una escalera: puedes obtener un 90 o un 91, pero no puedes obtener un 90.5. Cuando los datos son una escalera, las herramientas antiguas a veces pasan por alto la trampa porque están buscando un río suave que no existe.

Aquí es donde un nuevo artículo de Roy Cerqueti y Marco Ventura interviene con una idea fresca. Proponen utilizar una regla matemática llamada Ley de Benford para detectar la manipulación en estos escenarios de "escalera". Quizás conozcas la Ley de Benford por los dramas criminales; es la observación de que en muchas listas de números que ocurren naturalmente (como las poblaciones de las ciudades o las facturas de electricidad), el primer dígito no es aleatorio. En cambio, el número 1 aparece como el primer dígito aproximadamente el 30% de las veces, mientras que el 9 aparece menos del 5%. Es un patrón natural que surge de cómo crecen los números en el mundo real. Los autores se dieron cuenta de que si alguien falsifica los datos para empujar las puntuaciones por encima de un límite, rompe este patrón natural.

El artículo sugiere una nueva forma de probar la trampa que no depende de que el investigador adivine cómo configurar sus herramientas. En su lugar, utiliza la Ley de Benford para encontrar automáticamente la "ventana" perfecta de datos para observar, justo alrededor de la línea de corte. Luego dividen los datos en dos grupos: los que están justo por debajo de la línea y los que están justo por encima. Comprueban si los "peldaños" de la escalera siguen el patrón natural de Benford en ambos lados. Si el patrón parece diferente en un lado comparado con el otro, esto sugiere una asimetría en la distribución de los datos.

En sus simulaciones, los autores descubrieron que su nuevo método es como un microscopio de alta potencia comparado con las herramientas antiguas. Mientras que las pruebas tradicionales a menudo pasaban por alto la asimetría cuando los datos eran discretos (como una escalera), este nuevo método detectó con éxito la asimetría. Probaron su método en dos ejemplos del mundo real: uno sobre las elecciones políticas en Turquía y otro sobre becas universitarias en Colombia. En ambos casos, las pruebas tradicionales confirmaron que los datos mostraban continuidad (lo que significa que no se detectó una manipulación evidente), pero su nuevo método detectó signos sutiles de asimetría en la distribución que las herramientas antiguas pasaron por alto. Los autores sugieren que esto no significa necesariamente que los estudios fueran falsos o que la manipulación haya ocurrido definitivamente, sino que significa que los investigadores deben ser extra cuidadosos. Argumentan que esta nueva prueba debería usarse junto con las antiguas como una "salvaguarda de precaución", ofreciendo una mirada más detallada de si los datos se están comportando realmente de forma natural o si existen desequilibrios estructurales que requieren una mayor investigación.

Resumen Técnico: Pruebas de manipulación basadas en la Ley de Benford para puntuaciones discretas

Planteamiento del Problema
Los Diseños de Regresión con Discontinuidad (RDD) dependen del supuesto crítico de identificación de que las unidades no pueden manipular perfectamente la variable de asignación (puntuación) para cruzar un umbral de tratamiento. Los métodos de validación tradicionales, como la prueba de McCrary y sus extensiones (Otsu et al., 2013; Cattaneo et al., 2020), evalúan esto mediante el testeo de la continuidad en la densidad de la variable de asignación alrededor del umbral. Sin embargo, estos métodos enfrentan limitaciones significativas cuando se aplican a puntuaciones discretas, las cuales son comunes en aplicaciones empíricas. En entornos discretos, el concepto de continuidad es inaplicable y los investigadores deben recurrir a conceptos más débiles de asimetría o procedimientos simples de conteo (Frandsen, 2017; Cattaneo et al., 2024). Además, las pruebas estándar basadas en la densidad suelen requerir que los investigadores seleccionen parámetros discrecionales (por ejemplo, órdenes polinómicos, funciones de kernel, anchos de banda) que pueden sesgar los resultados. Asimismo, la configuración simétrica rígida de las pruebas clásicas de McCrary puede pasar por alto desequilibrios sistémicos si la manipulación es direccional en lugar de simétrica.

Metodología
Los autores proponen una nueva prueba de manipulación fundamentada en la Ley de Benford (LB), una regularidad estadística natural que describe la distribución no uniforme de los dígitos principales en muchos conjuntos de datos del mundo real. La metodología está diseñada específicamente para variables de asignación discretas y procede en dos fases principales:

Selección del Ancho de Banda (BW) Óptimo mediante un Procedimiento Iterativo:
A diferencia de los métodos tradicionales donde el investigador elige el ancho de banda, este enfoque deriva un BW óptimo y basado en los datos utilizando un algoritmo iterativo.

El procedimiento particiona el soporte de la variable de asignación ( $R_i$ ) en conjuntos izquierdo ( $g^{(-)}$ ) y derecho ( $g^{(+)}$ ) respecto al umbral ( $C$ ).
Define iterativamente umbrales endógenos ( $X^{(-)}_n, X^{(+)}_n$ ) tales que la masa de probabilidad dentro de estos intervalos se ajuste a la distribución de Benford ( $B_j = \log_{10}(1 + 1/j)$ ).
La iteración continúa hasta que la distribución empírica de los datos dentro de los intervalos derivados minimiza la Desviación Absoluta Media (MAD) de la distribución teórica de Benford, sujeto a un nivel de aceptación predefinido $\alpha$ .
Esto produce un ancho de banda óptimo definido por los umbrales $(X^{(-)}_{n^*,1}, X^{(+)}_{n^*,1})$ que satisfacen mejor las propiedades de la LB sin la discreción del investigador.

Prueba de Asimetría:
Dentro del BW óptimo, los autores proponen dos métodos complementarios para detectar la manipulación evaluando la asimetría:

Enfoque de Umbral de Tolerancia: Este método compara los umbrales endógenos a la izquierda ( $X^{(-)}_j$ ) y a la derecha ( $X^{(+)}_j$ ) del umbral. Bajo una simetría perfecta, la distancia desde el umbral hasta los umbrales correspondientes debería ser igual ( $C - X^{(-)}_j = X^{(+)}_j - C$ ). El método normaliza estas distancias en probabilidades y calcula una métrica de distancia $D$ entre los dos conjuntos de probabilidades.
Enfoque MAD: Este método construye umbrales simétricos ( $Y^{(-)}_k, Y^{(+)}_k$ ) respecto al umbral (por ejemplo, $Y^{(+)}_k$ es el punto a la derecha equidistante a $X^{(-)}_k$ a la izquierda). Luego calcula la masa de probabilidad empírica en estos intervalos simétricos y compara las distribuciones resultantes con la distribución de Benford utilizando estadísticas MAD separadas para el lado izquierdo ( $MAD^{(-)}$ ) y el lado derecho ( $MAD^{(+)}$ ).
Granularidad Diagnóstica: Una característica clave es la capacidad de detectar "simetría parcial". Si $MAD^{(+)}$ indica asimetría mientras que $MAD^{(-)}$ indica simetría (o viceversa), la prueba puede señalar la dirección específica de la manipulación, distinguiendo entre casos donde las unidades manipulan las puntuaciones para cruzar el umbral frente a casos donde no lo hacen.

Contribuciones Clave

Aplicabilidad a Puntuaciones Discretas: El marco aborda el vacío en las pruebas de manipulación para variables de asignación discretas donde los supuestos de continuidad fallan.
Eliminación de Parámetros Discrecionales: Al utilizar la Ley de Benford para determinar tanto el ancho de banda óptimo como los umbrales de densidad esperados, el método elimina los parámetros elegidos por el investigador (kernel, orden polinómico, selección de ancho de banda) que a menudo influyen en los resultados de las pruebas tipo McCrary.
Sensibilidad Direccional: A diferencia de las pruebas de densidad simétricas, este enfoque separa los datos en componentes direccionales, permitiendo a los investigadores identificar el origen exacto de las desviaciones y detectar la manipulación oculta que los marcos estándar podrían omitir.
Adaptación Teórica: Los autores adaptan la LB de una ley de dígitos a una distribución de probabilidad discreta de umbrales, superando las limitaciones de cardinalidad de conjuntos de datos y rangos acotados asociados con las aplicaciones estándar de la LB.

Resultos

Simulaciones: En un ejercicio de simulación utilizando una distribución Normal perfectamente simétrica con un umbral desplazado (creando un ancho de banda asimétrico), el método propuesto detectó con éxito la asimetría inducida.
- El método identificó correctamente que el lado izquierdo (intervalo más corto) se ajustaba a la simetría ( $MAD^{(-)}$ fue bajo), mientras que el lado derecho (intervalo más largo) mostró una desviación significativa ( $MAD^{(+)}$ fue alto).
- En contraste, una prueba estándar de tipo McCrary aplicada al mismo intervalo asimétrico no logró rechazar la hipótesis nula de simetría (p-valor = 0.850), demostrando el poder diagnóstico superior del enfoque basado en la LB para detectar asimetrías matizadas.
Aplicaciones Empíricas:
- Dataset de Meyersson (2014): Al analizar el margen de victoria en las elecciones municipales turcas, la prueba identificó una asimetría significativa hacia la derecha ( $MAD^{(+)} > MAD^{(-)}$ ), sugiriendo manipulación o concentración de unidades en el lado derecho del umbral.
- Dataset de Londoño-Vélez et al. (2020): Al analizar el índice de riqueza SISBEN en Colombia, la prueba detectó una mayor asimetría hacia la izquierda ( $MAD^{(-)} > MAD^{(+)}$ ), consistente con la estructura de incentivos donde las unidades por debajo del umbral son elegibles.
- En ambos casos, el método proporcionó un desglose más granular del comportamiento de la densidad que las pruebas tradicionales, identificando desviaciones direccionales específicas.

Significancia y Reivindicaciones
El artículo posiciona esta metodología como una salvaguarda preventiva vital y un complemento necesario para las pruebas tradicionales de tipo McCrary. Los autores sostienen que, si bien la prueba de McCrary sigue siendo el estándar de la industria, su dependencia de anchos de banda simétricos y supuestos de densidad continua limita su poder de diagnóstico, lo que puede conducir a falsos negativos cuando existen asimetrías subyacentes.

Al aprovechar la regularidad universal de la Ley de Benford, el marco propuesto ofrece una "lente más prudente" y "granular" para evaluar el comportamiento de la densidad. Permite a los investigadores:

Evitar elecciones de parámetros arbitrarias.
Detectar la manipulación incluso cuando la densidad general parece continua o cuando la manipulación es direccional.
Distinguir entre "simetría izquierda" y "simetría derecha", proporcionando contexto económico a los hallazgos estadísticos (por ejemplo, determinar si la manipulación es impulsada por incentivos para cruzar el umbral).

Los autores concluyen que este enfoque mejora la robustez de las verificaciones de validez de los RDD, particularmente en entornos discretos, aunque reconocen la necesidad de mayor investigación para establecer umbrales operativos más claros para los valores de MAD dependiendo del tamaño de la muestra.

Más como este