📊 statistics

Centroid-Referenced Mahalanobis Matching (CRM): A Scalable, Representation-Based Framework for Causal Inference in Large Observational Studies

El artículo propone el Emparejamiento de Mahalanobis Referenciado por Centroides (CRM), un marco basado en representaciones y escalable que reemplaza las costosas búsquedas globales por pares con un muestreo estratificado en coordenadas de referencia para lograr una inferencia causal eficiente con diagnósticos de soporte explícitos y un sólido rendimiento a gran escala en conjuntos de datos como Criteo.

Autores originales: Keming Hu, Yingpei He

Publicado 2026-08-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Keming Hu, Yingpei He

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la ciencia moderna, los investigadores a menudo se enfrentan a un dilema: tienen montañas de datos del mundo real, pero no pueden realizar los experimentos controlados que les dirían con certeza si una cosa causa otra. Imagine a un médico que intenta comprender si un nuevo fármaco funciona, pero en lugar de asignar pacientes de forma aleatoria, debe analizar los registros de personas que ya decidieron tomarlo. El problema es que quienes eligieron el fármaco podrían ser diferentes de quienes no lo hicieron; podrían ser más sanos, más ricos o más cuidadosos con sus hábitos. Para encontrar el verdadero efecto del fármaco, los científicos deben hallar una manera de comparar el grupo tratado con un grupo de control que sea exactamente igual en todo lo demás. Este proceso, llamado emparejamiento (matching), es como intentar encontrar un gemelo perfecto para cada persona en una multitud, pero cuando la multitud crece a millones, la tarea se vuelve tan computacionalmente pesada que ralentiza el proceso hasta el punto de estancarse o, peor aún, obliga a los investigadores a desechar a tanta gente que la respuesta final ya no es aplicable a toda la población.

Un equipo de investigadores de Target Corporation, Keming Hu e Yingpei He, ha propuesto una nueva forma de resolver este rompecabezas, diseñada específicamente para la era de los datos masivos. Llaman a su método Emparejamiento de Mahalanobis Referenciado por Centroides, o CRM (por sus siglas en inglés). En lugar de intentar comparar a cada persona del grupo de tratamiento contra cada persona del grupo de control —una tarea que se vuelve imposiblemente costosa a medida que los datos escalan—, cambiaron el enfoque por completo. En lugar de buscar gemelos individuales, construyeron un mapa de las características del grupo de tratamiento y luego pidieron al grupo de control que llenara los huecos en ese mapa. Crearon un sistema de coordenadas bidimensional para cada persona basado en qué tan lejos se sitúa del centro del grupo de tratamiento y en qué dirección se inclina respecto al grupo de control. Al organizar a las personas en contenedores (bins) en este mapa y muestrear controles para igualar la distribución del tratamiento, pueden construir una comparación justa sin tener que realizar nunca la lenta búsqueda de fuerza bruta que suele crear cuellos de botella en estos estudios.

Los investigadores probaron esta idea en un conjunto de datos masivo proveniente de una campaña de publicidad digital que involucraba casi catorce millones de observaciones. En este escenario del mundo real, descubrieron que su método podía procesar los datos en poco menos de siete minutos en un solo procesador de computadora. En contraste, los métodos tradicionales que dependen de encontrar al vecino más cercano para cada persona tardaron significamente más o simplemente no pudieron ejecutarse a esa escala. Más importante aún, el nuevo método no solo ahorró tiempo, sino que preservó la integridad del estudio. Mientras que otras técnicas a menudo tenían que descartar grandes porciones del grupo de tratamiento para forzar un emparejamiento, el CRM mantuvo al menos el 99.4% de los individuos tratados, asegurando que los resultados siguieran siendo relevantes para la gran mayoría de la población. El estudio también reveló una verdad sorprendente sobre cómo los científicos juzgan actualmente la calidad de sus emparejamientos. Una métrica popular que mide qué tan bien se equilibran dos grupos en promedio puede ser engañosa; los investigadores demostraron que un método puede lograr un puntaje de equilibrio casi perfecto en el papel y, aun así, producir una estimación altamente inexacta del efecto del tratamiento. Su enfoque, por el contrario, proporcionó una advertencia clara y anticipada si los datos simplemente no contenían suficientes personas similares para hacer una comparación justa, permitiendo a los investigadores conocer los límites de sus conclusiones incluso antes de comenzar.

El núcleo de esta innovación reside en cómo maneja la geometría de los datos. En el pasado, los investigadores a menudo intentaban comprimir información compleja en unos pocos números simples antes del emparejamiento, con la esperanza de facilitar la búsqueda. Sin embargo, esta compresión a menudo desechaba detalles sutiles que eran cruciales para comprender el resultado. El nuevo método evita esta trampa utilizando la forma natural de los datos del grupo de tratamiento como guía. Calcula una distancia para cada persona basada en cómo se relacionan con el sujeto promedio del tratamiento, y una puntuación direccional que muestra cómo se alinean con la diferencia entre los grupos tratados y no tratados. Esto crea un marco de referencia que respeta la complejidad total de los datos originales sin necesidad de simplificarlos primero. Cuando los investigadores aplicaron esto a un conjunto de datos clásico sobre el tabaquismo y la presión arterial, el método se comportó de manera sensata, identificando un pequeño número de personas que no podían ser emparejadas e informando esta limitación de forma transparente, en lugar de excluirlas silenciosamente.

Los hallazgos sugieren que, para los estudios observacionales a gran escala, el objetivo debería cambiar de encontrar el emparejamiento absolutamente perfecto para cada individuo a crear una distribución representativa que capture la esencia de la población. Los investigadores demostraron que su método no es una solución mágica que supere a todas las demás técnicas en todas las situaciones; en conjuntos de datos más pequeños, otros métodos establecidos pueden, en ocasiones, lograr un equilibrio ligeramente más ajustado. Sin embargo, en el régimen donde los datos son demasiado grandes para las herramientas tradicionales, el CRM ofrece una alternativa escalable y transparente que mantiene a la población objetivo a la vista. Proporciona una forma de ver exactamente quién está quedando fuera y por qué, convirtiendo una limitación oculta del emparejamiento en un estadístico visible y medible. Al hacer que el proceso de emparejamiento sea más rápido y más honesto sobre sus límites, este trabajo ofrece un camino práctico para los científicos que necesitan extraer conclusiones causales fiables de los vastos, desordenados y crecientes océanos de datos que definen el mundo moderno.

Resumen Técnico: Emparejamiento de Mahalanobis Referenciado por Centroide (CRM)

1. Planteamiento del Problema

La inferencia causal observacional enfrenta dos barreras primarias a escala:

Intratabilidad Computacional: El emparejamiento de vecinos más cercanos por fuerza bruta requiere $O(n_T n_C)$ evaluaciones de distancia por pares. Con conjuntos de datos modernos donde $n_T$ (tratados) y $n_C$ (controles) pueden alcanzar cientos de miles o millones, este costo suele ser prohibitivo, obligando a los profesionales a submuestrear o abandonar el emparejamiento.
Desplazamiento Implícito de la Población Objetivo: Cuando las distribuciones de las covariables no presentan solapamiento, los procedimientos de emparejamiento restringen implícitamente la inferencia a un subconjunto de unidades tratadas. Los métodos estándar (por ejemplo, el emparejamiento por puntaje de propensión con calibres, CEM) a menudo ejecutan esta restricción de forma silenciosa, cambiando el estimando de un Efecto Medio del Tratamiento sobre los Tratados (ATT) a un efecto de tratamiento promedio condicional ( $\tau_S$ ) sin diagnósticos explícitos.

2. Metodología: Emparejamiento de Mahalanobis Referenciado por Centroide (CRM)

El CRM replantea el emparejamiento de una búsqueda global por pares a un problema de alineación distributiva estratificada. Construye un sistema de coordenadas de referencia bidimensional para cada unidad basado en la geometría de la población tratada.

2.1 Construcción de la Representación

Para cada unidad $x$ , el CRM computa un vector $Z(x) = (d(x), \phi(x))$ :

Componente Radial ( $d(x)$ ): La distancia de Mahalanobis desde el centroide tratado $\hat{\mu}_T$ , utilizando la matriz de covarianza tratada $\hat{\Sigma}_T$ (con una pequeña regularización de tipo ridge).
$d(x) = \sqrt{(x - \hat{\mu}_T)^\top \hat{\Sigma}_T^{-1} (x - \hat{\mu}_T)}$
Esto sitúa a las unidades en capas alineadas con la covarianza alrededor del centroide tratado.
Componente Direccional ( $\phi(x)$ ): La proyección de la unidad sobre la dirección de Fisher en el espacio blanqueado (whitened space). Sea $\hat{L}$ el factor de Cholesky de $\hat{\Sigma}_T$ . El desplazamiento del centroide blanqueado es $w = \hat{L}^{-1}(\hat{\mu}_C - \hat{\mu}_T)$ . El vector unitario $v = w/\|w\|_2$ define la dirección del desplazamiento de la media.
$\phi(x) = v^\top \hat{L}^{-1}(x - \hat{\mu}_T)$
Esta coordenada captura la dirección con signo del desplazamiento de la media entre tratados y controles, distinguiendo unidades que comparten el mismo radio de Mahalanobis pero que se encuentran en lados opuestos del desplazamiento de la media.

2.2 Pasos Algorítmicos

Representación y Diagnóstico: Calcular $d(x)$ y $\phi(x)$ para todas las unidades. Construir una rejilla en el plano $(d, \phi)$ utilizando cuantiles de frecuencia igual para la distribución tratada (regla de Freedman–Diaconis para $d$ , razón derivada para $\phi$ ).
Diagnóstico de Escasez Pre-Emparejamiento: Calcular $\hat{\pi}$ , la fracción de unidades tratadas en celdas de la rejilla que contienen cero unidades de control. Esto cuantifica explícitamente la restricción de soporte antes de que ocurra cualquier emparejamiento.
Emparejamiento Estratificado: Dentro de cada celda no vacía, muestrear controles sin reemplazo para emparejar las unidades tratadas.
- CRM-Random: Muestreo aleatorio uniforme dentro de la celda.
- CRM-NN: Selección de vecino más cercano dentro de la celda (utilizando el espacio blanqueado completo de $p$ dimensiones) para muestras pequeñas con el fin de mejorar la precisión.
Estimación: Calcular el ATT sobre el subconjunto soportado $S$ (unidades tratadas con al menos un control en su celda).

2.3 Complejidad

El costo computacional implementado es $O(np^2 + p^3 + n \log n)$ , lo que se simplifica a $O(np^2 + n \log n)$ cuando $n \ge p$ . Esto evita el término de búsqueda por pares de $O(n_T n_C)$ , basándose en la estimación de la covarianza, la factorización de Cholesky y la clasificación/agrupación (sorting/binning).

3. Contribuciones Teóricas

El artículo deriva varios resultados teóricos clave:

Descomposición del Error (Teorema 2): El error de estimación total se descompone en cuatro componentes distintos:
1. Sesgo de Representación: Confusión residual dentro de la representación de baja dimensión $Z(X)$ .
2. Sesgo de Restricción de Soporte: La brecha entre el ATT completo y el ATT condicional sobre el subconjunto soportado, acotada por $\pi M_\tau$ (donde $M_\tau$ es el rango de los efectos del tratamiento).
3. Error de Aproximación de Celda: Sesgo determinista debido al diámetro finito de la celda ( $O(h_n)$ ).
4. Error Estocástico: Variabilidad de muestreo dentro de las celdas.
Límite de MSE (Proposición 4): Bajo supuestos de suficiencia de representación y suavidad, el CRM logra un límite de error cuadrático medio (MSE) conservador de $O(n_T^{-1/2})$ . Esta tasa es independiente de la dimensión original de las covariables $p$ , siempre que la dimensión de la representación esté fijada en 2.
Identificación: El método depende de la Suposición 4 (Suficiencia de Representación), que postula que condicionar sobre $Z(X)$ es suficiente para la ignorabilidad. Esta es una suposición más fuerte que la ignorabilidad estándar dada $X$ , y no está garantizada únicamente por la dirección de Fisher, particularmente ante una confusión no lineal.

4. Resultados Empíricos

4.1 Estudios de Simulación

Tamaños de Muestra Moderados: En escenarios sintéticos con un solapamiento adecuado, el emparejamiento de puntaje de propensión corregido (PSM) y el Balanceo de Entropía logran un mejor balance marginal (menor MaxSMD) y un error compuesto (CRMSE) más bajo que el CRM. El CRM es competitivo pero no es universalmente dominante en el balance de muestras finitas.
Rol de la Coordenada de Fisher: Añadir la coordenada de Fisher ( $k=1$ ) reduce significativamente el desequilibrio en comparación con el emparejamiento puramente radial ( $k=0$ ), particularmente en escenarios con fuertes desplazamientos de centroide.
Escalabilidad: El CRM escala linealmente con $n$ , mientras que las implementaciones de PSM suelen curvarse hacia arriba debido a la sobrecarga de la búsqueda por pares o de la clasificación en altas dimensiones.

4.2 Benchmark de Gran Escala Criteo

Utilizando un conjunto de datos de aproximadamente 14 millones de observaciones:

Desempeño: El CRM retiene el 99.4% de las unidades tratadas y logra un MaxSMD comparable o inferior al PSM corregido en 31 de 36 configuraciones.
Velocidad: El CRM es aproximadamente entre 8.5 y 190 veces más rápido que PSM, CEM y FLAME-lite.
Perspectiva Clave: El benchmark demuestra que el MaxSMD es un indicador insuficiente de la precisión de la estimación. El Emparejamiento Exacto Coarsened (CEM) logró el MaxSMD más bajo (0.002) pero el error de estimación más alto, resaltando que el balance marginal no garantiza la ausencia de sesgo si la representación de emparejamiento descarta la estructura relevante para el resultado.

4.3 Aplicaciones con Datos Reales

LaLonde CPS: El CRM-NN redujo el sesgo del ATT de - $908 a +$ 135 (respecto al valor real de $1,794) mientras retenía más unidades tratadas que el Mahalanobis NN completo.
NHANES: Aplicado a datos de tabaquismo y presión arterial, el CRM reportó una pequeña fracción de escasez pre-emparejamiento ( $\hat{\pi} = 0.018$ ) y produjo estimaciones consistentes con PSM, confirmando la estabilidad del método en datos del mundo real de tipos mixtos.

5. Significado y Reivindicaciones

El artículo posiciona al CRM no como un reemplazo universal para todos los métodos de emparejamiento, sino como un marco de diseño escalable para estudios observacionales de gran escala. Sus principales contribuciones son:

Escalabilidad: Elimina el cuello de botella computacional de la búsqueda por pares, haciendo que el emparejamiento distributivo sea factible para millones de observaciones.
Diagnósticos de Soporte Explícitos: La fracción de escasez pre-emparejamiento $\hat{\pi}$ hace que la restricción de la población objetivo sea explícita y observable antes de descartar cualquier unidad, abordando el cambio "silencioso" en los estimandos común en otros métodos.
Desacoplamiento del Diagnóstico de Balance: Los resultados desafían la suposición de que un bajo MaxSMD implica un bajo error de estimación, demostrando que los métodos que optimizan el balance marginal (como CEM) pueden fallar en preservar las relaciones estructurales necesarias para la inferencia causal.
Alcance Modesto: Los autores declaran explícitamente que el CRM no pretende una dominancia universal en muestras finitas. En muestras moderadas con un solapamiento adecuado, el ponderado o el PSM corregido pueden ofrecer un mejor balance. La ventaja del CRM se manifiesta en el régimen de muestras grandes, donde el costo computacional y el manejo explícito de las limitaciones de solapamiento son primordiales.

El artículo concluye que, a medida que los conjuntos de datos observacionales crecen, los métodos que abordan conjuntamente la escalabilidad computacional, la definición transparente del estimando y el reporte explícito de las limitaciones de solapamiento son esenciales. El CRM proporciona un paso principista en esta dirección al reemplazar la búsqueda a nivel de unidad con la alineación distributiva alrededor de una geometría de referencia tratada.