Causal Matrix Completion under Multiple Treatments via Mixed Synthetic Nearest Neighbors

Este trabajo propone el método de Vecinos Sintéticos Mixtos (MSNN), un nuevo estimador que integra información entre distintos niveles de tratamiento para mejorar la completación causal de matrices en escenarios con datos escasos, manteniendo al mismo tiempo las garantías teóricas de los Vecinos Sintéticos (SNN) originales.

Lo esencial

Imagina que eres un chef famoso que quiere predecir qué plato le gustaría a cada cliente en tu restaurante. Tienes un menú gigante con miles de platos y miles de clientes. El problema es que nadie ha probado todos los platos. Solo sabes qué le gustó a cada cliente de los pocos platos que pidió. Además, la gente no pide platos al azar; los clientes que aman el picante solo piden platos picantes, y los que prefieren lo dulce solo piden postres. Esto hace que sea muy difícil saber qué le gustaría a un cliente si le ofrecieras un plato que nunca ha probado.

En el mundo de los datos, esto se llama "completar una matriz causal". Quieres saber qué pasaría (el resultado) si hubieras aplicado una intervención diferente (el tratamiento), pero los datos faltan porque la gente elige sus opciones basándose en gustos ocultos.

El Problema: El Chef con Pocos Ingredientes

Anteriormente, existía un método llamado SNN (Vecinos Sintéticos). Funcionaba así:
Para predecir si al "Cliente A" le gustaría el "Plato X" (que nunca pidió), el chef buscaba otros clientes que también hubieran pedido el "Plato X" y cuyos gustos fueran similares.

El problema: Si el "Plato X" es muy raro (pocos clientes lo pidieron), el chef no encuentra suficientes "vecinos" para hacer una buena predicción. Es como intentar cocinar un banquete para 100 personas, pero solo tienes ingredientes para 3. El método falla porque no hay suficientes datos dentro de esa categoría específica.

La Solución: MSNN (Vecinos Sintéticos Mixtos)

Los autores de este paper, Minrui Luo y Zhiheng Zhang, proponen una nueva receta llamada MSNN. Su idea genial es: "No te limites a buscar vecinos que pidieron el mismo plato raro; busca vecinos que pidieron platos similares en categorías diferentes".

La Analogía del "Gusto Oculto"

Imagina que todos los clientes tienen un "gusto oculto" (un factor latente). Por ejemplo, el "Cliente A" y el "Cliente B" son ambos amantes de la comida italiana, aunque uno pide pizza y el otro pasta.

• El método viejo (SNN): Solo miraba a los que pidieron pizza para predecir lo que le gustaría al que pidió pasta. Si nadie pidió pasta, no podía predecir nada.
• El nuevo método (MSNN): Se da cuenta de que el "gusto por la italiana" es el mismo, ya sea que pidan pizza o pasta. Así que, para predecir lo que le gustará al cliente de pasta, usa los datos de los clientes que pidieron pizza.

¿Cómo funciona mágicamente?

1. Mezcla de Datos (Anclajes Mixtos): En lugar de buscar un grupo de clientes que solo pidieron el plato raro, MSNN busca un grupo grande que incluya clientes de platos comunes (abundantes) y platos raros.
2. El Puente: Asume que, aunque los platos sean diferentes, la "estructura" de los gustos de los clientes es la misma. Si el Chef sabe cómo reaccionan los clientes a la pizza (plato común), puede usar esa información para entender cómo reaccionarían a la pasta (plato raro), porque ambos son "comida italiana".
3. El Resultado: De repente, el chef tiene muchos más "vecinos" para consultar. Ya no está limitado por la escasez de pedidos de un solo plato.

¿Por qué es un gran avance?

• Eficiencia Exponencial: El paper demuestra matemáticamente que, si un plato es muy raro, este nuevo método puede encontrar muchas más combinaciones útiles que el método antiguo. Es como pasar de buscar una aguja en un pajar a encontrar un montón de agujas porque sabes que el pajar entero tiene el mismo tipo de paja.
• Precisión: Al tener más datos para trabajar, las predicciones son mucho más exactas, incluso cuando los datos originales son muy escasos.
• Validación Real: Probaron esto con datos simulados y con un caso real sobre el control del tabaco en California. Funcionó tan bien que pudieron predecir con éxito qué pasaría en años futuros o en estados que no tenían muchos datos, algo que los métodos anteriores no podían hacer.

En Resumen

Imagina que quieres saber qué pasaría si lanzaras un producto nuevo y muy específico en un mercado donde casi nadie lo compra.

• El método antiguo: "No tengo datos suficientes, no puedo predecir nada".
• El método nuevo (MSNN): "Espera, sé que a la gente que compra productos similares (pero más comunes) les pasa esto. Usaré esa información para predecir lo que pasará con tu producto nuevo".

Es como decir: "No necesitas tener datos de todos los ángulos si entiendes la estructura oculta que conecta todos los ángulos". Esto permite tomar mejores decisiones en economía, políticas públicas y negocios, incluso cuando la información es escasa o está sesgada.

Resumen técnico

Resumen Técnico: Completado de Matrices Causales con Múltiples Tratamientos

1. Planteamiento del Problema

El artículo aborda el desafío de la inferencia causal a partir de datos observacionales cuando existen múltiples niveles de tratamiento (discretos) y los datos faltantes no son aleatorios (MNAR - Missing Not At Random).

• Contexto: En escenarios como publicidad en línea o políticas públicas, las unidades (ej. usuarios o productos) están expuestas a diferentes intensidades de tratamiento. El objetivo es estimar los resultados contrafactuales (qué habría pasado si una unidad hubiera recibido un tratamiento diferente) para cada entrada de una matriz de resultados potenciales.
• Limitación de los métodos existentes: El enfoque anterior, Vecinos Sintéticos (SNN), requiere construir "anclas" (filas y columnas de referencia) utilizando exclusivamente datos del mismo nivel de tratamiento. Esto falla catastróficamente cuando ciertos niveles de tratamiento tienen escasez de datos (son raros), ya que es imposible construir anclas válidas y suficientemente grandes solo con esa información.
• El reto: Completar una colección de matrices (o un tensor 3D) donde solo se observa un resultado por unidad, bajo la suposición de que la asignación del tratamiento depende de factores latentes no observados.

2. Metodología: Vecinos Sintéticos Mixtos (MSNN)

Los autores proponen MSNN (Mixed Synthetic Nearest Neighbors), un nuevo estimador que integra información a través de diferentes niveles de tratamiento para superar la escasez de datos.

• Suposición Clave (Factores Latentes Compartidos): El método asume que, aunque los resultados observados varían según el tratamiento, los factores latentes de las filas (ej. las preferencias intrínsecas de los usuarios) son compartidos e invariantes entre todos los niveles de tratamiento.
  • Formalmente: $u_i^{(d)} \equiv u_i$ para todo tratamiento $d$.
• Innovación Principal: Anclas Mixtas:
  • En lugar de exigir que las filas y columnas de ancla provengan del mismo tratamiento que el objetivo, MSNN introduce Filas de Ancla Mixtas (MAR) y Columnas de Ancla Mixtas (MAC).
  • Mecanismo: Para estimar el resultado de una unidad $i$ bajo tratamiento $d$:
    1. Se seleccionan columnas de ancla que pueden tener diferentes tratamientos ($d(b)$), siempre que la unidad $i$ tenga el tratamiento $d$ en esas columnas.
    2. Se utilizan datos de múltiples niveles de tratamiento para estimar los coeficientes de imputación ($\beta$).
    3. Se preservan los datos de la fila objetivo ($x^{(d)}$) del tratamiento de interés.
• Manejo de Heterogeneidad: Dado que mezclar tratamientos introduce escalas y varianzas diferentes, MSNN utiliza funciones de ponderación ($w$) para normalizar los datos antes de realizar la descomposición en valores singulares (SVD), evitando inestabilidad numérica.

3. Contribuciones Clave

1. Formalización del Problema: Se define rigurosamente el problema de completado de matrices causales entrada a entrada bajo múltiples niveles de tratamiento MNAR.
2. Nuevo Resultado de Identificación: Se demuestra teóricamente que, bajo la suposición de factores latentes compartidos, los coeficientes de imputación ($\beta$) son identificables y compartibles entre tratamientos. Esto permite usar datos de tratamientos comunes para inferir sobre tratamientos raros.
3. Algoritmo MSNN: Se propone el algoritmo que utiliza conjuntos de anclas mixtas, manteniendo las garantías estadísticas del SNN original.
4. Mejora Exponencial en Eficiencia de Muestra: Bajo asignación aleatoria completa de datos (MCAR), se demuestra que el número esperado de subgrupos utilizables para MSNN supera al de SNN por un factor exponencial:
   $$\frac{E[K_{MSNN}]}{E[K_{SNN}]} \approx \left( \sum_{d'} \frac{p_{d'}}{p_d} \right)^{r+1 \cdot c}$$
   Donde $p_d$ es la probabilidad de observar el tratamiento $d$, y $r, c$ son los tamaños de los conjuntos de ancla. Esto significa que MSNN puede estimar efectos en tratamientos muy escasos donde SNN fallaría completamente.
5. Garantías Estadísticas: Se prueba que MSNN conserva los límites de error en muestras finitas y la normalidad asintótica del estimador SNN original, asegurando que la ganancia en eficiencia no sacrifica el rigor estadístico.

4. Resultados Experimentales

Los autores validan el método mediante simulaciones sintéticas y un estudio de caso real.

• Datos Sintéticos (MCAR y MNAR):
  • En niveles de tratamiento con datos escasos (ej. probabilidad de observación < 2.5%), el SNN tiene una tasa de factibilidad cercana a 0 (no encuentra anclas).
  • MSNN logra tasas de factibilidad significativamente más altas (hasta 60-99% en escenarios moderados) y reduce el Error Relativo Medio (MRE) en un factor de 2 a 3 veces en comparación con SNN.
  • MSNN demuestra ser robusto incluso cuando la proporción de datos observados es baja, ampliando el rango de escasez donde la estimación es posible.
• Estudio de Caso Real (Proposición 99 de California):
  • Se aplicó el método para estimar el impacto de diferentes políticas de control del tabaco en varios estados de EE. UU.
  • MSNN logró estimar resultados contrafactuales anuales específicos para estados con diferentes regímenes de tratamiento, validando sus predicciones contra datos históricos observados y demostrando su utilidad práctica en políticas públicas.

5. Significado e Impacto

Este trabajo representa un avance fundamental en la intersección entre la inferencia causal y el aprendizaje automático (completado de matrices):

• Superación de la Escasez de Datos: Cambia el paradigma de que "para estimar un tratamiento raro se necesitan muchos datos de ese tratamiento específico". MSNN demuestra que la información de tratamientos comunes puede "transferirse" eficazmente a través de estructuras latentes compartidas.
• Aplicabilidad en el Mundo Real: Permite evaluar intervenciones complejas y multifacéticas (como niveles variables de publicidad o intensidad de políticas) en entornos donde los datos suelen estar desbalanceados y faltantes de forma no aleatoria.
• Rigor Teórico: Proporciona las primeras garantías teóricas sólidas para la identificación de efectos causales entrada a entrada en configuraciones de múltiples tratamientos con datos faltantes no aleatorios.

En conclusión, MSNN ofrece una solución robusta y teóricamente fundamentada para la estimación de efectos causales en escenarios de datos complejos y escasos, superando las limitaciones de los métodos basados en anclas puras.