Doubly robust nearest neighbors in factor models

En el vasto paisaje de los datos modernos, la información rara vez es completa. Ya sea para rastrear la salud de un paciente a lo largo de meses, predecir qué podría comprar un cliente después o comprender cómo se desempeña un producto en diferentes regiones, los investigadores a menudo se enfrentan a una matriz de números con brechas significativas. Algunas entradas faltan porque un sensor falló, un usuario omitió una encuesta o un tratamiento no fue aplicado. El desafío es llenar estos huecos con la suficiente precisión para tomar decisiones confiables. Para hacer esto, los estadísticos suelen apoyarse en la idea de que el mundo está gobernado por patrones ocultos. Asumen que los datos que vemos están moldeados por unas pocas fuerzas subyacentes —como la preferencia general de un usuario o una hora específica del día— que se repiten a través del conjunto de datos. Si podemos encontrar estos patrones ocultos, podemos adivinar cuáles deberían ser los números faltantes.

Durante décadas, una forma popular de realizar estas conjeturas ha sido buscar "vecinos". Si quieres saber qué pensaría un usuario específico de un producto, buscas a otros usuarios que sean muy similares a él y ves qué les gustó a esos vecinos. Esta es la lógica de los vecinos más cercanos. Sin embargo, este método tiene un fallo fatal: solo funciona si realmente puedes encontrar un buen vecino. Si el usuario en cuestión es único, o si el período de tiempo es inusual, el método falla porque no hay nadie lo suficientemente similar para copiar. El nuevo trabajo de Raaz Dwivedi y sus colegas aborda esta vulnerabilidad creando una forma más inteligente de combinar dos tipos diferentes de búsquedas de vecinos. En lugar de depender de un solo tipo de similitud, su nuevo método, llamado Vecinos Más Cercanos Doblemente Robustos (Doubly Robust Nearest Neighbors), tiene éxito siempre que esté disponible o bien un usuario similar o bien un período de tiempo similar. Si ambos existen, el método se vuelve aún más preciso, ofreciendo un nivel de exactitud que antes era inalcanzable.

Los investigadores trabajaban con un rompecabezas matemático específico conocido como completación de matrices, donde el objetivo es reconstruir una cuadrícula completa de datos a partir de una colección dispersa de puntos observados. Se centraron en un escenario donde los datos son generados por una función oculta que mezcla dos conjuntos de factores: un conjunto que representa las "unidades" (como personas o productos) y otro que representa el "tiempo" (como días u horas). En esta configuración, el valor en cualquier intersección específica está determinado por cómo interactúan los rasgos ocultos de la unidad con los rasgos ocultos del tiempo. El enfoque estándar implica dos estrategias separadas. La primera, llamada vecinos cercanos de la unidad, busca otras filas en los datos que se parezcan a la fila objetivo. La segunda, llamada vecinos cercanos del tiempo, busca otras columnas que se parezcan a la columna objetivo. Ambas estrategias funcionan bien cuando los datos son densos con patrones similares, pero tienen dificultades cuando los datos son dispersos o cuando el objetivo es un valor atípico.

El equipo se dio cuenta de que estas dos estrategias no eran mutuamente excluyentes, sino que podían combinarse para cubrir las debilidades de la otra. Desarrollaron un nuevo estimador que efectivamente hace dos preguntas a la vez: "¿Tengo un usuario similar?" y "¿Tengo un tiempo similar?". Si la respuesta a cualquiera de las dos preguntas es sí, el nuevo método produce un estimado confiable. Esto es a lo que se refieren con "doblemente robusto". Es robusto al fallo de la primera estrategia siempre que la segunda funcione, y viceversa. Los investigadores demostraron matemáticamente que, si ambas estrategias encuentran buenos vecinos, el nuevo método no solo promedia sus resultados, sino que multiplica sus fortalezas. Esto conduce a una mejora dramática en la precisión, reduciendo la tasa de error significativamente más de lo que cualquiera de los dos métodos podría lograr por sí solo. En términos técnicos, esta mejora se traduce en una reducción casi cuadrática del error, lo que significa que el estimado se vuelve mucho más nítido con muy pocos datos adicionales.

Para verificar su teoría, los investigadores realizaron extensas simulaciones utilizando datos sintéticos que imitaban escenarios del mundo real, incluyendo relaciones lineales simples y otras más complejas y no lineales. Probaron su nuevo método contra los tradicionales vecinos cercanos de la unidad, los vecinos cercanos del tiempo y otros algoritmos estándar de completación de matrices. Los resultados fueron claros: el nuevo método superó consistentemente a los demás. En los casos donde los datos fueron generados por una regla lineal simple, el nuevo método redujo el error por un factor que crecía con el tamaño del conjunto de datos, superando con creces el rendimiento de los métodos anteriores. Incluso en escenarios más complejos donde las relaciones entre los factores eran no lineales, este nuevo enfoque mantuvo una ventaja significativa, a menudo igualando o superando a los mejores de los métodos tradicionales mientras evitaba sus peores fallos.

El equipo también aplicó su método a un conjunto de datos del mundo real de un ensayo clínico de salud móvil llamado HeartSteps. En este estudio, los participantes usaban rastreadores de actividad y recibían notificaciones aleatorias para fomentar la actividad física. El objetivo era estimar cuántos pasos daría un participante en una hora si recibiera una notificación frente a si no la recibiera, incluso para los momentos en que esa condición específica no fue observada. Los datos eran naturalmente dispersos porque las notificaciones se enviaban al azar. Cuando los investigadores utilizaron su nuevo método de Vecinos Más Cercanos Doblemente Robustos para llenar estos huecos, los estimados fueron más precisos que los producidos por los métodos estándar. La distribución del error era más estrecha, lo que significa que las conjeturas estaban consistentemente más cerca de los valores reales. Esto demostró que el método funciona no solo en teoría o con números generados por computadora, sino en datos reales y desordenados donde la información faltante es la norma.

Un conocimiento clave del estudio fue el compromiso (trade-off) involucrado en cómo se procesan los datos. Para demostrar sus garantías matemáticas, los investigadores inicialmente dividieron los datos en fragmentos separados para evitar un tipo específico de sesgo estadístico. Sin embargo, en sus experimentos prácticos, encontraron que utilizar todo el conjunto de datos sin dividirlo en realidad producía mejores resultados. Aunque dividir los datos ayudaba con la prueba teórica, reducía la cantidad de información disponible para encontrar vecinos, lo que aumentaba el ruido en el estimado. En la práctica, el beneficio de tener más datos para encontrar similitudes superaba el riesgo teórico de sesgo, lo que sugiere que, para aplicaciones del mundo real, utilizar toda la información disponible suele ser la opción superior.

Las implicaciones de este trabajo se extienden más allá de simplemente llenar números faltantes. La capacidad de realizar estimaciones confiables incluso cuando los datos son dispersos o heterogéneos es crucial para campos como la medicina personalizada y la publicidad dirigida. En estos campos, las decisiones se toman a menudo para individuos que son únicos o para situaciones que no se han visto antes. Si un método falla porque no puede encontrar una coincidencia perfecta, las consecuencias pueden ser recomendaciones deficientes o tratamientos ineficaces. Al asegurar que el proceso de estimación permanezca robusto incluso cuando un tipo de similitud falta, este nuevo enfoque proporciona una red de seguridad para la toma de decisiones. Permite que los sistemas aprendan de los datos que sí están disponibles, en lugar de fallar porque los datos no están perfectamente estructurados.

Los investigadores también señalaron que su enfoque podría extenderse a estructuras de datos más complejas, como tensores tridimensionales, que podrían involucrar unidades, tiempo y un tercer factor como una intervención o ubicación específica. La lógica de combinar múltiples fuentes de similitud para crear un estimado robusto podría aplicarse también allí, conduciendo potencialmente a métodos "triplemente robustos". Esto sugiere un camino más amplio hacia la inferencia estadística, donde el enfoque se desplaza de encontrar un único encuentro perfecto a combinar inteligentemente múltiples fuentes imperfectas de información. El trabajo es una demostración de que, al repensar cómo combinamos ideas simples e intuitivas como "encontrar un vecino", podemos construir herramientas que son mucho más resilientes y precisas que la suma de sus partes.

En última instancia, este artículo ofrece una solución práctica a un problema común: cómo dar sentido a la información incompleta. Muestra que no necesitamos esperar a tener datos perfectos o una coincidencia perfecta para hacer una buena conjetura. Al reconocer que existen diferentes tipos de similitudes y aprender a usarlas juntas, podemos construir modelos que sean más confiables ante la incertidumbre. El método es simple en su lógica pero poderoso en su ejecución, proporcionando un nuevo estándar para cómo manejamos los datos faltantes en un mundo que está cada vez más impulsado por conjuntos de datos grandes y complejos.