📊 statistics

Order-Agnostic Autoregressive Modelling with Missing Data

Este artículo introduce los Modelos Autoregresivos Agnósticos al Orden Conscientes de la Ausencia (MO-ARM), un marco que reinterpreta los modelos autoregresivos agnósticos al orden a través de la lente de los datos faltantes para permitir una imputación robusta bajo mecanismos de ausencia generales y facilitar la adquisición activa de información, superando consistentemente a las líneas base existentes en benchmarks del mundo real.

Autores originales: Ignacio Peis, Pablo M. Olmos, Jes Frellsen

Publicado 2026-05-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ignacio Peis, Pablo M. Olmos, Jes Frellsen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un rompecabezas gigante, pero alguien ha arrancado la mitad de las piezas. En el mundo real, esto sucede todo el tiempo: un sensor se rompe, un paciente olvida rellenar un formulario o un archivo se corrompe. Por lo general, los ordenadores luchan con estas "piezas faltantes". O bien adivinan a ciegas, desechan los datos incompletos o se confunden sobre cómo debería verse la imagen.

Este artículo presenta una nueva forma de que los ordenadores manejen las piezas de rompecabezas faltantes utilizando un método llamado MO-ARM. Así es como funciona, explicado mediante analogías sencillas.

1. La vieja forma: El problema del "orden estricto"

Los modelos de IA tradicionales que intentan comprender los datos son como un chef muy rígido que insiste en hacer un sándwich en un único orden específico: pan, luego queso, luego jamón, luego pan. Si le das al chef un plato con solo el jamón y la segunda rebanada de pan, el chef entra en pánico. No puede hacer el sándwich porque se ha roto la regla de "primero el pan".

En términos técnicos, estos son Modelos Autoregresivos. Predicen la siguiente pieza de datos basándose en las anteriores, pero están atascados con un único orden fijo. Si faltan datos en medio, la cadena se rompe.

2. La nueva idea: El chef "agnóstico al orden"

Los autores examinaron un tipo de modelo más nuevo llamado Modelos Autoregresivos Agnósticos al Orden (OA-ARM). Imagina a un chef a quien no le importa el orden. Puede empezar con el jamón, luego añadir el queso, luego el pan, o empezar con el pan, luego el jamón, luego el queso. Puede construir el sándwich en cualquier orden aleatorio que quiera.

El artículo hace un descubrimiento brillante: Cuando entrenas a este chef "agnóstico al orden" en un sándwich completo (sin piezas faltantes), accidentalmente aprende a rellenar las piezas faltantes perfectamente.

¿Por qué? Porque durante el entrenamiento, se le pide constantemente al chef que prediga una pieza aleatoria (como el jamón) basándose en cualquier otra pieza que haya actualmente en la mesa (quizás solo el pan). Este es exactamente el mismo ejercicio mental que rellenar una pieza de rompecabezas faltante. El artículo demuestra que este proceso de entrenamiento es matemáticamente idéntico a practicar con datos "Faltantes Completamente al Azar". Así que, incluso si solo entrenas con datos perfectos, el modelo se convierte en un experto en adivinar lo que falta.

3. La actualización: MO-ARM (El chef "consciente de la falta")

Los autores no se detuvieron ahí. Se dieron cuenta de que en el mundo real, los datos faltantes no siempre son aleatorios. A veces, los datos faltan debido al valor en sí mismo (por ejemplo, un termómetro se rompe específicamente cuando hace demasiado calor). Esto se llama "Faltantes No al Azar" (MNAR).

Construyeron MO-ARM, que añade una segunda capa de inteligencia:

El Chef: Sigue construyendo el sándwich en cualquier orden.
El Detective: Una nueva parte del modelo que pregunta: "¿Por qué falta esta pieza?".

Si el modelo aprende que las piezas faltan porque están "demasiado calientes", ajusta sus suposiciones en consecuencia. Esto permite que MO-ARM maneje datos faltantes complicados y no aleatorios mucho mejor que los métodos anteriores.

4. El superpoder: El "detective curioso"

Una de las características más geniales de MO-ARM es su capacidad para decidir qué preguntar a continuación.

Imagina que eres un médico tratando de diagnosticar a un paciente, pero solo puedes permitirte realizar unas pocas pruebas. No quieres realizar una prueba al azar; quieres la que te diga más.

MO-ARM actúa como un detective supercurioso. Examina los datos que sí tienes y calcula: "Si conociera el valor de esta variable específica faltante, ¿cuánto mejoraría mi confianza en la respuesta final?".
Luego elige esa variable específica para "adquirir" a continuación.
Lo hace paso a paso, recopilando eficientemente la información más valiosa para hacer una predicción, en lugar de adivinar a ciegas.

5. ¿Funciona?

Los autores probaron esto en dos tipos de rompecabezas muy diferentes:

Datos tabulares: Como hojas de cálculo con números y categorías (por ejemplo, datos de tarjetas de crédito, registros médicos). MO-ARM rellenó consistentemente los números faltantes mejor que otros modelos de IA de primer nivel.
Imágenes: Como una foto de un rostro donde la mitad de los píxeles están ennegrecidos. MO-ARM pudo "inpaint" (rellenar) las partes faltantes del rostro, preservando la identidad y la estructura de la persona mejor que otros métodos, incluso cuando el 98% de la imagen faltaba.

Resumen

En resumen, este artículo toma un modelo de IA flexible que puede aprender en cualquier orden, se da cuenta de que esta flexibilidad lo convierte en un experto natural para adivinar datos faltantes, y luego lo actualiza para entender por qué faltan los datos. El resultado es un sistema que puede:

Rellenar los huecos en conjuntos de datos desordenados e incompletos mejor que nadie más.
Decidir qué preguntas hacer a continuación para obtener la información más útil con el menor esfuerzo.

Convierte una IA rígida y dependiente del orden en una herramienta flexible, tipo detective, para el razonamiento bajo incertidumbre.

Resumen Técnico: Modelado Autoregresivo Agnóstico al Orden con Datos Faltantes

Enunciado del Problema

Los sistemas de aprendizaje del mundo real operan frecuentemente bajo observabilidad parcial, donde las características faltan debido a fallos de sensores, costos de adquisición o restricciones de privacidad. Los sistemas efectivos en estos dominios deben abordar tres desafíos centrales: (i) aprender a partir de datos incompletos, (ii) imputar valores faltantes en el momento de la inferencia y (iii) decidir qué variables no observadas adquirir cuando las observaciones son costosas (Adquisición Activa de Características).

Aunque los modelos generativos profundos ofrecen teóricamente un enfoque unificado al modelar la distribución conjunta completa, los métodos existentes enfrentan limitaciones significativas. Los Autoencoders Variacionales (VAE) dependen de inferencia aproximada, lo que limita la precisión condicional. Las Redes Generativas Antagónicas (GAN) a menudo carecen de verosimilitudes tratables y densidades condicionales principistas. Los modelos de difusión, aunque producen muestras de alta calidad, requieren cadenas de muestreo iterativas y luchan para condicionar con precisión en subconjuntos arbitrarios de variables observadas. Los Modelos Autoregresivos (ARM) clásicos proporcionan verosimilitudes tratables pero dependen de un orden de generación fijo, lo que impide condicionar en subconjuntos arbitrarios de variables.

Metodología: MO-ARM

Los autores introducen los Modelos Autoregresivos Agnósticos al Orden Conscientes de la Faltancia (MO-ARM), un marco que reinterpreta los Modelos Autoregresivos Agnósticos al Orden (OA-ARM) a través de la lente de los datos faltantes.

1. Perspectiva Teórica: OA-ARMs y MCAR

El artículo establece primero una conexión teórica entre el entrenamiento estándar de OA-ARM y la imputación de Faltancia Completamente al Azar (MCAR). Los OA-ARM se entrenan sobre permutaciones aleatorias de variables, tratando efectivamente el orden de generación como una variable latente. Los autores demuestran que el objetivo de entrenamiento estándar, que implica predecir una variable basándose en un subconjunto seleccionado aleatoriamente de variables previamente reveladas, simula implícitamente un proceso de corrupción MCAR. En consecuencia, los OA-ARM entrenados únicamente sobre datos completamente observados se generalizan naturalmente a tareas de imputación bajo mecanismos MCAR sin modificación.

2. El Marco MO-ARM

Construyendo sobre esta perspectiva, los autores proponen un marco principista para entrenar OA-ARM directamente sobre conjuntos de datos incompletos bajo mecanismos de faltancia generales (que abarcan desde MCAR hasta Faltancia No al Azar, o MNAR).

Formulación Probabilística: El modelo factoriza la distribución conjunta de los datos observados ( $x_{z_o}$ ), los datos faltantes ( $x_{z_m}$ ) y la máscara de faltancia ( $z_o$ ) como:
$p_{\theta, \phi}(x_{z_o}, x_{z_m}, z_o) = p_\theta(x_{z_o}) p_\theta(x_{z_m} | x_{z_o}) p_\phi(z_o | x_{z_o}, x_{z_m})$
Aquí, $p_\theta$ representa el modelo generativo (un OA-ARM), y $p_\phi$ es un mecanismo de faltancia aprendido.
Objetivo de Entrenamiento: El modelo maximiza la verosimilitud logarítmica de los datos observados utilizando una cota inferior variacional (ELBO).
- Para MCAR, el término de faltancia es independiente de los datos y puede omitirse.
- Para MNAR, el modelo aprende explícitamente el proceso de faltancia $p_\phi$ utilizando un modelo Bernoulli elemento a elemento parametrizado por una red neuronal. Esto permite que el modelo accounte por dependencias entre la faltancia y los valores no observados.
Estrategia de Imputación:
- MCAR: La imputación se realiza marginalizando sobre posibles trayectorias de desmascaramiento de las variables faltantes utilizando muestreo Monte Carlo.
- MNAR: El modelo emplea ponderación por importancia auto-normalizada. Las muestras completadas se reponderan basándose en la verosimilitud de la máscara observada bajo el modelo de faltancia aprendido $p_\phi$ , asegurando que las completaciones consistentes con el patrón de faltancia observado sean priorizadas.

3. Adquisición Activa de Información

MO-ARM aprovecha su estimación amortizada de densidad condicional para realizar Adquisición Activa de Características (AFA). Al estimar la información mutua condicional $I(x_\Phi; x_{z_i} | x_{z_{<i}})$ entre una variable objetivo $x_\Phi$ y una característica candidata $x_{z_i}$ dadas las observaciones actuales, el modelo puede seleccionar secuencialmente las variables faltantes más informativas para adquirir, maximizando el rendimiento predictivo aguas abajo.

Contribuciones Clave

Reinterpretación de OA-ARMs: El artículo demuestra que el entrenamiento estándar de OA-ARM realiza implícitamente imputación MCAR, explicando su rendimiento robusto fuera de la muestra en configuraciones de datos faltantes.
Entrenamiento Principista sobre Datos Incompletos: Los autores introducen el primer marco para entrenar OA-ARM directamente sobre conjuntos de datos incompletos bajo mecanismos de faltancia generales (MCAR y MNAR) mientras preservan verosimilitudes exactas y permiten muestreo condicional eficiente.
Marco Unificado para Imputación y Adquisición: El modelo unifica la imputación de datos faltantes y la adquisición activa de información, utilizando las mismas distribuciones condicionales amortizadas para ambas tareas.
Validación Empírica: El MO-ARM propuesto se evalúa en benchmarks del mundo real, incluyendo datos tabulares (conjuntos de datos UCI) y restauración de imágenes (CelebA-HQ).

Resultados Experimentales

Los autores evalúan MO-ARM frente a líneas base establecidas, incluyendo MIWAE, not-MIWAE (para MNAR), VAEAC, DiffPuter y métodos clásicos como MissForest y MICE.

Imputación Tabular: A través de siete conjuntos de datos UCI con tipos de características variables (continuas y categóricas), MO-ARM supera consistentemente a las líneas base generativas establecidas bajo mecanismos de faltancia tanto MCAR como MNAR. Notablemente, bajo MNAR, MO-ARM supera a not-MIWAE, la única otra línea base diseñada explícitamente para este mecanismo.
Restauración de Imágenes: En el conjunto de datos CelebA-HQ, MO-ARM demuestra un rendimiento superior en la preservación de la identidad y la estructura gruesa en comparación con RePaint (una línea base basada en difusión), logrando puntuaciones PSNR más altas, particularmente a medida que aumenta el porcentaje faltante (hasta un 98%).
Adquisición Activa: En tareas de adquisición secuencial de características, MO-ARM iguala o supera a las líneas base en la reducción del error de predicción a medida que se adquieren más características, demostrando la utilidad de sus distribuciones condicionales para la toma de decisiones.

Significado y Afirmaciones

El artículo afirma que MO-ARM constituye una herramienta poderosa y previamente subestimada para el razonamiento bajo datos incompletos. Los autores argumentan que los modelos autoregresivos agnósticos al orden ofrecen una alternativa práctica y principista a los enfoques basados en variables latentes (VAE) y difusión para problemas de datos faltantes. Las ventajas clave destacadas incluyen:

Verosimilitudes Tratables: A diferencia de las GAN o los VAE aproximados, los MO-ARM proporcionan verosimilitudes exactas.
Condicionamiento Arbitrario: A diferencia de los ARM clásicos, soportan condicionamiento en subconjuntos arbitrarios de variables observadas.
Eficiencia: Pueden consultarse repetidamente a medida que se revelan las observaciones, apoyando la toma de decisiones secuencial sin la necesidad de largas cadenas de muestreo iterativo requeridas por los modelos de difusión.

Los autores reconocen limitaciones, señalando que la generación exacta sigue siendo costosa en configuraciones de alta dimensionalidad (aunque mitigada por el desmascaramiento bloqueado) y que el rendimiento se degrada a medida que el contexto observado se vuelve extremadamente disperso. También notan que, aunque el marco se extiende a MNAR, este régimen sigue siendo más desafiante que MCAR y merece un estudio adicional.