📊 statistics

Deep Generalised Mixed Models: a Novel Neural Network Structure for Analysing Hierarchical Data

Este artículo propone una novedosa arquitectura de Modelo Mixto Generalizado Profundo que integra efectos mixtos en el aprendizaje profundo para abordar el sesgo de selección derivado de datos con valores perdidos al azar en estudios longitudinales de alta dimensión, tales como el conjunto de datos de emociones adolescentes GrowIt!, aunque el enfoque actualmente enfrenta desafíos de inestabilidad del modelo.

Autores originales: Nina van Gerwen, Dimitris Rizopoulos, Manon Hillegers, Loes Keijsers, Sten Willemsen

Publicado 2026-08-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nina van Gerwen, Dimitris Rizopoulos, Manon Hillegers, Loes Keijsers, Sten Willemsen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de entender cómo se siente un grupo de amigos cada uno de los días. Les pides que registren su estado de ánimo, niveles de estrés y aburrimiento varias veces al día durante semanas. Esto se llama "Muestreo de Experiencia" (Experience Sampling), y es como tomar mil pequeñas instantáneas de la vida de una persona en lugar de solo una gran foto al final del año. El problema es que la vida se vuelve caótica. A veces, tus amigos olvidan registrarse, o dejan de hacerlo por completo porque están pasando por un mal día. En el mundo de la ciencia de datos, esto se llama "datos faltantes".

Durante mucho tiempo, los estadísticos han utilizado una herramienta llamada "Modelos Mixtos" para manejar esto. Piensa en estos modelos como un entrenador inteligente que conoce las reglas generales del juego (cómo se siente la mayoría de la gente) pero también lleva un cuaderno especial para cada jugador para recordar sus peculiaridades únicas. Sin embargo, estos entrenadores de la vieja escuela se ven abrumados cuando los datos se vuelven demasiado grandes o complejos. Por otro lado, los entrenadores modernos de "Aprendizaje Automático" (Machine Learning) son súper rápidos y pueden manejar cantidades masivas de datos, pero son fácilmente engañados. Si un jugador deja de jugar porque está triste, un entrenador estándar de Aprendizaje Automático podría simplemente ignorar ese hecho y suponer que el jugador está bien, lo que conduce a predicciones erróneas. La gran pregunta que los científicos se plantean es: ¿Podemos construir un entrenador que sea lo suficientemente rápido para manejar datos enormes y lo suficientemente inteligente como para entender por qué la gente abandona, para que no obtengamos la respuesta equivocada?

Este artículo presenta un nuevo modelo experimental llamado Modelo Mixto Generalizado Profundo (DGMM, por sus siglas en inglés). Los autores, un equipo de investigadores de los Países Bajos, querían ver si podían combinar las mejores partes de los viejos entrenadores estadísticos y los nuevos entrenadores de Aprendizaje Automático en una superestructura. Construyeron este nuevo modelo utilizando un tipo de inteligencia artificial llamada "Red Neuronal", que es como un cerebro digital hecho de capas de nodos conectados. Específicamente, utilizaron un truco ingenioso llamado "Auto-codificador Variacional" (Variational Auto-Encoder). Puedes pensar en esto como una máquina de dos partes: una parte (el codificador) intenta comprimir el diario desordenado e incompleto de una persona en un resumen simple de su "estado de ánimo oculto", y la otra parte (el decodificador) intenta expandir ese resumen para predecir cómo serán sus días futuros.

Los investigadores probaron este nuevo modelo con datos reales de una aplicación llamada "GrowIt!", la cual fue utilizada por adolescentes durante la pandemia para rastrear sus emociones. También realizaron cientos de simulaciones por computadora para ver cómo se comportaría el modelo bajo diferentes condiciones, incluyendo cuando los datos faltaban porque las personas se sentían particularmente negativas.

Los resultados fueron una mezcla de promesa y realidades. Incluso cuando los datos eran perfectos y completos, el nuevo DGMM no alcanzó del todo el rendimiento predictivo de los modelos estándar de Aprendizaje Automático; de hecho, mostró una precisión ligeramente inferior a la de la "Red Neuronal Recurrente" (RNN) estándar. Sin embargo, cuando los datos eran desordenados y faltantes (que es exactamente lo que sucede en la vida real), la situación se volvió más compleja. En la prueba del mundo real con los adolescentes, el DGMM mostró un ajuste general peor a los datos en comparación con la RNN. No obstante, la RNN fue descrita como "muy inestable", produciendo pronósticos que oscilaban salvajemente. En contraste, para algunos individuos, el DGMM de hecho siguió mejor las tendencias reales que la RNN, que a veces predecía caídas de ánimo grandes e inexactas.

Los autores sugieren que esta inestabilidad puede deberse a que el modelo es muy sensible a cómo se configura, y que tuvo dificultades con la forma específica en que faltaban los datos de los adolescentes. Sin embargo, en sus simulaciones por computadora, cuando el modelo sí funcionaba correctamente, era en realidad mejor prediciendo el futuro para las personas que habían abandonado el estudio en comparación con los modelos estándar. Logró tener en cuenta el hecho de que las personas que dejaron de registrarse probablemente estaban pasando por un momento difícil, mientras que los modelos estándar pasaron por alto esa pista.

En última instancia, el artículo concluye que, si bien el Modelo Mixto Generalizado Profundo es una idea nueva y fascinante que podría ser una herramienta poderosa para comprender comportos humanos complejos, aún no está listo para reemplazar las herramientas antiguas. Es como un prototipo de coche que tiene un motor increíble pero un volante que tambalea. Los investigadores encontraron que, por ahora, los médicos y psicólogos deberían limitarse a observar los datos que realmente tienen, en lugar de confiar en las predicciones del modelo sobre lo que podría haber pasado. Sin embargo, argumentan que, con algunos ajustes y mejores trucos de estabilidad, esta nueva arquitectura podría convertirse algún día en el estándar de oro para analizar cómo nos sentimos, pensamos y cambiamos a lo largo del tiempo.

Resumen Técnico: Modelos Mixtos Generalizados Profundos (DGMM)

Planteamiento del Problema
El artículo aborda los desafíos de analizar datos longitudinales intensivos, específicamente los datos del Método de Muestreo de Experiencia (ESM), que implican mediciones repetidas frecuentes de pensamientos, emociones y comportamientos. Los enfoques analíticos actuales enfrentan una dicotomía:

Técnicas Estadísticas Estándar: Aunque los Modelos de Efectos Mixtos (MEMs) manejan bien los datos desbalanceados y la pérdida de datos (drop-out), suelen tener dificultades con las estructuras de correlación de alta dimensión y complejas inherentes a los datos ESM, y dependen de supuestos de distribución rígidos.
Aprendizaje Automático (ML) / Aprendizaje Profundo (DL): Las técnicas como las Redes Neuronales Recurrentes (RNN) pueden modelar estructuras de alta dimensión, pero a menudo fallan al proporcionar inferencias válidas cuando los datos son de tipo Perdidos al Azar (MAR). En estudios longitudinales, el abandono suele estar impulsado por el propio resultado (por ejemplo, los participantes dejan de participar debido a emociones negativas), lo que crea un sesgo de selección. Los métodos de imputación de ML estándar (por ejemplo, enmascaramiento, imputación de la media) suelen asumir que los datos son Perdidos Completamente al Azar (MCAR), lo que conduce a resultados sesgados en escenarios MAR.

Los intentos existentes para combinar estos campos (por ejemplo, Che et al., 2018) dependen de supuestos restrictivos sobre los mecanismos de pérdida (por ejemplo, que los valores perdidos decaen hacia una media empírica) que no se cumplen en escenarios clínicos complejos.

Metodología
Los autores proponen el Modelo Mixto Generalizado Profundo (DGMM), una novedosa arquitectura de red neuronal que generaliza los modelos de efectos mixtos al aprendizaje profundo.

Estructura del Modelo: El DGMM descompone la predicción de los resultados longitudinales $Y_{i,k}$ en dos componentes:
- Efectos Fijos ( $\mu_1$ ): Modelados por una red neuronal de alimentación hacia adelante (feed-forward) estándar ( $h$ ) que toma como entrada las covariables basales ( $X_i$ ) y el tiempo ( $T_{i,k}$ ). Esto captura las tendencias a nivel poblacional.
- Efectos Aleatorios ( $\mu_2$ ): Modelados por una estructura de Autoencoder Variacional (VAE).
  - Codificador ( $e$ ): Mapea los datos observados ( $Y_i, T_i, X_i$ ) a un espacio latente, estimando la media y la varianza de un vector de efectos aleatorios específico de cada sujeto $b_i$ .
  - Decodificador ( $d$ ): Muestrea de esta distribución latente para generar desviaciones específicas de cada sujeto ( $\mu_2$ ), las cuales se combinan con los efectos fijos.
- Distribución: El modelo admite distribuciones de resultados genéricas (Gaussiana, Gamma, Binomial, etc.) mediante funciones de enlace $G_k(\cdot)$ .
Estimación:
- Debido a que la verosimilitud marginal implica una integral intratable sobre efectos aleatorios no lineales, los autores utilizan la Inferencia Variacional.
- Se maximiza el Límite Inferior de la Evidencia (ELBO), que consiste en un término de reconstrucción (aproximado mediante muestreo de Monte Carlo) y un término de divergencia de Kullback-Leibler (KL) que regulariza la distribución latente frente a un prior normal estándar.
- Manejo de Datos Perdidos: Para abordar los datos MAR donde los tamaños de entrada varían, los autores emplean un algoritmo de Expectación-Maximización (EM) de aproximación estocástica combinado con un proceso de Robbins–Monro.
  - Los valores perdidos se imputan iterativamente. En cada época, los parámetros se actualizan mediante el descenso de gradiente estocástico, y los valores perdidos se simulan desde la distribución predictiva posterior utilizando un algoritmo de Metropolis–Hastings de Paseo Aleatorio (RWMH).
  - Esto permite que el codificador utilice el patrón de la pérdida de datos para la inferencia, en lugar de simplemente enmascararlo.
Predicción: Las predicciones dinámicas para nuevos sujetos se generan integrando sobre la distribución posterior de los efectos aleatorios y los parámetros del modelo, aproximada mediante muestreo de Monte Carlo.

Contribuciones Clave

Arquitectura: El primer marco que generaliza los modelos de efectos mixtos al aprendizaje profundo mediante la estimación de tanto los efectos fijos como los aleatorios usando redes neuronales, permitiendo un modelado semi-paramétrico y flexible de la heterogeneidad intra-persona e inter-persona.
Inferencia MAR: Una adaptación específica de los VAEs y el aumento de datos bayesiano que permite una inferencia válida bajo mecanismos de Pérdida al Azar (MAR), abordando el sesgo de selección que a menudo se ignora en las aplicaciones estándar de aprendizaje profundo para datos longitudinales.
Generalizabilidad: El modelo admite diversas distribuciones de resultados y escala a entornos de alta dimensión, superando la rigidez de los MEMs estándar y las limitaciones de inferencia de las RNN estándar.

Resultados
Los autores evaluaron el DGMM en el estudio GrowIt! (datos de salud mental adolescente durante la pandemia) y en varios estudios de simulación.

Aplicación GrowIt!:
- El DGMM se aplicó para predecir el Afecto Negativo, la Soledad y el Aburrimiento.
- Desempeño: El DGMM mostró un ajuste más pobre en los datos observados en comparación con una RNN estándar, particularmente para resultados binarios.
- Pronóstico: Ambos modelos tuvieron dificultades para pronosticar trayectorias futuras con precisión. El DGMM tendió a colapsar hacia un modelo lineal estable, mientras que la RNN produjo pronósticos excesivamente flexibles pero inestables.
- Conclusión: Los autores atribuyen este desempeño subóptimo a las características de los datos (correlaciones secuenciales pequeñas, distribuciones sesgadas y alta tasa de pérdida de datos ~61%) en lugar de un fallo fundamental en la arquitectura, sugiriendo que para este conjunto de datos específico, las decisiones clínicas deben basarse en los datos observados en lugar de en pronósticos complejos.
Estudios de Simulación:
- Sin Datos Perdidos: El DGMM se ajustó bien, pero mostró un desempeño predictivo ligeramente inferior al de la RNN en conjuntos de prueba independientes.
- Datos Perdidos (MAR): El DGMM demostró inestabilidad del modelo, con una alta varianza en el error de entrenamiento y en el desempeño predictivo a través de las iteraciones. Esto se atribuyó a la interacción entre el algoritmo de imputación de datos, la inferencia variacional y la inicialización de la red neuronal.
- Sesgo: A pesar de la inestabilidad, cuando el DGMM convergía, recuperaba las trayectorias reales con menos sesgo que la RNN bajo condiciones MAR, aprovechando con éxito el mecanismo de pérdida de datos.
- Imputación: El algoritmo de aumento de datos imputó con precisión los valores perdidos en los datos de entrenamiento, aunque con cierta varianza.

Significancia y Reivindicaciones
El artículo afirma modestamente que, si bien el DGMM es una arquitectura prometedora para analizar datos jerárquicos no lineales, actualmente sufre de problemas de inestabilidad (sensibilidad a los hiperparámetros, colapso del posterior y varianza en la convergencia).

Potencial: El modelo tiene el potencial de proporcionar inferencias válidas bajo condiciones MAR donde el ML estándar falla, particularmente a medida que se recopilan más datos a lo largo del tiempo.
Limitaciones: La implementación actual intercambia interpretabilidad por flexibilidad. Los autores señalan que la representación de la variable latente profunda fue tratada como un subproducto en este estudio.
Direcciones Futuras: Los autores sugieren que las iteraciones futuras podrían mejorar la estabilidad utilizando técnicas como el KL-annealing, $\beta$ -VAE o garantizando la identificabilidad. También proponen extender la arquitectura a otros tipos de datos (por ejemplo, imágenes médicas) y utilizar las dimensiones latentes para tareas no supervisadas (agrupamiento/clustering) o el modelado conjunto de resultados de tiempo hasta el evento.

En resumen, el DGMM representa un avance teórico para unificar los modelos mixtos estadísticos con el aprendizaje profundo para datos longitudinales, ofreciendo un mecanismo para manejar datos MAR, pero su utilidad práctica está actualmente limitada por la inestabilidad del entrenamiento y las características específicas de los conjuntos de datos probados.

Más como este