A Generative Approach to Joint Modeling of Quantitative and Qualitative Responses

Resumen Técnico: Un Enfoque Generativo para el Modelado Conjunto de Respuestas Cuantitativas y Cualitativas (GAQQ)

Planteamiento del Problema
En muchos dominios científicos, como la ciencia de materiales y la genética, los investigadores encuentran conjuntos de datos que contienen tanto respuestas cuantitativas (continuas) como cualitativas (categóricas), a menudo acompañados de un gran número de variables predictoras (datos de alta dimensión). La literatura existente sobre resultados mixtos suele emplear modelos de regresión condicional, donde un tipo de respuesta se trata como la variable de resultado y el otro como predictor, o utiliza enfoques de variables latentes. Sin embargo, estos métodos a menudo pasan por alto la dependencia entre las propias variables predictoras, la cual puede proporcionar información crucial para modelar el comportamiento conjunto de las respuestas. Además, el manejo de entradas de alta dimensión ($p \ge n$) en estos marcos condicionales a menudo conduce a una complejidad computacional y a dificultades para establecer propiedades asintóticas.

Metodología: El Marco GAQQ
Los autores proponen un nuevo enfoque generativo, denominado GAQQ, que modela la distribución conjunta de las variables predictoras ($X$), la respuesta cuantitativa ($y$) y la respuesta cualitativa ($Z$).

• Supuestos del Modelo: El método asume que el vector combinado $W = (X', y)'$ sigue una distribución normal multivariada condicional a la etiqueta de clase $Z$. Específicamente, para $K$ clases, $W | Z=k \sim N(\mu_k, \Sigma)$. El modelo asume una matriz de covarianza común $\Sigma$ entre clases, pero permite vectores de medias específicos por clase $\mu_k$.
• Estimación Regularizada: Para abordar escenarios de alta dimensión donde $p \ge n$, los autores formulan un problema de optimización de verosimilitud logarítmica penalizada. Esto implica imponer regularización $L_1$ (Lasso) sobre las diferencias de medias ($\delta_k = \mu_k - \mu_1$) y sobre la matriz de covarianza inversa (matriz de precisión) $C = \Sigma^{-1}$. La función objetivo minimiza:
  $$-n \ln |C| + \sum_{k=1}^K \sum_{i \in G_k} (w_i - \mu_k)'C(w_i - \mu_k) + \lambda_1 \|C\|_1 + \lambda_2 \sum_{k=2}^K |\mu_k - \mu_1|_1$$
  donde $\|C\|_1$ es la suma de los elementos fuera de la diagonal en valor absoluto de $C$, y $\lambda_1, \lambda_2$ son parámetros de ajuste.
• Solución Algorítmica: La optimización se resuelve mediante un procedimiento iterativo que descompone el problema en dos subproblemas:
  1. Estimar $C$ utilizando la técnica de Graphical Lasso (Glasso), tratando las diferencias de medias como fijas.
  2. Estimar las diferencias de medias $\delta_k$ utilizando la técnica Lasso, tratando $C$ como fija.
     Esta minimización alterna continúa hasta la convergencia. Los parámetros de ajuste se seleccionan utilizando un criterio tipo BIC.
• Estrategia de Predicción:
  • Respuesta Cuantitativa ($y$): Se predice utilizando la esperanza condicional de una distribución normal multivariada, condicionada a la etiqueta de clase predicha.
  • Respuesta Cualitativa ($Z$): Se clasifica utilizando una regla de Análisis Discriminante Lineal (LDA) derivada de la distribución conjunta estimada.
  • Predicción Conjunta: Los autores demuestran que el orden de predicción (predecir $y$ y luego $Z$, o viceversa) no afecta el resultado final. El procedimiento calcula valores candidatos para $y$ bajo cada hipótesis de clase, evalúa la densidad conjunta y selecciona la clase y el valor correspondiente de $y$ que maximizan la probabilidad posterior.
• Extensión: El marco se extiende naturalmente a respuestas cualitativas multiclase ($Z \in \{1, \dots, K\}$) regularizando las diferencias entre la media de cada clase y la media de una clase base.

Contribuciones Clave

1. Perspectiva Generativa: A diferencia de los modelos condicionales existentes, GAQQ modela la distribución conjunta de predictores y respuestas, aprovechando la estructura de dependencia entre predictores para mejorar la estimación.
2. Garantías Teóricas: Bajo condiciones de regularidad (incluyendo condiciones de autovalor restringido e irrepresentabilidad), los autores establecen la optimalidad asintótica de la regla de clasificación. Específicamente, la tasa de error de clasificación converge al riesgo de Bayes. Además, el error cuadrático medio (MSE) de la predicción cuantitativa converge al MSE del predictor de Bayes óptimo.
3. Eficiencia Computacional: Al descomponer la optimización conjunta compleja en pasos iterativos de Glasso y Lasso, el método proporciona un procedimiento eficiente para la estimación de parámetros en escenarios de alta dimensión.
4. Manejo de Resultados Mixtos: El método maneja simultáneamente respuestas cualitativas multiclase y respuestas cuantitativas multivariadas, una capacidad no fácilmente lograda por enfoques de variables latentes o regresión condicional estándar.

Resultados

• Simulaciones: Se realizaron simulaciones extensas con diversas estructuras de covarianza (dispersa, densa, simetría compuesta) y niveles de dispersión de las diferencias de medias.
  • Clasificación: GAQQ superó consistentemente a los métodos de referencia (GLDA, CL, ENET, WT, CHWE) en términos de error de clasificación (ME), particularmente a medida que aumentaba la dimensionalidad y los modelos subyacentes se volvían más dispersos.
  • Predicción: GAQQ demostró un rendimiento superior en la predicción de la respuesta cuantitativa (medido por el Error Cuadrático Medio de Predicción Raíz, RMSPE) en comparación con sus competidores. Los autores atribuyen esto a la clasificación precisa de $Z$ y a la estimación regularizada de la matriz de covarianza.
• Estudios de Caso:
  • Ciencia de Materiales (Compuestos Heusler): Aplicado para predecir la estabilidad termodinámica (cualitativa binaria) y la entalpía de mezcla (cuantitativa) a partir de características elementales. GAQQ logró el ME más bajo (10.49%) y el RMSPE más bajo (0.142) en comparación con GLDA, ENET y CL.
  • Genética (IBD): Aplicado a datos de expresión génica para la colitis ulcerosa y la enfermedad de Crohn (cualitativa multiclase) con un gen seleccionado aleatoriamente como respuesta cuantitativa. GAQQ obtuvo el ME más bajo (15.77%) y el RMSPE más bajo (0.661) entre GLDA, WT y CHWE.

Significado y Afirmaciones
El artículo afirma que el método GAQQ ofrece una perspectiva única y ventajosa al tratar el problema como una tarea de modelado generativo en lugar de una tarea de regresión condicional. Los autores afirman que este enfoque:

• Permite una estimación eficiente de parámetros y una predicción precisa para ambos tipos de respuesta en escenarios de alta dimensión.
• Proporciona una base teórica sólida, estableciendo la optimalidad asintótica para la clasificación y la predicción bajo condiciones de regularidad estándar.
• Permite que los parámetros relacionados con diferentes tipos de respuesta se "aprendan mutuamente", mejorando el rendimiento sobre los métodos que modelan un tipo de respuesta mientras solo se benefician indirectamente del otro.

Los autores concluyen que, aunque el marco actual asume una matriz de covarianza común (LDA), el trabajo futuro podría explorar el Análisis Discriminante Cuadrático (QDA) para estructuras de covarianza más flexibles o extender el enfoque a respuestas semi-continuas y ordinales. Sin embargo, señalan que tales extensiones introducirían desafíos técnicos y computacionales significativos.