Cross-Fitted Contamination-Aware Generalized Empirical-Bayes Liu Shrinkage for Multinomial Logit Models under Multicollinearity and Outliers

Resumen Técnico: CF-CABLS-MNL (Contaminación-Consciente de Ajuste Cruzado y Encogimiento de Liu mediante Bayes Empírico Generalizado para Modelos Logit Multinomiales)

Planteamiento del Problema
La estimación de modelos logit multinomiales (MNL) enfrenta desafíos simultáneos en aplicaciones empíricas: inestabilidad debido a la multicolinealidad (relaciones casi lineales entre predictores), distorsión por la clasificación errónea de respuestas (errores de etiqueta) y sensibilidad a observaciones de alto apalancamiento (valores extremos de covariables). La estimación de máxima verosimilitud (MLE) estándar sufre de una gran variación muestral en las direcciones correspondientes a los autovalores pequeños de la matriz de información. Mientras que los métodos robustos (por ejemplo, la Divergencia de Potencia de Densidad, DPD) abordan la contaminación de la respuesta y el apalancamiento de las variables, y los métodos de encogimiento (por ejemplo, Ridge, Liu) abordan la multicolinealidad, la combinación de ambos suele conducir a resultados subóptimos. Específicamente, aplicar encogimiento a un centro robusto distorsionado puede reducir la varianza alrededor del punto incorrecto, y la estimación conjunta no restringida de los coeficientes de regresión y las matrices de clasificación errónea puede conducir a una identificación débil.

Metodología: CF-CABLS-MNL
Los autores proponen el estimador CF-CABLS-MNL (Cross-Fitted Contamination-Aware Generalized Empirical-Bayes Liu Shrinkage para MNL). Este método integra cuatro componentes distintos para coordinar los mecanismos de ruido, la geometría de la incertidumbre y los centros de la distribución previa:

1. Piloto Robusto de Ajuste Cruzado (Cross-Fitted Robust Pilot): Para evitar la reutilización de datos (usar el mismo estimador tanto como centro de la distribución previa como actualización de los datos), el método emplea el ajuste cruzado (cross-fitting). Los datos de entrenamiento se dividen en $L$ estratos. Para cada pliegue, se ajusta un estimador M robusto sobre los datos restantes para generar probabilidades fuera de la muestra (out-of-fold, OOF) y un vector de coeficientes piloto ($\tilde{\beta}_{CF}$). El centro piloto se define como la mediana por coordenadas de estos estimadores específicos de cada pliegue.
2. Divergencia de Potencia de Densidad (DPD) Ponderada: La función objetivo central utiliza la DPD ponderada para equilibrar la eficiencia y la robustez.
   • Robustez de la Respuesta: El parámetro $\alpha$ de la DPD reduce el peso de las observaciones con probabilidades de modelo pequeñas para su clase registrada.
   • Robustez de Apalancamiento: Las observaciones se ponderan mediante $v_i$, derivadas de las distancias de Mahalanobis robustas de los predictores, para limitar la influencia de las covariables extremas.
3. Modelado de Clasificación Errónea con Dominancia Diagonal: Se estima una matriz de transición de clases $M$ mediante un algoritmo MAP-EM utilizando las probabilidades OOF. La matriz se restringe para ser estocástica por fila y tener dominancia diagonal (favoreciendo la matriz identidad) mediante una distribución previa de Dirichlet. Esta matriz se estima por separado del ajuste final de los coeficientes y luego se mantiene fija, lo que permite una ablación entre un modelo de etiquetas identidad y un ajuste de contaminación explícito.
4. Encogimiento de Liu de Base Espectral y Bayes Empírico Generalizado:
   • Geometría: En lugar de usar la inversa de la Hessiana de la pérdida, el método utiliza la inversa de la covarianza sándwich empírica (precisión de Godambe) para definir la geometría de la incertidumbre.
   • Encogimiento Específico por Dirección: El vector de coeficientes robusto se rota hacia el espacio propio de la matriz de precisión de Godambe. Para cada dirección propia $j$, se estima un factor de Liu $\delta_j$.
   • Prioris Adaptativos: Los factores de Liu se tratan como variables aleatorias que siguen una distribución Beta, donde los hiperparámetros dependen de los autovalores de la información robusta ($\lambda_j$). Las direcciones con autovalores pequeños (débilmente identificadas) reciben un encogimiento más fuerte hacia el centro piloto del ajuste cruzado, mientras que las direcciones estables permanecen cerca del centro robusto.
   • Integración: El estimador final se obtiene integrando la media posterior de $\delta_j$ mediante cuadratura determinística (Gauss-Legendre).

Contribuciones Clave
El artículo presenta siete contribuciones específicas:

1. Un estimador MNL integrado que aborda simultáneamente la multicolinealidad, la clasificación errónea de respuestas y la contaminación por apalancamiento.
2. Un piloto robusto de ajuste cruzado que proporciona probabilidades OOF y un centro previo sin un autocentrado directo de la muestra completa.
3. Una etapa MAP-EM separada para estimar una matriz de clasificación errónea con dominancia diagonal, distinta del ajuste final de coeficientes.
4. Una representación espectral utilizando la geometría sándwich/Godambe para actualizaciones de encogimiento de Liu de Bayes empírico generalizado específicas por dirección.
5. Un estudio de ablación completo que aísla los efectos de la DPD, el peso de apalancamiento, el ajuste de clasificación errónea, el ajuste cruzado y el encogimiento espectral.
6. Validación empírica extensa mediante 16 escenarios de Monte Carlo y experimentos semi-sintéticos en tres conjuntos de datos del mundo real (UCI Dry Bean, Vehicle Silhouettes, Glass Identification).
7. Un hallazgo empírico de que el modelado explícito de la clasificación errónea es beneficioso solo en regímenes específicos, lo que motiva la selección adaptativa en lugar de su aplicación universal.

Resultados Empíricos
El estudio evalúa el método frente a MLE, Ridge, Liu escalar, DPD y diversas ablaciones robustas.

• Desempeño en Simulaciones: En los 16 escenarios de simulación, la regresión Ridge logró el error de coeficiente más bajo (SMSE) y la pérdida de logaritmo (log loss). Esto se atribuye al vector de coeficientes denso y a la constante de Ridge favorable en el diseño de la simulación. Sin embargo, en comparación con la MLE no regularizada, el CF-CABLS completo redujo el SMSE promedio aproximadamente un 19%, y la versión sin la matriz de clasificación errónea lo redujo en un 30%. El CF-CABLS logró la mejor precisión equilibrada en seis escenarios, particularmente bajo contaminación conjunta de respuesta y apalancamiento.
• Desempeño con Datos Reales: Ningún estimador único dominó uniformemente en todos los conjuntos de datos y tipos de contaminación.
  • Dry Bean (Alta Colinealidad): El CF-CABLS logró la menor pérdida de logaritmo bajo contaminación combinada, mientras que MLE y DPD funcionaron mejor en entornos limpios.
  • Vehicle Silhouettes: Los estimadores más simples (Liu escalar, DPD) fueron generalmente preferibles; el CF-CABLS completo no dominó uniformemente.
  • Glass Identification (Muestra Pequeña e Imbalanceada): Ridge y Liu escalar fueron los más fiables. El CF-CABLS completo y los modelos con ajuste de clasificación errónea a menudo produjeron una alta pérdida de logaritmo, lo que sugiere que la estimación de una matriz de transición de $6 \times 6$ a partir de muestras pequeñas introduce inestabilidad.
• Diagnósticos Espectrales: Se observó una fuerte asociación positiva entre los autovalores de la información robusta y los factores de Liu posteriores, confirmando que el método aplica correctamente un encogimiento más fuerte a las direcciones mal identificadas.

Significado y Reivindicaciones
Los autores posicionan a CF-CABLS-MNL no como un estimador universalmente superior, sino como un marco de robustez-encogimiento transparente y un dispositivo de ablación.

• Reivindicaciones Modestas: El artículo establece explícamente que Ridge sigue siendo el referente más fuerte para la recuperación de coeficientes en entornos de coeficientes densos. El valor de CF-CABLS reside en su capacidad para mejorar sobre los estimadores robustos no regularizados y proporcionar una forma fundamentada de manejar dificultades conjuntas (colinealidad + contaminación).
• Utilidad Selectiva: La idea principal es que el ajuste de clasificación errónea explícito es un componente "dependiente del régimen". Mejora el desempeño en entornos altamente colineales y contaminados (como Dry Bean), pero puede perjudicar el desempeño en conjuntos de datos pequeños o limpios (como Glass) debido al ruido de estimación en la matriz de transición.
• Valor del Marco de Trabajo: El método logra desacoplar la estimación del centro robusto, la geometría de la incertidumbre (Godambe) y el mecanismo de encogimiento, permitiendo a los investigadores diagnosticar qué componente impulsa las ganancias de rendimiento. Los autores concluyen que el marco proporciona una base para la futura selección de matrices adaptativas y el ajuste conjunto, en lugar de servir como un reemplazo por defecto para estimadores más simples en todos los problemas multiclase.