Robust Regression with Student's T: The Role of Degrees of Freedom

Aquí presento un resumen técnico detallado del artículo "Robust Regression with Student's T: The Role of Degrees of Freedom" (Regresión Robusta con Distribución t de Student: El Papel de los Grados de Libertad), escrito por Amanda Ng, Shangkai Zhu, Archer Gong Zhang y Nancy Reid.

1. Planteamiento del Problema

La regresión lineal clásica, basada en el método de mínimos cuadrados ordinarios (OLS), es altamente sensible a la presencia de valores atípicos (outliers). Estos valores pueden distorsionar significativamente las estimaciones de los parámetros ($\beta$) y degradar la fiabilidad de la inferencia estadística.

Una alternativa robusta es modelar los errores de la regresión utilizando una distribución t de Student, la cual posee colas más pesadas que la distribución normal, permitiendo acomodar mejor los valores extremos. Sin embargo, la eficacia de este enfoque depende críticamente del parámetro de grados de libertad ($\nu$):

• Si $\nu$ es pequeño, la distribución tiene colas muy pesadas (muy robusta), pero puede ser ineficiente si los datos reales son casi normales.
• Si $\nu \to \infty$, la distribución converge a la normal, perdiendo robustez.

El problema central abordado en el artículo es: ¿Cómo estimar óptimamente el parámetro $\nu$ en la práctica? La literatura previa ha sugerido fijar $\nu$ a un valor constante (a menudo arbitrario) o utilizar métodos bayesianos, pero existe una falta de consenso sobre qué método de estimación de $\nu$ conduce a las mejores estimaciones de los coeficientes de regresión $\beta$, especialmente en escenarios de alta dimensionalidad o con datos contaminados.

2. Metodología

Los autores comparan cuatro enfoques principales para estimar $\nu$ y evalúan cómo estas estimaciones afectan la inferencia de $\beta$.

A. Enfoques de Verosimilitud (Frecuentistas)

1. Verosimilitud Perfilada ($\hat{\nu}$): Maximiza la función de verosimilitud perfilada $\ell_p(\nu; y)$, donde $\beta$ y $\sigma$ se estiman condicionalmente para cada $\nu$.
2. Verosimilitud Perfilada Ajustada ($\hat{\nu}_{adj}$): Propuesta por Cox y Reid (1987), ajusta la verosimilitud perfilada para corregir el sesgo introducido por la estimación de los parámetros de molestia ($\lambda = \beta, \sigma$). La función ajustada es:
   $$\ell_{adj}(\nu; y) = \ell_p(\nu; y) - \frac{1}{2} \log |j_{\lambda\lambda}(\nu, \hat{\lambda}_\nu)|$$
   Donde $j_{\lambda\lambda}$ es la submatriz de la información de Fisher observada correspondiente a los parámetros de molestia.

B. Enfoques Bayesianos

1. Prior de Jeffreys Independiente ($\hat{\nu}_{Bayes}$): Utiliza una prior no informativa basada en la matriz de información de Fisher, tratando $\beta$ independientemente de $(\sigma, \nu)$. Se obtiene la estimación MAP (Maximum A Posteriori).
2. Enfoque Pseudo-Bayesiano ($\hat{\nu}_{Pseudo}$): Trata la función de verosimilitud perfilada como una verosimilitud real y aplica una prior $\pi(\nu) \propto I_{\nu\nu}^{1/2}(\nu)$ para formar una pseudo-posterior.

C. Evaluación y Simulación

• Datos: Se utilizaron datos sintéticos y el conjunto de datos real "Stack Loss" (Brownlee, 1965).
• Escenarios: Se varió el tamaño de la muestra ($n$), la dimensionalidad ($p$), y el verdadero valor de $\nu$ (2, 5, 10).
• Contaminación: Se introdujeron outliers mediante distribuciones contaminadas (Normal con varianza alta, $\chi^2$ centrado, t de Student, y contaminación de dos puntos).
• Comparación: Se compararon los métodos anteriores con:
  • OLS (Mínimos Cuadrados Ordinarios).
  • Regresión de Huber (con parámetro de ajuste seleccionado automáticamente).
  • Modelos t con $\nu$ fijo (en valores verdaderos y valores arbitrarios).
• Métrica: Error Cuadrático Medio (RMSE) de los coeficientes de regresión $\hat{\beta}$.

3. Contribuciones Clave

1. Análisis Comparativo Exhaustivo: El estudio proporciona una síntesis detallada comparando métodos frecuentistas y bayesianos para la estimación de $\nu$, algo que no se había hecho de manera tan integral en el contexto de regresión lineal con errores t.
2. Propuesta del Método Ajustado: Demuestran que la verosimilitud perfilada ajustada ($\hat{\nu}_{adj}$) es superior o comparable a los otros métodos, especialmente en escenarios donde la relación entre la dimensionalidad y el tamaño de muestra ($p/n$) no es extremadamente alta.
3. Insight sobre la Calibración de $\nu$: El hallazgo más importante es que la calibración adecuada de los grados de libertad es tan crucial como la elección de la distribución robusta en sí misma. Un mal ajuste de $\nu$ puede anular los beneficios de usar una distribución t.
4. Comportamiento en Alta Dimensión: Identifican un umbral crítico: cuando $p/n$ es muy grande, la estimación de $\nu$ tiende a sobreestimar el valor (hacia la normalidad) debido a la magnitud de los residuos, y en estos casos, fijar $\nu$ a un valor grande puede ser más eficiente.
5. Reproducibilidad: Desarrollaron e hicieron público el paquete de R RobustTRegression que implementa estos métodos.

4. Resultados Principales

• Estimación de $\nu$:
  • En dimensiones bajas ($p$ pequeño), el estimador de verosimilitud perfilada estándar ($\hat{\nu}$) tiene el menor RMSE.
  • En dimensiones altas ($p$ grande, ej. $p=60, 80$), el estimador $\hat{\nu}_{adj}$ tiene el menor RMSE y se adapta mejor, mientras que los estimadores bayesianos y el perfilado estándar tienden a tener mayor error.
• Estimación de $\beta$ (Coeficientes):
  • Datos sin contaminación (Errores t): El método $\hat{\nu}_{adj}$ produce estimaciones de $\beta$ con un RMSE comparable a usar el $\nu$ verdadero fijo, superando consistentemente a OLS y a menudo superando o igualando a la regresión de Huber.
  • Datos con contaminación (Outliers):
    • En presencia de outliers (especialmente en datos de baja/media dimensión), los métodos que estiman $\nu$ (especialmente $\hat{\nu}_{adj}$) superan a OLS y a menudo a Huber.
    • En escenarios de alta contaminación (ej. 30% de outliers no t-distribuidos) y alta dimensionalidad, todos los métodos de estimación de $\nu$ pueden fallar (sobreestimando $\nu$), comportándose similar a OLS o métodos con $\nu$ fijo alto. Sin embargo, $\hat{\nu}_{adj}$ sigue siendo más robusto que OLS en la mayoría de los casos de contaminación moderada.
  • Datos Normales: Cuando los errores son realmente normales, OLS es el mejor, pero $\hat{\nu}_{adj}$ se acerca mucho a su rendimiento, demostrando que no sacrifica eficiencia en ausencia de outliers.
• Relación $p/n$:
  • Si $p/n < 0.5$, estimar $\nu$ es beneficioso y robusto.
  • Si $p/n$ es muy grande, la estimación de $\nu$ se vuelve inestable y puede ser preferible fijar $\nu$ a un valor alto.

5. Significado e Impacto

Este trabajo es fundamental para la práctica de la estadística robusta porque:

1. Resuelve la incertidumbre de parámetros: Proporciona una guía clara sobre cómo seleccionar $\nu$ en lugar de depender de valores arbitrarios o heurísticos.
2. Valida la inferencia ajustada: Confirma teórica y empíricamente la utilidad de la verosimilitud perfilada ajustada (Cox-Reid) en modelos de regresión t, un área donde a menudo se ignoran las correcciones de orden superior.
3. Equilibrio Robustez-Eficiencia: Demuestra que es posible obtener un estimador que sea robusto frente a outliers (como la t de Student) pero que recupere la eficiencia de OLS cuando los datos son limpios, siempre que se estime $\nu$ correctamente.
4. Herramienta Práctica: La disponibilidad del paquete RobustTRegression facilita la adopción de estos métodos avanzados por parte de investigadores y analistas de datos.

En conclusión, el artículo establece que estimar los grados de libertad mediante la verosimilitud perfilada ajustada es el enfoque más equilibrado y robusto para la regresión con errores t, ofreciendo un rendimiento superior en una amplia gama de condiciones de datos, salvo en casos extremos de alta dimensionalidad relativa.