A constrained iteratively-reweighted least-squares framework for generalised linear models

Resumen Técnico: Un marco de mínimos cuadrados ponderados iterativamente restringidos para modelos lineales generalizados

1. Planteamiento del Problema

Los Modelos Lineales Generalizados (GLM, por sus siglas en inglés) son fundamentales en la estadística moderna para modelar diversas variables de respuesta. Sin embargo, en muchas aplicaciones prácticas, es necesario imponer restricciones lineales sobre los coeficientes del modelo. Estas restricciones pueden representar conocimiento previo, asegurar consistencia física (por ejemplo, coeficientes no negativos), o imponer formas específicas a las asociaciones (como la monotonicidad o la suma a cero en datos composicionales).

A pesar de su utilidad, existen barreras significativas para la implementación de GLMs restringidos:

• Falta de un marco unificado que cubra estimación, inferencia y selección de modelos.
• La mayoría de los algoritmos existentes se limitan a modelos lineales simples, con extensiones escasas a GLMs.
• La ausencia de software accesible que integre estas restricciones en rutinas de regresión estándar.

2. Metodología

Los autores proponen un marco general basado en el algoritmo de Mínimos Cuadrados Ponderados Iterativamente Restringidos (CIRLS, por sus siglas en inglés).

• Algoritmo de Estimación (CIRLS):

  • Extiende el algoritmo IRLS estándar utilizado en GLMs. En cada iteración, en lugar de resolver un problema de mínimos cuadrados sin restricciones, se resuelve un Programa Cuadrático (QP) sujeto a las restricciones lineales definidas por $l \leq C\beta \leq u$.
  • Utiliza algoritmos eficientes de programación cuadrática (como el algoritmo dual de Goldfarb e Idnani) o métodos de proyección de conos.
  • Se demuestra teóricamente que CIRLS es un caso particular de un Programa Cuadrático Secuencial (SQP), lo que garantiza una convergencia rápida y estable hacia la solución óptima dentro de la región factible.

• Inferencia Estadística:

  • Dado que las restricciones alteran la distribución asintótica estándar, los autores proponen basar la inferencia en una distribución Normal Multivariada Recortada (TMVN).
  • Se demuestra que el vector de coeficientes transformado $C\hat{\beta}$ sigue una distribución TMVN.
  • Para calcular intervalos de confianza y predicción, se utiliza un método de muestreo por importancia (basado en el esquema de Botev, 2017) para simular de la distribución TMVN y transformar los resultados de vuelta al espacio de los coeficientes originales. Esto permite obtener intervalos válidos que respetan las restricciones.

• Grados de Libertad y Selección de Modelos:

  • Se introducen dos medidas para la complejidad del modelo:
    1. Grados de Libertad Observados (odf): Basados en el número de restricciones activas en la muestra específica.
    2. Grados de Libertad Esperados (edf): Basados en el número esperado de restricciones activas, calculado mediante simulación.
  • El uso de edf es crucial para criterios de selección de modelos (como AIC o BIC), ya que el odf puede sobreestimar la reducción de complejidad y llevar a la selección de modelos demasiado complejos.

• Implementación de Software:

  • Todo el marco está implementado en el paquete R cirls, que se integra con la función estándar glm(), permitiendo a los usuarios definir restricciones mediante fórmulas o matrices de restricción directas.

3. Contribuciones Clave

1. Marco Unificado: Proporciona una solución general para estimar GLMs con restricciones lineales, cubriendo casos como regresión no negativa, regresión monótona, datos composicionales y regularización tipo Lasso.
2. Algoritmo Eficiente: El uso de CIRLS supera las barreras computacionales, ofreciendo convergencia rápida y estable incluso en configuraciones complejas.
3. Procedimientos de Inferencia Correctos: Desarrolla métodos basados en la TMVN para obtener intervalos de confianza y predicción válidos, corrigiendo el sesgo introducido por las restricciones y la reducción de la varianza.
4. Definición de Grados de Libertad: Propone el uso de grados de libertad esperados (edf) para una evaluación más precisa de la complejidad del modelo en contextos restringidos.
5. Herramienta Accesible: El paquete cirls democratiza el uso de estos métodos avanzados, integrándolos en el ecosistema estándar de R.

4. Resultados

• Estudios de Simulación:

  • Se evaluaron dos mecanismos de generación de datos: regresión no negativa y regresión monótona de estratos.
  • Error de Estimación: Se observó que las restricciones, incluso cuando son ligeramente incorrectas (el verdadero parámetro está justo fuera de la región factible), pueden mejorar el Error Cuadrático Medio (RMSE) al reducir la varianza a costa de un pequeño sesgo.
  • Inferencia: Los intervalos de confianza basados en TMVN mostraron una cobertura cercana al nivel nominal (95%) cuando las restricciones son factibles o cercanas al límite. La varianza se subestima ligeramente en modelos factibles y se sobreestima en modelos no factibles, pero el error se mantiene dentro de límites aceptables.
  • Grados de Libertad: La medida edf demostró ser un estimador más preciso de la complejidad del modelo que el odf, especialmente en escenarios con múltiples restricciones, al reducir la variabilidad en la estimación.

• Estudios de Caso del Mundo Real:

  1. Anomalía de Temperatura Global: Se utilizó una regresión monótona no decreciente para estimar el calentamiento global desde 1850. El modelo restringido suavizó la curva y estabilizó los periodos de estabilidad, proporcionando una estimación más robusta de los puntos de cambio que el modelo no restringido.
  2. Composición del PIB y Esperanza de Vida: Se aplicó una regresión composicional para analizar cómo la proporción del gasto en diferentes sectores económicos afecta la esperanza de vida en la UE. El marco permitió imponer la restricción de suma a cero de los coeficientes, facilitando la interpretación de los resultados sin depender de una variable de referencia arbitraria.

5. Significado e Impacto

El marco CIRLS representa un avance significativo en la modelado estadístico aplicado, especialmente en campos como la epidemiología, la salud pública y las ciencias ambientales, donde las restricciones físicas o lógicas son comunes.

• Flexibilidad: Permite integrar restricciones de forma natural en modelos GLM estándar, eliminando la necesidad de soluciones ad-hoc para cada problema.
• Robustez: Mejora la precisión de las estimaciones en situaciones de bajo poder estadístico o ruido alto, aprovechando el conocimiento previo mediante restricciones.
• Accesibilidad: Al estar disponible en R y ser compatible con las rutinas estándar, facilita la adopción de métodos de estimación restringida por parte de una amplia comunidad de investigadores.

El trabajo concluye que, aunque existen limitaciones actuales (como la dificultad de inferencia cuando el número de restricciones supera al de variables o en casos de $p \geq n$), el marco CIRLS ofrece una base sólida y unificada para abordar problemas de estimación restringida, con futuras direcciones hacia pruebas de hipótesis y restricciones no lineales.