Resumen Técnico: Regresión Polinomial con Bagging Aplicada a la Predicción Ambiental

1. Planteamiento del Problema

Las redes neuronales profundas (NN) se han convertido en el estándar para la predicción de alta dimensionalidad en la economía ambiental, como la detección de inundaciones, el pronóstico de incendios forestales y la predicación del rendimiento de los cultivos. Si bien las NN ofrecen una precisión superior mediante la sobreparametrización, funcionan como "cajas negras", lo que las hace difíciles de auditar, de alinear con el conocimiento del dominio o de utilizar para el diseño de políticas donde se requiere interpretabilidad.

La regresión polinomial estándar ofrece una alternativa transparente basada en coeficientes, pero sufre de la "maldición de la dimensionalidad". A medida que el número de covariables ($d$) y el grado polinomial ($J$) aumentan, el número de términos de la base del diccionario ($k$) explota (por ejemplo, $k \approx (J+1)^d$). Esto conduce a:

1. Intratabilidad computacional: Invertir matrices $k \times k$ se vuelve imposible.
2. Tasas de convergencia lentas: El tamaño de la muestra requerido para una estimación consistente crece exponencialmente con la dimensión, lo que hace que la regresión polinomial estándar sea poco práctica en entornos de alta dimensionalidad.

El artículo busca un método de ensamble nativo de la econometría que conserve la interpretabilidad de los modelos polinomiales mientras alcanza una precisión predictiva competitiva en entornos de alta dimensionalidad.

2. Metodología

Marco Teórico: Estimadores de Series Particionados

Los autores se basan en la literatura de regresión de series/sieve (Newey, Stone) para derivar límites de riesgo $L_2$ en muestras finitas y asintóticos. Introducen la Regresión Polinomial Particionada (PPR), donde las covariables se dividen en $B$ grupos, y las características polinomiales se construyen de forma independiente dentro de cada grupo en lugar de hacerlo a través de todas las interacciones.

• Análisis de Compromiso (Trade-off): La partición reduce la complejidad efectiva de la base (reduciendo el error de estimación) a costa de un aumento en el error de aproximación. Los autores derivan condiciones bajo las cuales un nivel intermedio de partición ($B^*$) mejora las tasas de convergencia, particularmente para funciones objetivo suaves ($g \in \Sigma^s(X)$).
• Efectos Marginales: La teoría se extiende a la estimación de las Derivadas Parciales Promedio (APD). Los autores demuestran que si las derivadas de la función del diccionario tienen un soporte disperso, las tasas de estimación para los efectos marginales pueden ser más rápidas que para la función misma. Esto sugiere que los modelos más simples con diccionarios de base conocidos (como los polinomiales) pueden proporcionar estimaciones de efectos marginales más fiables que los modelos complejos, incluso si su precisión predictiva general es similar.

Algoritmo Propuesto: Regresión Polinomial con Bagging (BPR)

Motivado por los beneficios teóricos de la partición, los autores proponen la Regresión Polinomial con Bagging y Proyecciones Aleatorias (BPR). BPR combina tres conceptos:

1. Proyecciones Aleatorias: Los modelos se ajustan sobre subconjuntos aleatorios de características ($F$) en lugar del conjunto completo.
2. Bagging (Ensamble): Se entrenan $M$ modelos base sobre submuestras aleatorias de los datos y se promedian para reducir la varianza.
3. Regularización: Se aplica penalización $\ell_2$ (Ridge) para manejar la colinealidad y mejorar el ajuste fuera de la muestra.

Algoritmo 1 (BPR):

1. Para $m = 1$ hasta $M$:
   • Muestrear $F$ características aleatoriamente.
   • Muestrear $S$ observaciones (submuestra).
   • Generar características polinomiales de grado $J$ para las características seleccionadas.
   • Ajustar un modelo lineal generalizado regularizado (logístico para clasificación, lineal para regresión).
2. Agregar predicciones: Promediar las salidas de los $M$ modelos (o tomar un voto de mayoría para clasificación).

El método permite a los investigadores ajustar los hiperparámetros ($J, F, M, S, \lambda$) mediante validación cruzada para navegar el compromiso entre el error de aproximación y de estimación, estimando efectivamente el tamaño de partición óptimo $B^*$ para un conjunto de datos dado.

3. Resultados Clave

Contribuciones Teóricas

• Límites de Riesgo: El artículo proporciona nuevos límites de riesgo $L_2$ asintóticos y de muestra finita para estimadores de series particionados. Demuestra que la partición controla el crecimiento de la base del diccionario, permitiendo tasas de convergencia más rápidas en alta dimensionalidad en comparación con la regresión de series estándar.
• Tasas de Efectos Marginales: El Corolario 2.2 establece que el error de estimación para los efectos marginales escala con el soporte de la derivada ($s_j$) en lugar del número total de parámetros ($k$). Esto implica que los modelos con estructuras marginales más simples y dispersas (como BPR) pueden ofrecer estimaciones más precisas de los efectos marginales que los modelos de caja negra complejos.
• Partición Óptima: Los autores caracterizan el tamaño de grupo óptimo $B^*$, mostrando que aumenta con la suavidad de la función objetivo y el grado polinomial, pero disminuye con la dimensionalidad del espacio de características.

Aplicación Empírica: Clasificación de Cultivos

El método se aplica a un problema de clasificación de múltiples clases de cultivos utilizando imágenes satelitales (ópticas RapidEye y radar UAVSAR) cerca de Winnipeg, Canadá. La tarea consiste en distinguir siete tipos de cultivos (maíz, guisantes, canola, soja, avena, trigo, hoja ancha) a partir de 174 características.

• Desempeño Predictivo: BPR alcanzó una precisión de prueba de 0.997, superando las líneas base de redes neuronales reportadas para el mismo conjunto de datos (aprox. 0.992). Esto se logró con un embebido de bajo grado (grado 2) y un tamaño de ensamble modesto (10 bolsas), utilizando significativamente menos parámetros que las redes neuronales sobreparametrizadas.
• Interpretabilidad:
  • Resúmenes de Coeficientes: Los autores demostraron cómo agregar coeficientes a través del ensamble de bagging para estimar las Derivadas Parciales Promedio (APD). Para el Índice de Vegetación de Diferencia Normalizada (NDVI), BPR identificó correctamente una relación negativa con la probabilidad de soja (consistente con los conocimientos agronómicos previos: la soja es menos verde a principios de julio que los cultivos competidores).
  • Gráficos de Dependencia Parcial (PDP): Mientras que los PDP de BPR mostraron relaciones claras e intuitivas entre el NDVI y la probabilidad del cultivo, los PDP de las NN eran esencialmente planos. Los autores argumentan que las NN distribuyen las señales predictivas a través de sustitutos correlacionados, oscureciendo el efecto marginal de variables individuales, mientras que el submuestreo de características aleatorias de BPR obliga a los aprendices base a modelar explícitamente la relación de las variables incluidas.

4. Significancia y Reivindicaciones

El artículo afirma ofrecer una "tercera vía" entre la alta precisión de las NN de caja negra y la interpretabilidad de los modelos econométricos estándar, que a menudo fallan en alta dimensionalidad.

• Alternativa Nativa de la Econometría: BPR proporciona una estructura transparente basada en coeficientes que soporta la interpretabilidad y se alinea con los conocimientos científicos previos, abordando los requisitos emergentes de gobernanza (por ejemplo, la Ley de IA de la UE) para la transparencia algorítmica.
• Justificación Teórica de la Simplicidad: Los resultados sugieren que, para funciones objetivo suaves, los modelos más simples con un crecimiento de base controlado pueden igualar el desempeño predictivo de los modelos de caja negra complejos, ofreciendo al mismo tiempo una interpretabilidad superior y estimaciones de efectos marginales más fiables.
• Utilidad Práctica: Los autores demuestran que BBR no es solo un constructo teórico, sino una herramienta práctica que iguala el desempeño de vanguardia en tareas de predicción ambiental, manteniendo al mismo tiempo un diagnóstico sencillo mediante resúmenes econométricos estándar (tablas de coeficientes, PDP).

El artículo concluye que, si bien la regresión polinomial estándar rara vez se utiliza debido a sus lentas tasas de convergencia, la Regresión Polinomial con Bagging y Proyecciones Aleatorias mitiga con éxito estos problemas, convirtiéndola en un sustituto viable e interpretable para las redes neuronales en aplicaciones ambientales de alta dimensionalidad.