Resumen Técnico: Bosques Aleatorios Agrupados con Datos Correlacionados

Planteamiento del Problema

Los conjuntos de datos del mundo real frecuentemente exhiben estructuras agrupadas derivadas de mediciones repetidas, estudios longitudinales o agrupaciones geográficas. En tales entornos, las observaciones dentro de un grupo suelen estar correlacionadas, lo que viola el supuesto de independencia e identidad de distribución (i.i.d.) estándar para muchos algoritmos de aprendizaje automático. Si bien los modelos paramétricos de efectos mixtos pueden dar cuenta de estas correlaciones, dependen de supuestos paramétricos específicos respecto a las estructuras de media y covarianza; la especificación errónea de estas estructuras puede conducir a un sesgo sustancial y a una estimación inconsistente.

Los enfoques no paramétricos existentes, como los Bosques Aleatorios (RF), suelen ignorar las correlaciones intra-grupo o intentan modelarlas mediante estructuras de covarianza paramétricas rígidas (por ejemplo, árboles REEM, Bosques de Efectos Mixtos Aleatorios). Estos métodos existentes a menudo sufren de intratabilidad computacional (complejidad cúbica) o no logran garantizar la reducción de la varianza sobre los RF estándar. Además, existe una brecha crítica en la comprensión de cómo se comportan la estimación y la inferencia óptimas bajo un desplazamiento de la distribución de las covariables cuando los datos están correlacionados. Los métodos estándar optimizados para la distribución de entrenamiento pueden funcionar arbitrariamente mal cuando la distribución de prueba cambia, un fenómeno menos estudiado en entornos de datos correlacionados en comparación con los datos independientes.

Metodología: Bosques Aleatorios Agrupados (CRF)

Los autores proponen los Bosques Aleatorios Agrupados (CRF), una extensión no paramétrica del algoritmo de Bosque Aleatorio diseñada específicamente para datos agrupados. La innovación central radica en la modificación del mecanismo de predicción por hojas de los árboles de decisión constituyentes.

Marco Algorítmico

1. Árboles de Decisión Agrupados (CDT): En lugar de utilizar Mínimos Cuadrados Ordinarios (OLS) para estimar la media dentro de una hoja (como en los RF estándar), los CRF emplean Mínimos Cuadrados Ponderados (WLS).
   • La predicción en una hoja es un promedio ponderado de las observaciones, donde los pesos se derivan de una matriz de pesos por grupo $W_i(\rho)$.
   • Estos pesos están diseñados para dar cuenta de las correlaciones intra-grupo. Los autores se centran en clases paramétricas de pesos, específicamente estructuras equicorrelacionadas (exchangeable) y AR(1), que permiten un ajuste computacionalmente eficiente.
2. Estimación de Pesos:
   • A diferencia de los métodos basados en verosimilitud (por ejemplo, REEM, MERF) que estiman los parámetros de covarianza mediante máxima verosimilitud sobre los residuos, el CRF estima el parámetro de peso $\rho$ para minimizar el Error Cuadrático Medio de Predicción (MSPE) bajo una distribución de covariables objetivo $Q$.
   • Esto permite al algoritmo adaptarse a un desplazamiento de covariables. El peso óptimo $\rho^*$ es una función de la distribución objetivo $Q$.
   • La estimación utiliza un espíritu de "modelo de covarianza libre", estimando $\rho$ basándose en la minimización de un estimador empírico de la varianza integrada sobre la distribución objetivo $Q$, en lugar de asumir un modelo generativo específico para los errores.
3. Honestidad y Submuestreo:
   • El algoritmo impone la propiedad de honestidad (Wager y Aby, 2018): los datos utilizados para determinar las divisiones, estimar los pesos y realizar las predicciones están estrictamente separados.
   • Emplea una estrategia de submuestreo de "pequeñas bolsas de bootstrap" para construir el bosque y estimar la varianza, permitiendo la construcción de intervalos de confianza válidos.

Eficiencia Computacional

Un logro técnico significativo es el desarrollo de algoritmos que ajustan los CRF en tiempo aproximadamente lineal relativo al número de observaciones. Al aprovechar la estructura de las matrices de pesos equicorrelacionadas y AR(1), los autores utilizan el descenso de gradiente conjugado para resolver los problemas de WLS, evitando la complejidad $O(M^3)$ asociada con la inversión de matrices densas en los métodos de bosques de efectos mixtos existentes.

Principales Contribuciones Teóricas

1. Tasas Asintóticas y Optimalidad Minimax

Los autores derivan límites superiores asintóticos para el MSPE general con desplazamiento de covariables $Q$. Demuestran que existen reglas de división y regímenes de submuestreo dentro del marco de CRF que logran tasas de optimalidad minimax para la estimación puntual de funciones de media Lipschitz. Estas tasas coinciden con las de los bosques aleatorios estándar para datos i.i.d., a pesar de la complejidad añadida de la correlación.

2. Desplazamiento de Covariables y Pesos Óptimos

Un hallazgo teórico central es que, para datos correlacionados, el parámetro de peso óptimo $\rho$ que minimiza el MSPE no es invariante a los desplazamientos de covariables.

• El Teorema 2 establece que los pesos óptimos para una distribución objetivo $Q$ pueden diferir arbitrariamente de los que son óptimos para la distribución de entrenamiento.
• Consecuentemente, los métodos que estiman los pesos basándose únicamente en la distribución de entrenamiento (por ejemplo, mediante validación cruzada o maximización de verosimilitud sobre los residuos de entrenamiento) pueden ser arbitrariamente subóptimos bajo desplazamiento de covariables, funcionando peor que incluso los Bosques Aleatorios estándar sin ponderar.
• Esto contrasta con los entornos de datos independientes donde los esquemas de reponderación (como el de ponderación por importancia) están bien comprendidos; en entornos de datos correlacionados, la estrategia de ponderación óptima está intrínsecamente ligada a la distribución objetivo $Q$.

3. Inferencia y Normalidad Asintótica

El artículo demuestra que los CRF que dominan la varianza son asintóticamente Gaussianos de forma puntual y uniforme sobre una clase de distribuciones. Este resultado se mantiene bajo tasas de submuestreo específicas que aseguran la dominancia de la varianza sobre el sesgo. Esta garantía teórica permite la construcción de intervalos de confianza asintóticamente válidos para la función de media condicional, con anchuras que convergen a tasas más rápidas que los RF estándar debido a la reducción de la varianza lograda al dar cuenta de las correlaciones.

Resultados Empíricos

Los autores validan sus hallazgos teóricos a través de simulaciones y una aplicación del mundo real:

1. Simulación de Desplazamiento de Covariables: En un entorno de datos equicorrelacionados, los CRF optimizados para una distribución de prueba desplazada ($Q = \text{Unif}[1, 2]$) superaron significativamente a los RF estándar, a los bosques optimizados para el error de entrenamiento (TRAIN) y a los bosques basados en verosimilitud (REEM). Notablemente, los bosques TRAIN y REEM funcionaron peor que los RF estándar bajo el desplazamiento, confirmando el riesgo teórico de ignorar los desplazamientos de distribución en la estimación de pesos.
2. Simulación de Inferencia: En entornos con errores correlacionados AR(2), los CRF lograron intervalos de confianza más estrechos (reducción de anchura) manteniendo la cobertura nominal (95%) en comparación con los RF estándar. Esto resultó en un error cuadrático medio menor para las estimaciones puntuales.
3. Aplicación en el Mundo Real (Conteos de CD4 en VIH): Al analizar los conteos de células CD4 en seroconversores de VIH, los CRF proporcionaron predicciones personalizadas con una reducción del 20–40% en la varianza estimada en comparación con los RF estándar, demostrando utilidad práctica en tareas de predicción médica con mediciones repetidas.

Significado y Reivindicaciones

El artículo afirma proporcionar una extensión práctica y teóricamente fundamentada de los Bosques Aleatorios para datos agrupados que:

• Aprovecha la Correlación: Mejora la precisión de la predicción y la precisión de la inferencia al modelar explícitamente la dependencia intra-grupo sin depender de modelos de media paramétricos rígidos.
• Aborda el Desplazamiento de Covariables: Identifica y resuelve un fallo crítico en los métodos existentes para datos correlacionados: el fracaso al adaptar los pesos a la distribución de covariables objetivo. Los autores argumentan que la estimación no paramétrica óptima bajo desplazamiento de covariables para datos correlacionados requiere una distribución objetivo especificada por el usuario para determinar los pesos.
• Garantiza la Escalabilidad: Supera las barreras computacionales de los métodos anteriores de bosques de efectos mixtos, ofreciendo una solución con complejidad de tiempo lineal comparable a los Bosques Aleatorios estándar.
• Permite la Inferencia Válida: Proporciona la primera teoría asintótica para bosques agrupados que dominan la varianza, la cual soporta la construcción de intervalos de confianza estrechos y válidos.

Los autores posicionan su trabajo como un puente entre la flexibilidad del aprendizaje automático no paramétrico y el manejo riguroso de las estructuras de dependencia, ofreciendo una nueva perspectiva sobre el problema del desplazamiento de covariables en el contexto de los datos correlacionados.