Accounting for shared covariates in semi-parametric Bayesian additive regression trees

Los autores proponen una extensión de los modelos semi-paramétricos basados en árboles de regresión bayesianos aditivos (BART) que permite compartir covariables entre los componentes paramétrico y no paramétrico mediante la modificación de las operaciones de generación de árboles, lo que resuelve problemas de no identificabilidad y sesgo mientras mejora la interpretación de efectos principales e interacciones complejas.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una receta culinaria nueva para un chef muy inteligente, pero que hasta ahora tenía un problema en su cocina. Vamos a desglosarlo usando una analogía de una gran fiesta de datos donde intentamos predecir qué tan bien le irá a un estudiante en matemáticas.

El Problema: La Cocina Dividida (El modelo antiguo)

Imagina que tienes dos cocineros trabajando en el mismo plato:

1. El Cocinero Lineal (El Estricto): Este tipo es muy ordenado. Solo sabe hacer cosas simples y directas, como "si comes más verduras, te sientes mejor". Él maneja las variables que queremos entender a fondo (como el nivel de educación de los padres).
2. El Cocinero Árbol (El Creativo Caótico): Este es un genio del caos. Puede detectar patrones locos y complejos que nadie ve, como "si llueve y el estudiante está cansado, pero tiene un gato, entonces rinde más". Este es el modelo BART (Árboles de Regresión Aditiva Bayesiana).

El problema del modelo antiguo (SSP-BART):
Antes, estos dos cocineros tenían una regla estricta: "Nunca usen los mismos ingredientes".

• Si querías que el "Cocinero Estricto" explicara el efecto de la educación de los padres, ese ingrediente solo podía estar en su mesa.
• El "Cocinero Creativo" tenía prohibido tocar ese ingrediente.

¿Por qué era un problema?
Porque en la vida real, las cosas se mezclan. Quizás la educación de los padres solo ayuda si el estudiante hace mucha tarea. O quizás, la disciplina en la escuela interactúa con el género del estudiante. Al prohibir al "Cocinero Creativo" tocar los ingredientes importantes, el modelo perdía esas mezclas mágicas y no podía explicar la realidad con precisión. Además, a veces los dos cocineros intentaban cocinar el mismo plato al mismo tiempo, creando confusión (problemas de "no identificabilidad").

La Solución: La Nueva Receta (CSP-BART)

Los autores de este paper proponen una nueva forma de trabajar llamada CSP-BART. Aquí está la magia en lenguaje sencillo:

1. Permitir que los ingredientes se compartan

Ya no hay muros entre las mesas. El "Cocinero Estricto" y el "Cocinero Creativo" pueden usar los mismos ingredientes (como la educación de los padres).

• La idea: Queremos que el Cocinero Estricto nos diga claramente: "La educación de los padres tiene un efecto positivo".
• Pero: También queremos que el Cocinero Creativo diga: "¡Espera! Ese efecto cambia si el estudiante hace mucha tarea".

2. El Truco de los "Doble Movimientos" (Double-Grow y Double-Prune)

Aquí es donde entra la parte técnica explicada de forma simple. Imagina que el Cocinero Creativo está construyendo un árbol de decisiones (como un mapa de "si pasa esto, entonces aquello").

• El riesgo: Si el árbol empieza a cortar (dividir) usando el ingrediente "Educación de los padres", podría terminar cocinando ese efecto por su cuenta, robándole el trabajo al Cocinero Estricto. ¡Confusión total!

• La solución (Doble Crecimiento): Si el árbol intenta usar el ingrediente "Educación de los padres" para empezar a cortar, el sistema le dice: "¡Alto! No puedes cortar solo con eso. Tienes que cortar con eso Y con otra cosa al mismo tiempo".

  • Analogía: Es como si intentaras abrir una puerta con una llave maestra (el ingrediente compartido). El sistema te obliga a usar esa llave maestra y otra llave normal al mismo tiempo. Así, la llave maestra no abre la puerta sola (no estima el efecto principal), sino que solo ayuda a abrir una puerta especial que combina ambas llaves (la interacción).

• La solución (Doble Poda): Si el árbol creció mal y dejó un trozo que solo usa el ingrediente compartido, el sistema lo poda dos veces seguidas para asegurarse de que no quede nada que pueda confundirse con el trabajo del Cocinero Estricto.

3. El Resultado: Un Plato Perfecto

Gracias a estas reglas nuevas:

• Sabemos exactamente cuánto vale la educación de los padres (el efecto principal, limpio y claro).
• Sabemos exactamente cómo se mezcla esa educación con la tarea o la disciplina escolar (las interacciones complejas).
• El modelo es más preciso y menos sesgado.

¿Por qué les importa esto? (El caso real)

Los autores probaron esto con datos reales de TIMSS 2019, un examen internacional de matemáticas.

• Lo que descubrieron: Al usar su nuevo modelo, vieron cosas que los modelos antiguos no podían ver.
  • Por ejemplo, descubrieron que hacer más de 90 minutos de tarea no siempre es bueno. De hecho, los estudiantes que hacían demasiada tarea a veces tenían peores notas (quizás porque estaban luchando con el material y necesitaban más ayuda).
  • Los modelos antiguos, al no permitir que la "tarea" interactuara libremente con otras cosas, no podían ver este detalle. Pensaban que "más tarea = mejores notas" de forma lineal, lo cual no es cierto.

En resumen

Este paper es como decir: "Dejemos de separar a los expertos en reglas simples de los expertos en patrones complejos. Permítanles trabajar juntos en la misma mesa, pero con reglas estrictas para que no se peleen por quién hace qué. Así obtendremos una comprensión mucho más rica y real de cómo funciona el mundo (o en este caso, cómo aprenden los estudiantes)".

Es una mejora técnica que permite a los científicos de datos ser más honestos y precisos al contar la historia que esconden los números.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español:

Resumen Técnico: Contabilizando Covariables Compartidas en Árboles de Regresión Bayesiana Aditiva Semiparamétrica (CSP-BART)

1. El Problema
Los modelos de regresión lineales generalizados (GLM) y los modelos aditivos generalizados (GAM) son populares por su interpretabilidad, pero requieren la especificación previa de términos de interacción y asumen relaciones lineales, lo cual es limitante en datos de alta dimensión. Los Árboles de Regresión Bayesiana Aditiva (BART) ofrecen flexibilidad para capturar no linealidades e interacciones no especificadas, pero actúan como "cajas negras", dificultando la cuantificación interpretable de los efectos principales de covariables de interés.

Para abordar esto, se han propuesto modelos semiparamétricos que combinan un predictor lineal (para efectos principales interpretables) y un componente BART (para interacciones y no linealidades). Sin embargo, el enfoque previo más destacado, el SSP-BART (Separated Semi-Parametric BART), asume que los conjuntos de covariables en el predictor lineal ($X_1$) y en el componente BART ($X_2$) son disjuntos ($X_1 \cap X_2 = \emptyset$). Esta restricción genera dos problemas críticos:

1. Pérdida de interacciones importantes: Impide modelar interacciones entre las covariables de interés principal y otras variables, o entre las propias variables de interés.
2. Problemas de no identificabilidad: Si se permite que $X_1$ y $X_2$ compartan covariables sin modificaciones estructurales, los componentes lineal y no paramétrico intentan estimar los mismos efectos marginales, generando sesgo y falta de identificación de los parámetros.

2. Metodología Propuesta: CSP-BART
Los autores proponen CSP-BART (Combined Semi-Parametric BART), una extensión que permite que $X_1$ y $X_2$ compartan covariables ($X_1 \cap X_2 \neq \emptyset$) mediante innovaciones estructurales en el algoritmo de generación de árboles y en las distribuciones a priori.

• Movimientos de Doble Crecimiento (Double-Grow) y Doble Poda (Double-Prune):
  • Double-Grow: Cuando se selecciona una covariable compartida ($x \in X_1 \cap X_2$) para dividir un "tocon" (stump) en el componente BART, no se permite un crecimiento simple. En su lugar, se propone un segundo corte simultáneo con otra variable. Además, se modifica la distribución a priori del nodo terminal opuesto al primer corte, forzando su valor a cero ($\mu \sim N(0, \sigma^2 \approx 0)$). Esto asegura que el componente BART solo capture interacciones y no los efectos marginales que ya están asignados al predictor lineal.
  • Double-Prune: Es el movimiento inverso. Si un árbol tiene una estructura que resultaría en la estimación redundante de un efecto marginal compartido, se poda dos veces consecutivamente para revertirlo a un tocon, evitando árboles inválidos.
• Jerarquía de Priors: A diferencia del SSP-BART que asume una varianza isotrópica e independiente para los coeficientes lineales, CSP-BART coloca una hiperpriora sobre la matriz de covarianza completa de los efectos principales ($\Omega_\beta \sim IW(V, v)$). Esto permite modelar las correlaciones entre los efectos de las covariables de interés.
• Efectos Aleatorios: El marco se extiende para incluir efectos aleatorios en el componente paramétrico, similar a los modelos mixtos lineales, manteniendo la separación de efectos con el componente BART.

3. Contribuciones Clave

1. Superación de la Exclusividad Mutua: Se rompe la restricción de que las covariables de interés y las de control deben ser disjuntas, permitiendo interacciones complejas entre ambos grupos.
2. Garantía de Identificabilidad: Mediante los movimientos "double" y la restricción de la estructura de los árboles, se asegura que el componente lineal estime únicamente los efectos marginales y que el componente BART se encargue exclusivamente de las interacciones y no linealidades, eliminando el sesgo por redundancia.
3. Flexibilidad en la Especificación: Permite especificar efectos no lineales o interacciones de orden superior en el predictor lineal si es de interés interpretativo, ajustando los movimientos de los árboles en consecuencia (ej. movimientos "triple").
4. Implementación Eficiente: El costo computacional es marginalmente superior al del BART estándar y comparable al SSP-BART.

4. Resultados
Los autores validaron CSP-BART mediante estudios de simulación y aplicaciones reales:

• Estudios de Simulación:
  • En datos sintéticos (ecuación de Friedman y escenarios con interacciones), CSP-BART demostró un sesgo significativamente menor en la estimación de los efectos principales en comparación con SSP-BART, SSP-BART* (versión que comparte covariables sin los movimientos dobles) y VCBART.
  • SSP-BART falló al estimar efectos cuando existían interacciones con variables compartidas, mientras que CSP-BART recuperó los parámetros verdaderos con alta precisión.
• Aplicación a TIMSS 2019 (Estudio de Tendencias Internacionales en Matemáticas y Ciencias):
  • Se analizaron datos de estudiantes irlandeses de octavo grado para evaluar el impacto de la educación de los padres, el tiempo en tareas y los problemas de disciplina escolar en el rendimiento matemático.
  • Hallazgos: CSP-BART identificó que el efecto de la educación de los padres y los problemas de disciplina es estadísticamente significativo, con intervalos de credibilidad más estrechos y precisos que los de los competidores.
  • Interacciones: El modelo detectó una interacción crítica entre el nivel educativo de los padres y el tiempo dedicado a las tareas: los estudiantes con padres de alto nivel educativo que no hacían tareas tenían un rendimiento peor que sus pares, y el exceso de tiempo en tareas (>90 min) mostraba rendimientos decrecientes, una no linealidad que otros modelos no capturaron adecuadamente.
• Aplicación a Diabetes (Pima Indians): En un escenario de clasificación, CSP-BART superó a SSP-BART en la tasa de error de clasificación, demostrando la utilidad de los movimientos dobles y la prior jerárquica para evitar la no identificabilidad.

5. Significado e Impacto
Este trabajo representa un avance fundamental en el campo de la regresión semiparamétrica bayesiana. CSP-BART resuelve el dilema entre la interpretabilidad (necesaria en ciencias sociales y educación para entender políticas) y la flexibilidad predictiva (necesaria para capturar la complejidad de los datos reales).

Al permitir que las covariables de interés "hablen" tanto con el modelo lineal como con el no paramétrico, CSP-BART ofrece una herramienta robusta para análisis donde las interacciones son desconocidas pero críticas. Su capacidad para manejar datos de alta dimensión, efectos aleatorios y estructuras de interacción complejas lo posiciona como un método superior a los enfoques actuales (GLM, GAM, SSP-BART, VCBART) para la inferencia causal y predictiva en estudios educativos y más allá. El código está disponible públicamente, facilitando su adopción en la comunidad estadística.