Conditional Rank-Rank Regression via Deep Conditional Transformation Models

Este artículo propone y valida un método mejorado de regresión rango-rango condicional (CRRR) mediante modelos de transformación condicional profundos (DCTM) y cross-fitting para estimar la movilidad intergeneracional con mayor precisión en escenarios no lineales y con resultados discretos, demostrando su eficacia tanto en simulaciones como en aplicaciones empíricas sobre ingresos en EE. UU. y movilidad educativa en la India.

Lo esencial

¡Hola! Imagina que quieres entender cómo el éxito de los padres se "transmite" a sus hijos. ¿Es cierto que si tu padre fue rico, tú también lo serás? ¿O si tu padre tuvo mucho estudio, tú tendrás más oportunidades?

Los economistas y sociólogos usan una herramienta llamada Regresión de Rangos para medir esto. Es como poner a todos en una fila, del más pobre al más rico (o del menos educado al más educado), y ver si los hijos de los padres que están al final de la fila también terminan al final.

Sin embargo, hay un problema: no todos nacen en las mismas condiciones. Un hijo de un padre rico en una ciudad grande tiene ventajas diferentes a un hijo de un padre rico en una zona rural. La herramienta antigua a veces se confundía al intentar comparar a todos juntos, como si comparáramos manzanas con naranjas.

Aquí es donde entra este nuevo estudio, que propone una nueva forma de medir la movilidad social usando inteligencia artificial (redes neuronales) para ser mucho más precisos.

Aquí te lo explico con analogías sencillas:

1. El Problema: La "Regla de la Cinta Métrica" Rota

Imagina que quieres medir la altura de los hijos comparándola con la de sus padres.

• El método viejo (RRR con covariables): Intenta poner una sola regla gigante para medir a todos, pero luego intenta "ajustar" la regla matemáticamente para tener en cuenta si viven en la ciudad o el campo. El problema es que la regla se rompe: los números salen extraños, a veces negativos o mayores que 100%, y nadie sabe qué significan realmente. Es como intentar medir la temperatura con una regla de madera: no funciona bien.
• El método anterior mejorado (CRRR): En lugar de usar una sola regla, el método anterior sugiere crear grupos pequeños. Si todos son de la misma región y tienen padres con el mismo nivel de educación, los comparamos entre ellos. Pero para hacer esto, necesitas saber exactamente dónde está cada persona dentro de su propio grupo. El método antiguo para hacer esto (llamado "Regresión de Distribución") era como intentar armar un rompecabezas pieza por pieza, muy lento y propenso a errores si las piezas (los datos) eran muy complejas o extrañas.

2. La Solución: El "Arquitecto Inteligente" (DCTM)

Los autores de este paper proponen usar un Modelo de Transformación Condicional Profundo (DCTM).

• La analogía: Imagina que en lugar de armar el rompecabezas pieza por pieza, tienes un arquitecto inteligente (una red neuronal) que puede ver la foto completa de la familia y el entorno, y "dibujar" instantáneamente la posición exacta de cada hijo dentro de su grupo específico.
• ¿Por qué es mejor?
  • Es flexible: Si los datos son extraños (muy desiguales, con picos o valles), el arquitecto se adapta. El método antiguo se quedaba rígido y fallaba.
  • Es rápido y seguro: No necesita armar el rompecabezas mil veces. Aprende la forma completa de la distribución de una sola vez y asegura que las reglas matemáticas (como que la probabilidad no pueda ser negativa) siempre se cumplan.
  • Entrenamiento cruzado (Cross-fitting): Para evitar que el arquitecto "memorice" los datos en lugar de aprender (como un estudiante que se aprende las respuestas de memoria en lugar de entender la lección), el método divide a la gente en grupos. Entrena al arquitecto con un grupo y lo pone a prueba con otro. Así, la medición es honesta y justa.

3. El Caso Especial: Los "Empates" (Datos Discretos)

A veces, las cosas no son números continuos (como el dinero exacto), sino categorías (como "Primaria", "Secundaria", "Universidad"). Aquí hay muchos "empates": muchos hijos tienen exactamente el mismo nivel de educación.

• El problema: ¿Cómo le das un rango a alguien que tiene el mismo nivel que otros? ¿Le das el primer lugar del grupo de empatados, el último, o el del medio?
• La innovación: El paper dice: "¡Ojo! La respuesta cambia según cómo decidas manejar esos empates". Introducen un botón mágico (llamado $\omega$) que permite decidir si quieres ser conservador (dar el rango más bajo), optimista (dar el más alto) o justo (dar el promedio).
• La lección: En estudios sobre educación, la conclusión sobre si hay "movilidad" o no puede cambiar totalmente solo por cómo decidas contar los empates. El estudio nos obliga a ser honestos y decir: "Usamos el método X para contar los empates".

4. ¿Qué descubrieron en la vida real?

Probaron su nuevo método con datos reales de dos lugares muy diferentes:

1. EE. UU. (Ingresos): Usaron datos de familias estadounidenses.

   • Hallazgo: La riqueza se transmite mucho más de lo que pensábamos dentro de los mismos grupos. Es decir, incluso si comparas a dos familias con el mismo nivel educativo y ubicación, los hijos de los padres ricos siguen teniendo mucha ventaja sobre los hijos de los padres pobres. Además, descubrieron que las hijas tienen una movilidad de ingresos más "pegada" a la de sus padres que los hijos varones.

2. India (Educación): Usaron datos de familias indias.

   • Hallazgo: Aquí la historia es diferente. La educación de los padres influye mucho en la de los hijos, pero hay grandes diferencias de género. Dependiendo de cómo contemos los empates (el botón mágico), la conclusión sobre si las niñas tienen más o menos movilidad que los niños cambia. Esto nos dice que en temas de educación en India, el género juega un papel crucial y complejo.

En Resumen

Este paper es como darles a los investigadores un nuevo microscopio de alta tecnología (la red neuronal DCTM) en lugar de una lupa vieja y rota.

• Les permite ver la movilidad social con mucho más detalle.
• Funciona bien incluso cuando los datos son desordenados o complejos.
• Nos enseña que la forma en que contamos los "empates" en datos discretos (como la educación) es vital y puede cambiar las conclusiones.

Básicamente, nos ayuda a entender mejor si nuestras sociedades son justas y si el esfuerzo de una generación realmente abre puertas para la siguiente, o si las puertas siguen cerradas por el simple hecho de dónde naciste.

Resumen técnico

1. Planteamiento del Problema

La movilidad intergeneracional es una métrica fundamental en economía y sociología para cuantificar cómo se transmiten los resultados socioeconómicos (ingresos, educación, salud) de padres a hijos. El método estándar para medir esto es la regresión de rangos-rangos (RRR), donde se regresa el rango del hijo sobre el rango del padre. El coeficiente de pendiente ($\rho$) mide la persistencia intergeneracional (y por ende, la falta de movilidad).

Sin embargo, la RRR tradicional tiene limitaciones:

1. RRR con covariables (RRRX): Cuando se incluyen covariables $X$ (como raza, región, educación parental) directamente en la regresión, el coeficiente resultante pierde su interpretación económica intuitiva (ya no es una correlación de rangos y puede salirse del rango $[-1, 1]$).
2. RRR Condicional (CRRR): Para resolver esto, Chernozhukov et al. (2024) propusieron usar rangos condicionales (calculados dentro de grupos definidos por $X$) en lugar de rangos marginales. Esto permite medir la persistencia dentro de los grupos.
3. Desafíos de Estimación: La implementación de CRRR requiere estimar funciones de distribución condicional (CDF) $F_{Y|X}$ y $F_{W|X}$. El enfoque estándar utiliza Regresión de Distribución (DR), que ajusta múltiples regresiones binarias (punto por punto) para diferentes umbrales.
   • Limitaciones de la DR: Es computacionalmente costosa, puede fallar en capturar no linealidades complejas o interacciones de alto orden, no garantiza automáticamente la monotonicidad de la CDF estimada (requiere post-procesamiento) y es difícil de aplicar a resultados discretos ordenados (donde hay empates o ties).
4. Resultados Discretos: La literatura existente de CRRR se centra en resultados continuos. Muchos datos de interés (niveles educativos, ocupaciones) son discretos y ordenados, lo que introduce problemas de definición de rangos y sensibilidad a cómo se manejan los empates.

2. Metodología Propuesta

Los autores proponen un marco unificado que reemplaza la Regresión de Distribución (DR) por Modelos de Transformación Condicional Profunda (DCTM) combinados con una estrategia de Cross-Fitting.

A. Modelos de Transformación Condicional Profunda (DCTM)

En lugar de ajustar regresiones binarias separadas para cada umbral, el DCTM aprende la CDF condicional de extremo a extremo.

• Concepto: Se asume que existe una función de transformación $h(y; x)$ no decreciente en $y$ que mapea la variable de respuesta $Y$ a una variable latente $Z$ con una distribución base conocida (ej. Normal estándar o Logística).
  $$P(Y \le y | X=x) = F_0(h(y; x))$$
• Arquitectura: Utiliza redes neuronales para modelar $h(y; x)$.
  • Para resultados continuos: Se utilizan funciones base de Bernstein para asegurar la monotonicidad estructural de la transformación.
  • Para resultados discretos/ordinales: Se utiliza una construcción acumulativa con restricciones de no negatividad (usando softplus) para garantizar que las probabilidades acumuladas sean monótonas y sumen 1.
• Ventaja: Garantiza que la CDF estimada sea válida (monótona y acotada) por diseño, sin necesidad de correcciones posteriores, y captura interacciones complejas y no linealidades automáticamente.

B. Cross-Fitting (Ajuste Cruzado)

Para mitigar el sesgo de sobreajuste (overfitting) al estimar los rangos condicionales y luego usarlos en la regresión:

1. Se divide la muestra en $K$ pliegues.
2. Se entrena el DCTM en $K-1$ pliegues y se predicen los rangos condicionales en el pliegue retenido (out-of-fold).
3. Se repite para todos los pliegues y se combinan los rangos para estimar el coeficiente $\rho_C$.

C. Extensión a Resultados Discretos

Los autores introducen una definición paramétrica de rangos condicionales para manejar empates mediante un parámetro $\omega \in [0, 1]$:
$$R_{Y|X=x}(y) = \omega F_{Y|X}(y|x) + (1-\omega)F_{Y|X}^{-}(y|x)$$

• $\omega=0$: Asigna el rango más bajo posible.
• $\omega=1$: Asigna el rango más alto posible.
• $\omega=0.5$: Asigna el rango medio (mid-rank).
  El estudio demuestra que el coeficiente de movilidad $\rho_C$ es altamente sensible a la elección de $\omega$ en datos discretos, por lo que es crucial reportar esta definición.

D. Inferencia

Se utiliza un Bootstrap Exchangeable para calcular errores estándar e intervalos de confianza, validado teóricamente en el artículo.

3. Contribuciones Clave

1. Metodología: Propuesta de un procedimiento "DCTM + Cross-Fitting" para estimar rangos condicionales. Es más eficiente, robusto y preciso que la DR tradicional, especialmente en entornos con no linealidades, interacciones de alto orden y resultados discretos ordenados.
2. Teoría (Resultados Continuos): Establecen la consistencia y la normalidad asintótica de los estimadores propuestos bajo un régimen de complejidad fija. Además, prueban la validez de la inferencia mediante Bootstrap Exchangeable.
3. CRRR Discreta: Proporcionan la primera investigación sistemática de CRRR para resultados discretos ordenados, introduciendo la definición de rangos basada en $\omega$ y cuantificando la sensibilidad de los resultados a esta elección.
4. Aplicaciones Empíricas: Demuestran la utilidad del método en dos estudios de caso reales, revelando hallazgos que la RRR tradicional o la DR podrían pasar por alto.

4. Resultados

Simulaciones

• Entornos Continuos Simples: Tanto DCTM como DR funcionan bien.
• Entornos Continuos Complejos (No lineales/Interacciones): La DR sufre de un sesgo severo (subestimación de la pendiente) debido a la mala especificación del modelo. El DCTM recupera con precisión la distribución condicional y estima $\rho_C$ con un error cuadrático medio (RMSE) drásticamente menor.
• Entornos Discretos: La DR muestra sesgos sistemáticos y falta de coherencia global. El dDCTM (DCTM discreto) mantiene alta precisión independientemente del valor de $\omega$.
• Sensibilidad a $\omega$: En datos discretos, la conclusión sobre la movilidad puede cambiar cualitativamente (incluso invertir su dirección) dependiendo de cómo se manejen los empates ($\omega$).

Aplicaciones Empíricas

1. Movilidad de Ingresos en EE. UU. (Datos PSID-SHELF):

   • Se analiza la persistencia de ingresos entre padres e hijos.
   • Hallazgo: Existe una persistencia significativa dentro de los grupos. Al controlar por covariables, la persistencia dentro del grupo es menor que la global, indicando que parte de la desigualdad se debe a diferencias entre grupos (ej. educación, región).
   • Diferencia de Género: La persistencia intergeneracional es significativamente mayor para las hijas que para los hijos. Los rangos de ingresos de las hijas están más atados al background familiar que los de los hijos.

2. Movilidad Educativa en la India (Datos IHDS):

   • Se analiza la educación (variable discreta ordenada) entre padres e hijos.
   • Hallazgo: Se confirma una fuerte persistencia educativa, especialmente en los extremos de la distribución.
   • Heterogeneidad: Se observan diferencias de género marcadas. La movilidad es menor para los hijos en hogares musulmanes, mientras que para las hijas la movilidad es mayor en esos mismos hogares. La definición de rango ($\omega$) afecta la magnitud de estas diferencias, subrayando la necesidad de reportar el parámetro utilizado.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Superación de Limitaciones Técnicas: Resuelve los problemas de especificación y coherencia global inherentes a la Regresión de Distribución (DR), permitiendo aplicar la CRRR a datos complejos del mundo real (no lineales, heterocedásticos, discretos).
• Rigor en Datos Discretos: Llama la atención crítica sobre la arbitrariedad en la definición de rangos para variables discretas y proporciona un marco para evaluar la sensibilidad de las conclusiones de movilidad a estas definiciones.
• Nuevos Hallazgos Empíricos: Revela patrones de movilidad intergeneracional (especialmente las brechas de género en ingresos y educación) que son más granulares y precisos gracias al ajuste condicional robusto.
• Herramienta General: El enfoque DCTM + Cross-Fitting ofrece una herramienta flexible para el aprendizaje de distribuciones condicionales que va más allá de la movilidad intergeneracional, aplicable a cualquier problema de regresión de rangos o análisis de dependencia condicional.

En resumen, el artículo propone una evolución metodológica necesaria para el estudio de la movilidad social, combinando la interpretabilidad de los rangos con la potencia de aprendizaje profundo para manejar la complejidad de los datos socioeconómicos modernos.