Conditional Rank-Rank Regression via Deep Conditional Transformation Models

Este artigo propõe e valida um método aprimorado de regressão de postos condicionais (CRRR) utilizando modelos de transformação condicional profunda (DCTM) para estimar a mobilidade intergeracional com maior precisão em cenários não lineares e com resultados discretos, aplicando-o com sucesso a estudos sobre persistência de renda nos EUA e mobilidade educacional na Índia.

O essencial

Imagine que você quer entender o quanto o sucesso de um pai influencia o sucesso do filho. É como tentar medir a "cola" que une as gerações. Se essa cola for muito forte, significa que a mobilidade social é baixa (o filho fica preso no mesmo lugar que o pai). Se for fraca, significa que há muita mobilidade (o filho pode subir ou descer na escada social, independentemente do pai).

Este artigo é sobre uma nova e mais inteligente maneira de medir essa "cola", especialmente quando o mundo real é bagunçado, cheio de detalhes e não segue regras simples.

Aqui está a explicação, passo a passo, usando analogias do dia a dia:

1. O Problema: A Medida Antiga e a "Fita Métrica" Rígida

Antigamente, os economistas usavam um método chamado RRR (Regressão Rank-Rank). Imagine que você tem uma fila de pessoas do mais pobre ao mais rico.

• O método antigo: Ele olhava apenas para a posição na fila. "Se o pai estava no 10º lugar, onde o filho ficou?"
• O problema: Às vezes, você precisa levar em conta o contexto. Um pai que é o 10º mais rico em uma vila pobre é muito diferente de um pai que é o 10º mais rico em uma cidade rica. O método antigo tratava todos da mesma forma, como se todos estivessem correndo na mesma pista.

Para corrigir isso, criou-se o CRRR (Regressão Rank-Rank Condicional). A ideia era: "Vamos comparar o filho apenas com os filhos que têm o mesmo tipo de pai (mesma educação, mesma região, etc.)". É como comparar o desempenho de um corredor apenas com outros corredores que têm a mesma altura e peso.

Mas havia um defeito: O método antigo para fazer essa comparação (chamado Distribution Regression ou DR) era como tentar medir a temperatura de uma sala usando apenas um termômetro de ponto. Você tinha que medir ponto por ponto, e se a sala tivesse correntes de ar complexas (não linearidades), o termômetro falhava. Ele era rígido e podia dar resultados errados se os dados fossem complicados.

2. A Solução: O "GPS Inteligente" (DCTM)

Os autores propõem substituir esse termômetro antigo por um GPS Inteligente chamado DCTM (Deep Conditional Transformation Model).

• A Analogia: Imagine que o método antigo (DR) era como desenhar um mapa de uma cidade usando apenas linhas retas e quadrados. Se a cidade tivesse curvas sinuosas, o mapa ficava horrível.
• O Novo Método (DCTM): É como usar um GPS com inteligência artificial que aprende a forma real das ruas, curvas e atalhos. Ele não tenta forçar os dados a se encaixarem em uma caixa; ele "aprende" a forma da distribuição de renda ou educação, seja ela curva, torta ou cheia de buracos.

Além disso, eles usam uma técnica chamada Cross-Fitting (Cruzamento de Dobras).

• A Analogia: Imagine que você está treinando um jogador de futebol para um jogo. Se você deixar o jogador treinar no mesmo campo onde vai jogar, ele pode decorar o gramado e não aprender a jogar de verdade (isso é overfitting ou "memorização").
• O Truque: O método divide os dados em grupos. Ele treina o modelo em um grupo e testa no outro, depois inverte. É como treinar o jogador em campos diferentes para garantir que ele realmente aprendeu a jogar, e não apenas a decorar o local. Isso torna a medida muito mais confiável.

3. O Desafio dos "Empates" (Dados Discretos)

Muitas vezes, os dados não são números contínuos (como renda exata), mas categorias (como "Ensino Fundamental", "Médio", "Superior"). Isso cria "empates".

• A Analogia: Imagine uma corrida onde três pessoas cruzam a linha de chegada exatamente ao mesmo tempo. Quem ganha o 1º, 2º ou 3º lugar?
• A Inovação: O artigo diz: "Não importa qual regra você use para desempatar, desde que você seja honesto sobre qual regra usou". Eles criaram um botão mágico chamado $\omega$ (ômega).
  • Se você girar o botão para um lado, trata o empate como se todos fossem os últimos.
  • Se girar para o outro, trata como se todos fossem os primeiros.
  • Eles mostram que a resposta final (a mobilidade) muda dependendo de como você gira esse botão. A lição é: sempre diga como você desempatou, senão sua conclusão pode estar errada.

4. O Que Eles Descobriram (Os Resultados)

Eles testaram esse novo "GPS Inteligente" em duas situações reais:

1. Renda nos EUA (PSID):

   • Eles olharam para a renda de pais e filhos.
   • Descoberta: A persistência (a "cola") é forte, especialmente no topo da pirâmide. Filhos de pais muito ricos tendem a ficar muito ricos.
   • Diferença de Gênero: A renda das filhas é mais "grudada" na renda do pai do que a dos filhos. Ou seja, o background familiar afeta mais a trajetória financeira das mulheres do que a dos homens, mesmo controlando outros fatores.

2. Educação na Índia (IHDS):

   • Aqui os dados eram discretos (níveis de escolaridade).
   • Descoberta: A mobilidade educacional é muito baixa. Se o pai tem pouco estudo, o filho tende a ter pouco estudo.
   • O Perigo do Empate: Eles mostraram que, dependendo de como você define o "empate" (o botão $\omega$), você pode concluir que as filhas têm mais mobilidade que os filhos, ou menos. Sem o método novo, a conclusão poderia ser totalmente oposta!

Resumo Final

Este artigo é como dizer: "Pare de usar réguas de madeira para medir montanhas".

Eles criaram uma ferramenta (DCTM + Cross-Fitting) que é flexível, inteligente e capaz de lidar com dados complexos, curvos e cheios de empates. Eles provaram matematicamente que funciona e mostraram que, ao usá-la, descobrimos nuances importantes sobre desigualdade e mobilidade que os métodos antigos deixavam passar ou distorciam.

Em suma: Para entender como o sucesso passa de pai para filho, precisamos de uma régua que se adapte à forma do mundo, e não que force o mundo a se encaixar na régua. E, quando houver empates, precisamos ser transparentes sobre as regras do jogo.

Resumo técnico

Resumo Técnico: Regressão de Ranks Condicionais via Modelos de Transformação Condicional Profunda

1. Problema e Motivação

A mobilidade intergeracional é um conceito central na economia e sociologia, quantificando a transmissão de status socioeconômico (renda, educação, saúde) de pais para filhos. A ferramenta empírica padrão é a Regressão Rank-Rank (RRR), onde os resultados são transformados em ranks (percentis) e regressados. O coeficiente de inclinação mede a persistência intergeracional (e, inversamente, a mobilidade).

No entanto, a RRR padrão ignora covariáveis observáveis (como região, raça, educação dos pais). A prática comum de adicionar covariáveis diretamente à regressão (RRRX) gera coeficientes difíceis de interpretar, que frequentemente caem fora do intervalo natural $[-1, 1]$ e não correspondem a uma correlação de ranks.

Para resolver isso, Chernozhukov et al. (2024) propuseram a Regressão Rank-Rank Condicional (CRRR), que utiliza ranks condicionais (calculados dentro de grupos definidos por covariáveis) em vez de ranks marginais. Isso permite medir a persistência dentro de grupos, decompondo a mobilidade total em componentes within-group e between-group.

Desafios Identificados:

1. Estimação de Distribuição Condicional: A implementação tradicional da CRRR usa Regressão de Distribuição (DR), que ajusta múltiplas regressões binárias (logit/probit) para diferentes limiares. Isso é computacionalmente custoso, sofre de problemas de especificação do modelo (especialmente em dados não lineares, com interações de alta ordem ou caudas pesadas) e não garante automaticamente que a função de distribuição acumulada (CDF) estimada seja monotônica e válida.
2. Resultados Discretos: A teoria existente foca em resultados contínuos. Muitos dados de interesse (nível educacional, classe ocupacional) são discretos e ordenados, gerando "empates" (ties) que tornam a definição de rank ambígua e a inferência estatística complexa.

2. Metodologia Proposta

Os autores propõem um novo framework que substitui a Regressão de Distribuição (DR) por Modelos de Transformação Condicional Profunda (DCTM - Deep Conditional Transformation Models), combinados com a estratégia de Cross-Fitting.

A. Deep Conditional Transformation Models (DCTM)
O DCTM modela a CDF condicional $F_{Y|X}(y|x)$ aprendendo uma função de transformação monotônica $h(y; x)$ que mapeia a variável de resposta para uma distribuição de base conhecida (ex: Normal Padrão).

• Arquitetura: Utiliza redes neurais para aprender a função de transformação. Para resultados contínuos, usa bases de Bernstein com restrições de monotonicidade estrutural (garantindo que a CDF estimada seja válida). Para resultados discretos, usa uma construção cumulativa com incrementos não negativos.
• Vantagens:
  • End-to-End: Estima a distribuição completa em um único modelo, evitando ajustes ponto a ponto.
  • Flexibilidade: Captura não-linearidades complexas e interações de alta ordem sem engenharia de features manual.
  • Validade Estrutural: Garante que a CDF estimada seja monotônica e válida por design, eliminando a necessidade de correções pós-processamento.

B. Cross-Fitting
Para mitigar o viés de sobreajuste (overfitting) ao usar redes neurais para estimar os ranks condicionais, o método divide a amostra em $K$ folds. Os modelos são treinados em $K-1$ folds e os ranks são calculados no fold de teste (out-of-fold). Isso garante que os ranks usados na regressão final sejam independentes dos dados de treinamento do modelo de distribuição.

C. Extensão para Resultados Discretos
O artigo introduz uma definição paramétrica de rank condicional para dados discretos, controlada por um parâmetro $\omega \in [0, 1]$:
$$R_{Y|X=x}(y) = \omega F_{Y|X}(y|x) + (1-\omega) F^-_{Y|X}(y|x)$$

• $\omega=0$: Rank mínimo (menor possível).
• $\omega=1$: Rank máximo.
• $\omega=0.5$: Rank médio (mid-rank).
  Os autores demonstram que o coeficiente de mobilidade é sensível a $\omega$, exigindo que a definição de rank seja pré-especificada e reportada.

D. Inferência
Utiliza-se o Bootstrap Exchangeável para inferência, provando sua validade assintótica sob o framework proposto.

3. Contribuições Principais

1. Metodologia: Proposição de um estimador "DCTM + Cross-Fitting" para ranks condicionais, superando as limitações da DR em cenários complexos e discretos.
2. Teoria (Resultados Contínuos): Estabelecimento de consistência e normalidade assintótica para os estimadores de CRRR sob um regime de complexidade fixa, validando a inferência via bootstrap.
3. CRRR Discreta: Desenvolvimento da primeira investigação sistemática de CRRR para resultados discretos ordenados, introduzindo a sensibilidade ao parâmetro de empate $\omega$.
4. Aplicações Empíricas: Demonstração de ganhos de precisão em simulações e aplicação em dados reais de mobilidade de renda (EUA) e educacional (Índia).

4. Resultados

Simulações:

• Cenário Contínuo Simples: Tanto o DCTM quanto a DR performam bem.
• Cenário Contínuo Complexo (Não-linearidades/Interações): O DCTM supera drasticamente a DR. A DR sofre de viés severo (subestimação do coeficiente) devido à má especificação do modelo, enquanto o DCTM recupera a verdade com alta precisão.
• Cenário Discreto Ordenado: O DCTM (dDCTM) mostra maior robustez e precisão na estimação da CDF e do coeficiente de inclinação em comparação à DR, especialmente em cenários complexos onde a DR falha em capturar a estrutura da distribuição.
• Sensibilidade a $\omega$: Confirma-se que a conclusão sobre a mobilidade em dados discretos pode mudar qualitativamente dependendo da escolha de $\omega$.

Estudos Empíricos:

1. Mobilidade de Renda nos EUA (PSID-SHELF):
   • Aplicação em pares pai-filho e pai-filha.
   • Descoberta de uma persistência significativa dentro de grupos.
   • Gênero: A persistência intergeracional é substancialmente maior para filhas do que para filhos, sugerindo que a renda das filhas está mais fortemente atrelada ao background familiar, mesmo após controle de covariáveis.
2. Mobilidade Educacional na Índia (IHDS):
   • Dados discretos (níveis de escolaridade).
   • Análise de heterogeneidade por grupo social, tamanho da família e urbanização.
   • Gênero: Padrões distintos de mobilidade educacional entre filhos e filhas, com diferenças pronunciadas dependendo do grupo social (ex: famílias muçulmanas) e do ambiente (urbano vs. rural).

5. Significância e Conclusão

Este trabalho avança significativamente a literatura sobre mobilidade intergeracional ao:

• Resolver problemas de especificação: Oferece uma alternativa robusta à regressão de distribuição tradicional, capaz de lidar com a complexidade dos dados socioeconômicos modernos (alta dimensionalidade, não-linearidade).
• Expandir o escopo: Torna a CRRR aplicável a dados discretos e ordenados, que são ubíquos em ciências sociais, fornecendo ferramentas para lidar com a ambiguidade de empates.
• Fornecer inferência válida: Estabelece a base teórica e prática (via bootstrap) para realizar testes de hipóteses e intervalos de confiança confiáveis.

A metodologia proposta permite uma análise de mobilidade mais granular e precisa, decompondo a desigualdade em componentes dentro e entre grupos, e revelando heterogeneidades de gênero e sociais que seriam mascaradas por métodos tradicionais ou mal especificados.