Accounting for shared covariates in semi-parametric Bayesian additive regression trees

Os autores propõem uma extensão do modelo semi-paramétrico BART que permite covariáveis compartilhadas entre os componentes linear e não paramétrico, resolvendo problemas de não identificabilidade e viés para capturar interações complexas, com validação em simulações e dados de avaliação educacional internacional.

O essencial

Imagine que você é um detetive tentando descobrir por que alguns alunos têm notas melhores em matemática do que outros. Você tem uma lista gigante de pistas: desde o nível de escolaridade dos pais e quanto tempo o aluno faz lição de casa, até coisas como "quantas vezes o aluno sente fome" ou "se a escola tem problemas de disciplina".

O desafio é que algumas pistas são muito importantes para você entender (como a educação dos pais), mas outras são apenas "barulho de fundo" que ajudam a prever a nota, mas não são o foco da sua investigação. Além disso, essas pistas não agem sozinhas; elas se misturam de formas complexas e estranhas.

Este artigo apresenta uma nova ferramenta estatística chamada CSP-BART para resolver esse mistério. Vamos entender como ela funciona usando uma analogia simples: A Cozinha de um Restaurante.

1. O Problema: A Cozinha Bagunçada (Modelos Antigos)

Antes, os estatísticos usavam duas abordagens principais:

• O Chef Tradicional (Modelos Lineares): Ele segue receitas rígidas. Se você quer saber o efeito do "tempo na lição de casa", ele assume que é uma linha reta: "mais lição = nota melhor". O problema? A vida real não é uma linha reta. Às vezes, fazer muita lição de casa cansa o aluno e piora a nota. O Chef Tradicional não vê isso.
• O Chef "Caixa Preta" (BART padrão): Ele é um gênio que consegue prever a nota com precisão incrível, misturando ingredientes de formas que ninguém entende. Mas, se você perguntar: "Ei, qual o efeito exato da lição de casa?", ele diz: "Não sei explicar, eu só misturo tudo e pronto". Ele é ótimo para prever, mas péssimo para explicar.

Havia uma tentativa de juntar os dois, chamada SSP-BART. A ideia era dividir a cozinha em duas:

• Mesa 1 (Linear): Onde o Chef Tradicional trabalha apenas com as pistas importantes (educação dos pais, lição de casa).
• Mesa 2 (Árvore/BART): Onde o Chef "Caixa Preta" trabalha apenas com as outras pistas (fome, gênero, etc.).

O Erro: Eles proibiam as mesas de conversar. Se "educação dos pais" estava na Mesa 1, ela não podia entrar na Mesa 2. Isso era um problema porque, na vida real, a educação dos pais pode interagir com a lição de casa de formas complexas. Ao separá-las, o modelo perdia informações valiosas e dava respostas distorcidas.

2. A Solução: A Nova Cozinha (CSP-BART)

Os autores criaram o CSP-BART. A grande inovação é permitir que as mesmas pistas entrem nas duas mesas ao mesmo tempo, mas com regras muito claras para evitar confusão.

Imagine que "Educação dos Pais" é um ingrediente especial. No novo modelo:

1. Na Mesa 1 (Linear): O Chef Tradicional mede o efeito principal (a média geral). "Em média, filhos de pais com ensino superior tiram notas X pontos a mais".
2. Na Mesa 2 (Árvore/BART): O Chef "Caixa Preta" é proibido de medir a média geral desse ingrediente. Em vez disso, ele é obrigado a procurar interações. Ele descobre: "Ah, filhos de pais com ensino superior que não fazem lição de casa têm notas pior do que o esperado, mas se fizerem lição, as notas explodem!".

Como eles evitam a briga entre os chefs?
Aqui entra a mágica do papel: Os Movimentos "Duplos".

• O "Crescimento Duplo" (Double-Grow): Se o Chef da Árvore tenta usar "Educação dos Pais" para dividir os alunos, ele é forçado a fazer duas divisões ao mesmo tempo. Ele não pode apenas dizer "Pais com faculdade vs. sem faculdade". Ele tem que dizer "Pais com faculdade E que fazem lição" vs. "Pais com faculdade E que não fazem".
• O "Poda Dupla" (Double-Prune): Se a árvore cresce de um jeito que tenta medir apenas o efeito principal (o que já foi medido na Mesa 1), o modelo corta essa parte imediatamente e a joga fora.

Isso garante que a Mesa 1 fique com a "soma total" (o efeito principal) e a Mesa 2 fique apenas com as "surpresas" (as interações complexas). Eles não brigam; eles se complementam perfeitamente.

3. O Resultado: O Que Descobrimos?

Aplicando essa nova ferramenta aos dados do TIMSS 2019 (uma avaliação internacional de matemática com alunos da Irlanda), eles descobriram coisas que os modelos antigos não viam:

• Lição de Casa não é "quanto mais, melhor": Modelos antigos achavam que quanto mais tempo na lição, melhor a nota. O CSP-BART mostrou que existe um ponto de virada. Alunos que fazem mais de 90 minutos de lição de casa têm notas piores do que os que fazem um pouco menos.
  • A Analogia: É como se um aluno estivesse "travado" na lição. Ele não está estudando mais; ele está lutando contra a dificuldade. O modelo antigo via apenas o tempo; o novo modelo viu a interação entre o tempo e a dificuldade.
• Disciplina na Escola: Escolas com problemas de disciplina severos têm notas piores, e o modelo conseguiu quantificar isso com muita precisão, sem confundir com outros fatores.

Resumo em uma Frase

O CSP-BART é como dar a um detetive um mapa onde ele pode ver tanto o caminho principal (efeitos diretos e fáceis de explicar) quanto os atalhos secretos e curvas estranhas (interações complexas) ao mesmo tempo, sem que um esconda o outro, permitindo entender a história completa por trás dos números.

Eles provaram que essa nova abordagem é mais precisa, menos enviesada e muito melhor para explicar o "porquê" das coisas do que os métodos antigos.

Resumo técnico

Resumo Técnico: Accounting for Shared Covariates in Semi-Parametric Bayesian Additive Regression Trees (CSP-BART)

1. O Problema

Os modelos de Regressão Aditiva Bayesiana com Árvores (BART) são ferramentas poderosas para previsão e modelagem não paramétrica, capazes de capturar interações complexas e não linearidades sem especificação prévia. No entanto, em muitas aplicações (como avaliação educacional), o objetivo principal não é apenas prever, mas interpretar os efeitos de um subconjunto específico de covariáveis (efeitos principais).

Modelos semi-paramétricos anteriores baseados em BART, como o SSP-BART (Separated Semi-Parametric BART), tentaram resolver isso dividindo as covariáveis em dois conjuntos disjuntos:

• $X_1$: Covariáveis de interesse principal (modeladas linearmente para interpretabilidade).
• $X_2$: Covariáveis de interesse secundário (modeladas pelo BART para capturar interações e não linearidades).

Limitações do SSP-BART:

1. Exclusividade Mutua: O SSP-BART assume que $X_1 \cap X_2 = \emptyset$. Isso impede que as covariáveis de interesse principal participem de interações complexas (entre si ou com outras variáveis) dentro do componente BART.
2. Viés e Não-Identificabilidade: Se as mesmas variáveis aparecessem em ambos os componentes sem restrições, haveria uma não-identificabilidade, onde tanto o termo linear quanto a árvore tentariam estimar o mesmo efeito principal, gerando viés.
3. Estrutura de Covariância: O SSP-BART assume uma prior isotrópica (independente) para os coeficientes lineares, ignorando correlações potenciais entre os efeitos principais.

O artigo propõe uma nova abordagem, o CSP-BART (Combined Semi-Parametric BART), para superar essas limitações, permitindo que $X_1$ e $X_2$ compartilhem covariáveis ($X_1 \cap X_2 \neq \emptyset$), garantindo ao mesmo tempo a identificabilidade dos parâmetros.

2. Metodologia Proposta (CSP-BART)

O CSP-BART mantém a estrutura semi-paramétrica onde a resposta $y_i$ é modelada como a soma de um preditor linear e um ensemble de árvores BART:
$$y_i = x_{1i}\beta + \sum_{t=1}^T g(x_{2i}, M_t, T_t) + \epsilon_i$$
Onde $x_{1i}$ são as covariáveis de interesse principal e $x_{2i}$ são as covariáveis usadas pelo BART. A inovação central reside em permitir que $x_{1i}$ e $x_{2i}$ compartilhem variáveis.

Contribuições Metodológicas Chave:

A. Movimentos de "Duplo Crescimento" e "Dupla Poda" (Double-Grow / Double-Prune)

Para resolver o problema de não-identificabilidade quando uma variável está em ambos os conjuntos ($X_1 \cap X_2$), os autores modificam o algoritmo de geração de árvores do BART:

• Double-Grow: Quando uma árvore é um "stump" (nó raiz apenas) e a variável de divisão escolhida pertence a $X_1 \cap X_2$, o algoritmo não permite apenas dividir. Ele propõe simultaneamente uma segunda divisão usando outra variável.
  • Isso força o componente BART a modelar apenas interações envolvendo a variável de interesse, e não o efeito marginal.
  • O efeito marginal é estritamente isolado no componente linear ($\beta$).
• Double-Prune: É o movimento reverso. Se uma árvore tiver apenas uma divisão baseada em uma variável de $X_1 \cap X_2$, ela é podada duas vezes (revertendo para um stump) para evitar que o BART tente estimar o efeito principal.
• Encolhimento de Prior: Para garantir a identificabilidade, os parâmetros dos nós terminais que representariam o efeito marginal de uma variável compartilhada (que não foi capturada por uma interação) têm seu prior modificado para $N(0, \sigma^2_\mu \approx 0)$, forçando o posterior a zero.

B. Prior Hierárquica para Coeficientes

Diferente do SSP-BART, que usa uma prior isotrópica ($\beta \sim MVN(0, \sigma^2_b I)$), o CSP-BART utiliza uma estrutura hierárquica:

• $\beta \sim MVN(b, \Omega_\beta)$
• $\Omega_\beta \sim IW(V, v)$ (Distribuição Inverse-Wishart)
  Isso permite modelar explicitamente as correlações entre os efeitos das covariáveis de interesse principal, resultando em estimativas mais robustas e intervalos de credibilidade mais precisos.

C. Extensão para Efeitos Aleatórios

O modelo é estendido para incluir efeitos aleatórios no componente paramétrico (semelhante a modelos mistos), permitindo que os efeitos variem por grupos (ex: escolas), mantendo a mesma lógica de identificabilidade.

3. Resultados e Avaliação

Os autores validaram o CSP-BART através de simulações e aplicações reais.

A. Estudos de Simulação

• Friedman Dataset: O CSP-BART recuperou os efeitos principais com viés baixo, comparável ao SSP-BART quando não há interações.
• Cenário com Interações: Em cenários onde as covariáveis de interesse principal interagem (entre si ou com outras), o SSP-BART apresentou alto viés porque não podia acessar essas interações no componente BART. O CSP-BART, ao permitir o compartilhamento de variáveis e os movimentos duplos, recuperou os efeitos principais com viés significativamente menor e precisão superior.
• VCBART: O modelo VCBART (Varying Coefficient BART) também apresentou desempenho inferior em cenários de interação complexa e maior custo computacional.

B. Aplicação: TIMSS 2019 (Estudo Internacional de Matemática e Ciências)

• Contexto: Análise de dados de 4.118 alunos da 8ª série na Irlanda para prever pontuações em matemática.
• Variáveis de Interesse: Nível de educação dos pais, minutos dedicados ao dever de casa e problemas de disciplina escolar.
• Descobertas:
  • O CSP-BART identificou que o efeito do "tempo no dever de casa" não é linear: após um certo ponto (>90 minutos), o desempenho tende a estabilizar ou diminuir, sugerindo que alunos que fazem muito dever podem estar com dificuldades.
  • O modelo capturou interações significativas entre "educação dos pais" e "tempo no dever de casa", algo que o SSP-BART não conseguiria detectar devido à restrição de conjuntos disjuntos.
  • Incerteza: Os intervalos de credibilidade do CSP-BART foram mais estreitos e precisos do que os do SSP-BART, graças à prior hierárquica que modela a correlação entre os coeficientes.

C. Classificação (Pima Indians Diabetes)

Em um cenário de classificação binária, o CSP-BART superou o SSP-BART em termos de taxa de erro de classificação (misclassification rate), demonstrando que a abordagem compartilhada melhora tanto a previsão quanto a inferência.

4. Significância e Conclusão

O artigo apresenta uma evolução fundamental na aplicação de modelos BART semi-paramétricos:

1. Quebra da Barreira de Exclusividade: Permite que variáveis de interesse principal participem de interações complexas sem sacrificar a interpretabilidade dos efeitos principais.
2. Solução de Identificabilidade: Os movimentos "double-grow" e "double-prune" fornecem uma solução elegante e matematicamente rigorosa para o problema de sobreposição de efeitos entre componentes paramétricos e não paramétricos.
3. Melhoria na Inferência: A incorporação de uma estrutura de covariância hierárquica para os coeficientes lineares resulta em estimativas menos enviesadas e melhores medidas de incerteza.
4. Aplicabilidade Prática: O modelo é particularmente útil em ciências sociais e educacionais (como TIMSS), onde a compreensão de como fatores específicos interagem com o ambiente é crucial, e onde a especificação prévia de todas as interações em modelos lineares tradicionais é inviável.

O código do método está disponível publicamente, facilitando a adoção por pesquisadores que necessitam de modelos interpretáveis, mas flexíveis o suficiente para capturar a complexidade de dados reais.