Resumo Técnico: Florestas Aleatórias Agrupadas com Dados Correlacionados

Definição do Problema

Conjuntos de dados do mundo real frequentemente exibem estruturas agrupadas (clusters) decorrentes de medições repetidas, estudos longitudinais ou agrupamentos geográficos. Nesses cenários, as observações dentro de um grupo estão frequentemente correlacionadas, violando a suposição de variáveis independentes e identicamente distribuídas (i.i.d.) padrão para muitos algoritmos de aprendizado de máquina. Embora modelos paramétricos de efeitos mistos possam dar conta dessas correlações, eles dependem de suposições paramétricas específicas em relação às estruturas de média e covariância; a especificação incorreta dessas estruturas pode levar a um viés substancial e à estimativa inconsistente.

Abordagens não paramétricas existentes, como as Florestas Aleatórias (RF), tipicamente ignoram as correlações intra-grupo ou tentam modelá-las por meio de estruturas de covariância paramétricas rígidas (ex: REEM trees, Mixed Effects Random Forests). Esses métodos existentes frequentemente sofrem de intratabilidade computacional (complexidade cúbica) ou falham em garantir a redução da variância em relação às RFs padrão. Além disso, existe uma lacuna crítica na compreensão de como a estimativa ótima e a inferência se comportam sob o deslocamento de distribuição de covariáveis (covariate distribution shift) quando os dados são correlacionados. Métodos padrão otimizados para a distribuição de treinamento podem performar arbitrariamente mal quando a distribuição de teste sofre um deslocamento, um fenômeno menos estudado em configurações de dados correlacionados do que em dados independentes.

Metodologia: Florestas Aleatórias Agrupadas (CRF)

Os autores propõem as Florestas Aleatórias Agrupadas (CRF), uma extensão não paramétrica do algoritmo de Floresta Aleatória projetada especificamente para dados agrupados. A inovação central reside na modificação do mecanismo de predição por folha das árvores de decisão constituintes.

Estrutura Algorítmica

1. Árvores de Decisão Agrupadas (CDT): Em vez de usar Mínimos Quadrados Ordinários (OLS) para estimar a média dentro de uma folha (como nas RFs padrão), as CRFs utilizam Mínimos Quadrados Ponderados (WLS).
   • A predição em uma folha é uma média ponderada das observações, onde os pesos são derivados de uma matriz de peso por grupo $W_i(\rho)$.
   • Esses pesos são projetados para levar em conta as correlações intra-grupo. Os autores focam em classes paramétricas de pesos, especificamente estruturas equicorrelacionadas (trocáveis) e AR(1), que permitem um ajuste computacionalmente eficiente.
2. Estimativa de Peso:
   • Ao contrário dos métodos baseados em verossimilhança (ex: REEM, MERF) que estimam parâmetros de covariância via máxima verossimilhança nos resíduos, a CRF estima o parâmetro de peso $\rho$ para minimizar o Erro Médio Quadrático de Predição (MSPE) sob uma distribuição de covariável alvo $Q$.
   • Isso permite que o algoritmo se adapte ao deslocamento de covariável. O peso ótimo $\rho^*$ é uma função da distribuição alvo $Q$.
   • A estimativa utiliza um ethos "livre de modelo de covariância", estimando $\rho$ com base na minimização de um estimador empírico da variância integrada sobre a distribuição alvo $Q$, em vez de assumir um modelo generativo específico para os erros.
3. Honestidade e Subamostragem:
   • O algoritmo impõe a propriedade de honestidade (Wager e Athey, 2018): os dados usados para determinar divisões (splits), estimar pesos e realizar predições são estritamente separados.
   • Ele emprega uma estratégia de subamostragem de "pequenos sacos de bootstrap" (bootstrap of little bags) para construir a floresta e estimar a variância, permitindo a construção de intervalos de confiança válidos.

Eficiência Computacional

Um feito técnico significativo é o desenvolvimento de algoritmos que ajustam CRFs em tempo aproximadamente linear em relação ao número de observações. Ao aproveitar a estrutura das matrizes de peso equicorrelacionadas e AR(1), os autores utilizam o gradiente conjugado para resolver os problemas de WLS, evitando a complexidade $O(M^3)$ associada à inversão de matrizes densas em métodos de florestas de efeitos mistos existentes.

Principais Contribuições Teóricas

1. Taxas Assintóticas e Otimalidade Minimax

Os autores derivam limites superiores assintóticos para o MSPE geral sob deslocamento de covariável $Q$. Eles demonstram que existem regras de divisão e regimes de subamostragem dentro da estrutura CRF que alcançam taxas minimax ótimas para funções de média Lipschitz. Essas taxas correspondem às das florestas aleatórias padrão para dados i.i.d., apesar da complexidade adicional da correlação.

2. Deslocamento de Covariável e Pesos Ótimos

Uma descoberta teórica central é que, para dados correlacionados, o parâmetro de peso ótimo $\rho$ que minimiza o MSPE não é invariante a deslocamentos de covariável.

• Teorema 2 estabelece que os pesos ótimos para uma distribuição alvo $Q$ podem diferir arbitrariamente daqueles que são ótimos para a distribuição de treinamento.
• Consequentemente, métodos que estimam pesos baseados apenas na distribuição de treinamento (ex: via validação cruzada ou maximização de verossimilhança nos resíduos de treinamento) podem ser arbitrariamente subótimos sob deslocamento de covariável, performando pior até mesmo que as Florestas Aleatórias padrão sem pesos.
• Isso contrasta com configurações de dados independentes onde esquemas de reponderação (como a ponderação por importância) são bem compreendidos; em configurações correlacionadas, a estratégia de ponderação ótima está intrinsecamente ligada à distribuição de covariável alvo $Q$.

3. Inferência e Normalidade Assintótica

O artigo prova que as CRFs que dominam a variância são assintoticamente Gaussianas pontualmente e uniformemente sobre uma classe de distribuições. Este resultado sustenta-se sob taxas de subamostragem específicas que garantem a dominância da variância sobre o viés. Esta garantia teórica permite a construção de intervalos de confiança assintoticamente válidos para a função de média condicional, com larguras que convergem em taxas mais rápidas do que as RFs padrão devido à redução da variância alcançada ao considerar as correlações.

Resultados Empíricos

Os autores validam suas descobertas teóricas através de simulações e uma aplicação no mundo real:

1. Simulação de Deslocamento de Covariável: Em um cenário de dados equicorrelacionados, as CRFs otimizadas para uma distribuição de teste deslocada ($Q = \text{Unif}[1, 2]$) superaram significativamente as RFs padrão, as florestas otimizadas pelo erro de treinamento (TRAIN) e as florestas baseadas em verossimilhança (REEM). Notavelmente, as florestas TRAIN e REEM performaram pior que as RFs padrão sob o deslocamento, confirmando o risco teórico de ignorar deslocamentos de distribuição na estimativa de pesos.
2. Simulação de Inferência: Em cenários de erros correlacionados AR(2), as CRFs alcançaram intervalos de confiança mais estreitos (redução de largura) enquanto mantinham a cobertura nominal (95%) em comparação com as RFs padrão. Isso resultou em um erro quadrático médio menor para as estimativas pontuais.
3. Aplicação no Mundo Real (Contagem de CD4 em HIV): Analisando contagens de células CD4 de soroconversores de HIV, as CRFs forneceram predições personalizadas com uma redução de 20–40% na variância estimada em comparação com as RFs padrão, demonstrando utilidade prática em tarefas de predição médica com medidas repetidas.

Significância e Alegações

O artigo afirma fornecer uma extensão prática e teoricamente fundamentada das Florestas Aleatórias para dados agrupados que:

• Aproveita a Correlação: Melhora a precisão da predição e da inferência ao modelar explicitamente a dependência intra-grupo sem depender de modelos de média paramétricos rígidos.
• Aborda o Deslocamento de Covariável: Identifica e resolve uma falha crítica nos métodos existentes de dados correlacionados: a falha em adaptar os pesos à distribuição de covariável alvo. Os autores argumentam que a estimativa não paramétrica ótima sob deslocamento de covariável para dados correlacionados requer uma distribuição alvo especificada pelo usuário para determinar os pesos.
• Garante Escalabilidade: Supera as barreiras computacionais dos métodos anteriores de florestas de efeitos mistos, oferecendo uma solução com complexidade de tempo linear comparável às Florestas Aleatórias padrão.
• Permite Inferência Válida: Fornece a primeira teoria assintótica para florestas agrupadas que dominam a variância, o que suporta a construção de intervalos de confiança estreitos e válidos.

Os autores posicionam seu trabalho como uma ponte entre a flexibilidade do aprendizado de máquina não paramétrico e o tratamento rigoroso de estruturas de dependência, oferecendo uma nova perspectiva sobre o problema do deslocamento de covariável no contexto de dados correlacionados.