Retrospective Orthogonal Design: Response-Surface Reconstruction from Observational Data

Resumo Técnico: Design Ortogonal Retrospectivo (ROD)

Enunciado do Problema
Em estudos observacionais, as estimativas de regressão e as decomposições de variância são frequentemente instáveis devido à multicolinearidade entre os preditores. Diferente dos delineamentos experimentais balanceados onde $X^\top X$ é diagonal, os dados observacionais geram matrizes de Gram não diagonais, fazendo com que as estimativas de coeficientes, a atribuição de variância única e as somas de quadrados (SQ) sequenciais dependam fortemente da especificação do modelo e da ordem de entrada dos termos. Os remédios existentes, como a Regressão de Componentes Principais (PCR) ou contrastes polinomiais ortogonais, muitas vezes sacrificam a interpretabilidade no espaço das variáveis originais ou falham em abordar a dependência entre preditores. Métodos não paramétricos (ex: árvores de regressão, splines) carecem de ortogonalidade empírica exata, tornando a atribuição global dependente de escolhas de partição ou suavização. Os autores postulam que os métodos atuais falham em reconstruir uma superfície de resposta ortogonal e interpretável que preserve a estrutura observada dos dados ao mesmo tempo em que fornece uma atribuição invariante à especificação.

Metodologia: Design Ortogonal Retrospectivo (ROD)
O ROD reformula a análise de dados observacionais como um problema de reconstrução de superfície em uma rede de probabilidade balanceada. O fluxo de trabalho consiste em oito etapas:

1. Particionamento de Preditores: Os preditores são divididos em "preditores de grade" (usados para a construção da rede) e "preditores de bloco" (tratados via codificação padrão).
2. Remapeamento de Escala de Probabilidade: Os preditores de grade são transformados para uma escala de probabilidade ($r_j = F_j(x_j)$) e, em seguida, para uma escala de referência ($z_j = 2a r_j - a$) para balancear a ocupação marginal e reduzir caudas esparsas, sem assumir uma distribuição específica.
3. Seleção de Resolução da Rede: Uma resolução de rede $L$ é selecionada via validação cruzada entre candidatos admissíveis de posto. A grade cria $L^k$ células.
4. Atribuição de Células e Normalização: As observações são atribuídas às células da grade. Os pesos são normalizados para que cada célula tenha um peso total alvo igual, estabelecendo uma medida de referência de produto balanceada.
5. Identificação de Células: Células ocupadas retêm suas médias observadas ponderadas. Células vazias (não suportadas) são identificadas para completude.
6. Completude da Rede: As células vazias são preenchidas usando uma regra selecionada (ex: WLS de efeitos principais globais ou ponderação por inverso da distância local) enquanto preservam as médias das células ocupadas.
7. Reconstrução e Avaliação: Uma matriz de contraste ortogonal $X_L$ é construída na rede completada. Os coeficientes são estimados como $\hat{\beta}_L = c_L^{-1} X_L^\top W_L \tilde{y}_L$, onde $X_L^\top W_L X_L = c_L I$. A superfície é avaliada via interpolação afim por partes sobre poliedros de Freudenthal, garantindo continuidade e exatidão nos vértices da rede.
8. Calibragem e Projeção: Se uma base estrutural (ex: uma forma polinomial específica) for declarada, a superfície reconstruída é projetada sobre ela. Uma matriz de calibração "livre de resposta", derivada exclusivamente da geometria do preditor e do pipeline de reconstrução, corrige a perda de recuperação de resolução finita, mapeando a superfície ortogonal nativa para a base científica declarada.

Propriedades Teóricas
O artigo estabelece que, para uma rede admissível, a matriz de Gram ponderada satisfaz $X^\top W X = cI$. Isso resulta em:

• Ortogonalidade Algébrica: Ortogonalidade exata sob a medida de referência declarada.
• Invariância de Especificação: Os efeitos de contraste e os coeficientes são invariantes à inclusão de outros termos ortogonais.
• SQ Independente de Ordem: As somas de quadrados de Tipo I, II e III coincidem dentro do espaço de contraste retido, eliminando a dependência da ordem de entrada dos termos.
• Identidade Dual: O método funciona simultaneamente como um sistema de contraste ortogonal e uma superfície de resposta reconstruída.

Resultos Principais
Os autores avaliaram o ROD através de 6.480 condições de simulação abrangendo nove processos geradores de dados (DGPs), variando tamanho de amostra, dimensões de preditores e níveis de correlação.

• Desempenho Preditivo: O ROD igualou ou excedeu a regressão polinomial (POLY) em cinco de nove processos. Desempenhou-se excepcionalmente bem em superfícies com limiares, interações de sinal (XOR) e calombos localizados, superando o POLY em $\Delta R^2$ médio de 0,22, 0,32 e 0,09, respectivamente. Para processos lineares e de interação quadrática, o ROD foi praticamente indistinguível do POLY (média $\Delta R^2 \approx 0,0001$). No entanto, o ROD teve desempenho inferior em processos mais suaves ou de complexidade distributiva (ex: crescimento exponencial, modelos de hurdle).
• Recuperação de Coeficientes: Projeções calibradas do ROD sobre bases estruturais pré-especificadas mostraram viés próximo de zero e dispersão estável, superando modelos paramétricos em cenários de alta dimensão onde o viés paramétrico aumentava com a dimensão.
• Aplicação Empírica: Em uma análise da equação de ganhos de Mincer ponderada (dados CPS), o ROD alcançou a estimativa de $R^2$ fora da amostra mais alta (0,1824), sobrepondo-se de perto ao POLY (0,1799). Crucialmente, o ROD forneceu uma alocação de somas de quadrados única, exaustiva e invariante à ordem, enquanto as alocações do OLS e do POLY variaram significamente entre os 6 e 120 ordenamentos possíveis de entrada de termos, respectivamente.

Significância e Alegações
Os autores alegam que a principal contribuição do ROD é a estabilidade interpretativa em vez de uma superioridade preditiva universal. Ao construir uma superfície de referência balanceada e admissível a priori, o ROD torna a atribuição uma propriedade reprodutível da reconstrução, em vez de uma consequência das escolhas de modelagem ou da ordem dos termos.

• Atribuição: O ROD permite decompor a variância em parcelas únicas e não sobrepostas que são invariantes à ordem de especificação, abordando uma limitação fundamental da regressão com preditores correlacionados.
• Transparência: O método lida explicitamente com o suporte incompleto através de regras de completude, tornando as suposições sobre regiões não observadas visíveis e auditáveis.
• Limitações: Os autores enfatizam que o ROD é representacional, não causal; ele não resolve problemas de identificação como o viés de habilidade. Sua ortogonalidade é condicional à medida de referência declarada e à regra de completude escolhida. O método é mais valioso quando o objetivo da pesquisa exige explicações estáveis, comparáveis e rastreáveis da variação na presença de não linearidades e multicolinearidade, em vez de quando a predição é o único objetivo ou quando um modelo paramétrico de baixa dimensão é suficiente.

Os autores fornecem uma implementação operacional em Python (ROD 0.4) para facilitar os procedimentos de reconstrução, validação e calibração descritos.