Resumo Técnico: Regressão Linear Sensível ao Alvo sob Mudança de Distribuição

Formulação do Problema

O artigo aborda o desafio da estimativa de regressão quando a distribuição de implantação (alvo) difere da distribuição de treinamento (origem). Diferente das configurações padrão de adaptação de domínio que dependem exclusivamente de dados de covariáveis não rotulados do alvo, este trabalho assume o acesso a marginais de alvo conhecidas tanto para as covariáveis ($X$) quanto para a variável resposta ($Y$). Essas marginais podem ser derivadas de observações de nível populacional, condições de contorno, configurações de simulador ou restrições de alinhamento temporal.

Os autores formalizam isso dentro de um framework de regressão linear multivariada:
$$Y = \beta_0 + X^\top \beta + \varepsilon, \quad \varepsilon \sim \mathcal{N}(0, \sigma^2_\varepsilon)$$
As principais suposições incluem:

1. Média Condicional Estável: Os coeficientes de regressão ($\beta_0, \beta$) e a variância do ruído ($\sigma^2_\varepsilon$) permanecem invariantes entre as distribuições de origem e alvo.
2. Marginais de Alvo Conhecidas: As distribções de alvo $X \sim \mathcal{N}(\mu_{k,x}, \Sigma_{k,x})$ e $Y \sim \mathcal{N}(\mu_{k,y}, \sigma^2_{k,y})$ são conhecidas.
3. Gaussianidade: Assume-se que tanto as covariáveis quanto o alvo sejam Gaussianos (ou sub-Gaussianos) para permitir a derivação teórica rigorosa de erros quadráticos médios (MSE) em forma fechada.

O objetivo é aproveitar as marginais de alvo conhecidas para melhorar a precisão da estimativa em comparação com os Mínimos Quadrados Ordinários (OLS), que ignora essa informação adicional.

Metodologia

O artigo propõe e analisa três estimadores distintos que incorporam a informação das marginais de alvo de maneiras estruturalmente diferentes:

1. Estimador de Perda Híbrida (Benchmark)

Este estimador serve como o benchmark teórico. Ele minimiza uma função de perda que combina o risco empírico com um termo de penalidade que impõe restrições de marginais de alvo via uma distância do tipo Wasserstein:
$$L_H(\theta; \omega) = \frac{1}{n}\|Y - \tilde{X}\theta\|^2_2 + \omega(\tilde{\mu}^\top_{k,x}\theta - \mu_{k,y})^2 + \omega\left(\sqrt{\theta^\top \tilde{\Sigma}_{k,x}\theta + \frac{1}{n}\|Y - \tilde{X}\theta\|^2_2} - \sigma_{k,y}\right)^2$$

• Mecanismo: Penaliza conjuntamente os desvios da média do alvo e da variância do alvo.
• Computação: Requer a resolução de um problema de otimização não linear acoplado (via gradiente descendente), o que é computacionalmente caro em escala.
• Desempenho: Teoricamente domina uniformemente os outros estimadores em termos de precisão.

2. Estimador de Correspondência de Momentos (MM) Restrito

Este estimador impõe as restrições das marginais de alvo exatamente, em vez de via uma penalidade suave.

• Mecanismo: Resolve um problema de otimização restrita onde os parâmetros estimados devem satisfazer exatamente as equações de média e variância do alvo. Quando o conjunto de soluções não é único, seleciona o elemento que minimiza a soma dos quadrados dos resíduos.
• Computação: Computacionalmente tratável, exigindo apenas uma etapa de busca de raiz após a inicialização por OLS.
• Desempenho: Melhora em relação ao OLS quando o nível de ruído é suficientemente baixo em relação à força do sinal efetivo.

3. Estimador de Calibração de Dois Estágios

Esta é uma abordagem de pós-processamento projetada para eficiência computacional.

• Estágio 1: Computar o estimador OLS padrão ($\hat{\theta}_{OLS}$).
• Estágio 2: Calibrar as previsões escalando a saída do OLS para corresponder à média do alvo ($\mu_{k,y}$) e à variância de predição do alvo. Isso envolve um escalonamento escalar do vetor de inclinação $\hat{\beta}_{OLS}$.
• Computação: Extremamente barato; essencialmente o custo do OLS mais um escalonamento escalar.
• Desempenho: Surpreendentemente eficaz em regimes de alta relação sinal-ruído, aproximando-se do benchmark híbrido.

Principais Contribuições

1. Formulação: Os autores definem um problema de regressão sensível ao alvo em um modelo linear multivariado com marginais de alvo conhecidas, distinguindo-o dos problemas padrão de mudança de covariável.
2. Derivação Teórica: Eles derivam distribuições assintóticas em forma fechada, erros quadráticos médios (MSE) e erros de predição para todos os três estimadores. Isso permite uma comparação precisa de trade-offs entre precisão e complexidade.
3. Análise de Regime: O artigo identifica condições específicas sob as quais as alternativas tratáveis (MM e Dois Estágios) aproximam o benchmark híbrido:
   • O estimador de Dois Estágios quase iguala o benchmark híbrido no regime de alta relação sinal-ruído (onde o modelo base já é poderoso), com custo computacional praticamente nulo.
   • O estimador de Correspondência de Momentos melhora o OLS quando $\sigma^2_\varepsilon < 2\beta^\top Q^{-1}_{s|k}\beta$.
4. Validação Empírica: Experimentos de Monte Carlo através de três regimes de mudança controlados (nível de ruído, geometria de covariância e descompasso de média) validam as fórmulas de MSE teóricas e demonstram os trade-offs entre precisão e tempo de execução.

Resultados

• Hierarquia de Precisão: O estimador Híbrido é uniformemente o melhor. Os estimadores MM e de Dois Estágios geralmente superam o OLS, mas podem ter desempenho inferior ao OLS em regimes de baixa relação sinal-ruído ou configurações geométricas específicas (por exemplo, quando o descompasso da média é ortogonal à direção do sinal).
• Relação Sinal-Ruído (SNR): O principal motor dos ganhos de desempenho é o SNR. Em configurações de alto SNR, o estimador de Dois Estágios captura quase todos os benefícios das marginais de alvo, tornando a otimização híbrida cara desnecessária.
• Dimensionalidade: A redução absoluta de MSE proporcionada pelas marginais de alvo é de aproximadamente um grau de liberdade (independente da dimensão $d$). Consequentemente, a melhoria relativa escala como $O(1/d)$, o que significa que os estimadores sensíveis ao alvo convergem para o desempenho do OLS conforme a dimensionalidade aumenta, embora ainda ofereçam ganhos absolutos no erro de predição.
• Eficiência Computacional: O estimador de Dois Estágios alcança precisão quase ótima com custos computacionais comparáveis ao OLS, enquanto o estimador Híbrido requer otimização iterativa.

Significância e Alegações

O artigo afirma fornecer fundamentação teórica para observações empíricas feitas em configurações não lineares mais complexas (referenciando especificamente Anonymous [1] quanto à Discrepância de Stein Kernelizada).

• Explicação da Calibração Post-Hoc: Os resultados em forma fechada explicam por que a calibração post-hoc (como o método de Dois Estágios) produz os maiores ganhos quando os modelos base já são razoavelmente precisos (alto SNR). Nesses regimes, a redução de variância proveniente do ajuste às marginais de alvo supera o viés introduzido pelo escalonamento.
• Orientação Prática: Os autores fornecem uma regra clara para escolha do estimador:
  • Se o preditor base for forte (alto SNR) e os recursos computacionais forem limitados, o estimador de Dois Estágios é preferível, pois oferece quase-otimalidade com custo mínimo.
  • Se a otimização em tempo de treinamento for acessível e o SNR for moderado, o estimador Híbrido permanece preferível para máxima precisão.
• Generalização: Embora derivados sob suposições gaussianas-lineares, os autores argumentam que os insights estruturais — especificamente a dependência dos ganhos em relação ao SNR e a eficácia da calibração post-hoc barata em regimes de alto SNR — devem se estender a modelos não lineares, corroborando descobertas em aplicações de aprendizado profundo.

O trabalho não pretende resolver a mudança de distribuição em todos os contextos não lineares, mas sim isolar o mecanismo específico (restrições de marginais de alvo) e quantificar seu valor em um ambiente rigoroso e analiticamente tratável.