Resumo Técnico: Inferência Assistida por Modelo Externo com Sensibilidade ao Viés em Regressão de Alta Dimensão

Declaração do Problema

A prática estatística moderna frequentemente enfrenta uma assimetria de informação: abundantes covariáveis estão disponíveis, mas as respostas rotuladas de padrão ouro são escassas devido ao custo da anotação por especialistas ou experimentação. Simultaneamente, preditores aprendidos por máquina (frequentemente transferidos de modelos de fundação ou aprendizado por transferência) podem imputar respostas ausentes de forma barata, porém imperfeita. O desafio inferencial é alavancar essas abundantes covariáveis não rotuladas e preditores externos para refinar as conclusões sobre parâmetros alvo sem herdar o viés do preditor.

Estruturas existentes, como a Inferência Impulsionada por Predição (PPI) e sua variante ajustada por potência PPI++, tentam corrigir as saídas do preditor usando um "retificador" estimado na pequena amostra rotulada. No entanto, este artigo identifica uma fraqueza estrutural na PPI para regressão linear: quando o modelo de trabalho e o preditor são ambos lineares, o retificador cancela exatamente a contribuição do preditor. Consequentemente, a PPI e a PPI++ reduzem-se à regressão de mínimos quadrados ordinários (OLS) apenas nos dados rotulados, independentemente da qualidade do preditor. Além disso, se o preditor for estimado e estiver próximo da função oráculo, o retificador pode injetar ruído, inflacionando a variância acima do patamar dos dados apenas rotulados. Ganhos reais de eficiência em configurações de alta dimensão devem, portanto, advir de um mecanismo que não seja a retificação da predição.

Metodologia: O Estimador DEAL

Os autores propõem o DEAL (Debiased External-model-Assisted Lasso), um procedimento de quatro estágios projetado para extrair eficiência do design não rotulado através da variância de um estimador debiased (desenviesado), em vez de através de um retificador de predição.

1. Inicialização com Sensibilidade ao Viés:
   O procedimento começa com um estimador externo $\hat{\beta}_{ext}$ (potencialmente de aprendizado por transferência). Em vez de usar diretamente este estimador, o DEAL constrói uma "correção de um passo" $C$ baseada nos dados rotulados. Um nível de encolhimento (shrinkage) orientado por dados $\hat{t} \in [0, 1]$ é estimado usando uma subamostra de ajuste separada. Este encolhimento trata a correção como uma observação ruidosa de um vetor de viés desconhecido. O inicializador é formado como $\tilde{\beta}_{init} = \hat{\beta}_{ext} + \hat{t}C$.

   • Se o estimador externo for não informativo, $\hat{t} \to 0$, revertendo para uma abordagem focada apenas no alvo.
   • Se o estimador for próximo do oráculo, $\hat{t} \to 0$ (desligando a correção para evitar a injeção de ruído).
   • Se o estimador for enviesado, mas informativo, $\hat{t} \to 1$, utilizando a correção.

2. Imputação de Pseudo-Rótulos:
   Usando o inicializador $\tilde{\beta}_{init}$, pseudo-rótulos $\tilde{f} = \tilde{X}\tilde{\beta}_{init}$ são imputados para as covariáveis não rotuladas $\tilde{X}$.

3. Lasso Empilhado (Stacked Lasso):
   Um estimador Lasso é ajustado no conjunto de dados empilhado que compreende os dados rotulados originais $(X_0, y_0)$ e os pseudo-rotulados $(\tilde{X}, \tilde{f})$. Este passo aproveita o aumento no tamanho da amostra ($n_0 + N$) para alcançar um ajuste inicial mais agudo e uma estimativa de matriz de precisão mais estável.

4. Debiasing Final:
   Um passo de debiasing padrão é aplicado ao estimador de Lasso empilhado usando uma matriz de covariância aproximada (construída via métodos Javanmard-Montanari ou Lasso nodewise). Isso restaura a normalidade assintótica e intervalos de confiança válidos.

Adaptações Chave:

• Regra de Equilíbrio de Variância: O tamanho da amostra não rotulada $N$ não é fixo, mas escolhido a partir dos dados para equilibrar a redução na variância do ruído principal contra a introdução da variância do viés residual.
• Tratamento de Desvio de Covariável (Covariate Shift): Uma regra de substituição unilateral para a matriz de debiasing é introduzida para restaurar a cobertura quando a distribuição das covariáveis não rotuladas é mais dispersa que a do alvo (desvio de covariável).
• Rotuladores Não Lineares: O framework se estende a rotuladores não lineares ao linearizar o preditor em uma amostra auxiliar extraída da marginal do alvo, garantindo que o passo de sensibilidade ao viés permaneça válido sob erro de especificação do modelo.

Principais Contribuições e Resultados Teóricos

1. Limitação Estrutural da PPI: O artigo prova (Proposição 1) que, sob um modelo linear corretamente especificado, o retificador da PPI aniquila a contribuição do preditor, reduzindo a PPI à OLS apenas com dados rotulados. Isso estabelece que a eficiência não pode vir da média do retificador em configurações lineares.
2. Eficiência do Canal de Variância: O DEAL direciona as covariáveis não rotuladas para a variância do estimador debiased. A análise teórica mostra que, sob um rotulador linear, o DEAL alcança um intervalo de confiança estritamente mais curto que o debiased Lasso apenas com o alvo, a PPI e a PPI++. A razão de variância assintótica é dada por $G(\kappa, t_0) = (\frac{1+t_0\kappa}{1+\kappa})^2$, onde $\kappa = N/n_0$. Quando o estimador externo é informativo ($t_0 < 1$), esta razão é estritamente menor que 1.
3. Robustez à Especificação Errada e Não Linearidade:
   • Sob erro de especificação do modelo, o DEAL fornece inferência válida para o parâmetro de projeção de mínimos quadrados da população $\beta^*_{proj}$.
   • Sob rotuladores não lineares, o DEAL domina estritamente o PPI++ otimizado ao nível de saturação total de dados não rotulados, enquanto o PPI++ é limitado pelo ruído de erro irreduzível dos dados rotulados.
4. Validade de Desvio de Covariável: O artigo introduz uma modificação sensível ao desvio que preserva a cobertura nominal mesmo quando as covariáveis não rotuladas são extraídas de uma distribuição com covariância maior (shift-up) que o alvo, um regime onde estimadores agrupados padrão falham.
5. Encolhimento Adaptativo: O parâmetro de encolhimento orientado por dados $\hat{t}$ adapta-se à qualidade do estimador externo, garantindo validade em regimes que vão de não informativos a próximos do oráculo.

Resultados Empíricos

Os autores validam a teoria através de simulações de Monte Carlo e um portfólio de seis aplicações de dados reais abrangendo astronomia, química de materiais, proteômica e oncologia.

• Simulação: Em configurações de alta dimensão ($p \gg n_0$), os intervalos de confiança do DEAL foram encontrados entre 0,49 e 0,87 do comprimento dos intervalos do debiased Lasso apenas com o alvo, mantendo a cobertura nominal. Em contraste, os intervalos da PPI e PPI++ permaneceram próximos à linha de base do debiased Lasso (razões $\approx 1,0$).
• Aplicações de Dados Reais: O DEAL consistentemente estreitou os intervalos de confiança em seis aplicações diversas (incluindo uma que utilizou um Large Language Model como oráculo zero-shot). A razão mediana dos intervalos do DEAL em relação aos do debiased Lasso variou de 0,23 a 0,53.
  • Reprodutibilidade: As coordenadas significativas selecionadas pelo DEAL apresentaram maior estabilidade de bootstrap (frequências de seleção de 0,66–0,97) comparadas ao debiased Lasso (0,26–0,63) e PPI++ (0,26–0,61).
  • Generalização: Em aplicações com ajuste fora da amostra (morfologia de galáxias e band gap), as descobertas do DEAL alcançaram $R^2$ positivo fora da amostra, enquanto outros métodos produziram $R^2$ negativo ou próximo de zero.
• Independência do Rotulador: Crucialmente, o ganho de eficiência foi observado mesmo quando o rotulador externo possuía baixíssima precisão preditiva (ex: correlação $\approx 0,09$ em proteômica). Quando os rotuladores foram substituídos por substitutos permutados (sem informação), os intervalos do DEAL colapsaram de volta para a linha de base do debiased Lasso, confirmando que o ganho provém do refinamento da matriz de precisão pelo design não rotulado, e não pela precisão do rotulador.

Significância e Alegações

O artigo alega que a principal contribuição é um relocamento do papel do modelo externo: da média (via um retificador) para a variância (via um estimador debiased). Esta mudança permite que o método contorne o cancelamento estrutural inerente à PPI em modelos lineares.

Os autores enfatizam que o DEAL é particularmente relevante para a era dos modelos de fundação e dados sintéticos, onde analistas carecem de controle ou capacidade de auditar a calibração de preditores externos. Ao tratar o modelo externo como uma "caixa preta" e proteger a inferência contra seu viés via um salvaguarda de encolhimento, o DEAL converte um rotulador não controlado em uma ferramenta inócua ou benéfica. O método é alegado ser a ferramenta mais precisa especificamente dentro do regime linear esparso de alta dimensão, oferecendo inferência válida e intervalos estritamente mais curtos onde métodos de predição por potência falham em melhorar em relação à linha de base apenas com dados rotulados.

O artigo mantém-se modesto quanto ao seu escopo, reconhecendo que:

• Sob erro de especificação, ele infere a melhor projeção linear, não a verdadeira média condicional não linear.
• O ganho de eficiência depende de o design rotulado ser a restrição limitante; se a amostra rotulada já for grande ou bem condicionada, o benefício diminui.
• O método depende de mecânica de Lasso debiased de alta dimensão (debiased Lasso, nodewise Lasso) e não é um M-estimador de propósito geral como a PPI.