Improving variable selection properties with data integration and transfer learning

Título: Melhoria das Propriedades de Seleção de Variáveis com Integração de Dados e Aprendizado por Transferência

Autores: Paul Rognon-Vael, David Rossell e Piotr Zwiernik.
Contexto: Estatística de alta dimensão, Seleção de Variáveis, Aprendizado por Transferência Estrutural, Inferência Bayesiana.

---

1. O Problema

O artigo aborda o problema de seleção de variáveis (recuperação de suporte) em regressão linear esparsa de alta dimensão, onde o número de variáveis ($p$) excede o tamanho da amostra ($n$).

• Desafio Principal: A recuperação consistente do conjunto de variáveis verdadeiramente ativas ($S$) geralmente exige condições restritivas sobre o tamanho da amostra, a força do sinal ($\beta^*$) e o nível de esparsidade. Em cenários de alta dimensão, essas condições podem ser difíceis de satisfazer com um único conjunto de dados.
• Oportunidade: Frequentemente, existe informação externa disponível (estudos anteriores, anotações funcionais, conjuntos de dados auxiliares) que sugere quais variáveis são mais prováveis de estarem associadas à resposta.
• Objetivo: Investigar como integrar essa informação externa para relaxar as condições teóricas necessárias para uma seleção consistente e acelerar as taxas de convergência, focando especificamente no Aprendizado por Transferência Estrutural (usar variáveis selecionadas em conjuntos de dados fonte para guiar a seleção em um conjunto de dados alvo).

2. Metodologia

Os autores propõem uma abordagem baseada em penalizações $\ell_0$ informadas externamente, motivada pela conexão com a seleção de variáveis Bayesiana.

2.1. Penalização $\ell_0$ Informada Externamente

• Abordagem: Em vez de aplicar uma penalidade uniforme a todas as variáveis (como no critério BIC padrão ou EBIC), o método divide as $p$ variáveis em $b$ blocos ($B_1, \dots, B_b$) com base na informação externa $z$.
• Mecanismo: Cada bloco recebe uma penalidade $\kappa_j$ específica. Variáveis em blocos considerados mais relevantes (com base na informação externa) recebem penalidades menores, enquanto variáveis em blocos menos relevantes recebem penalidades maiores.
• Conexão Bayesiana: A penalidade $\kappa_j$ é interpretada como o logaritmo da razão de odds de um prior de inclusão de variável. A escolha de $\kappa_j$ corresponde a uma probabilidade de inclusão a priori $\theta_j$ que depende do bloco.

2.2. Procedimento Empírico Bayes (Adaptativo)

Como os parâmetros ideais (oráculo) não são conhecidos na prática, os autores propõem um algoritmo de dois passos para estimar as penalidades a partir dos dados:

1. Passo 1 (Estimativa Inicial): Utiliza uma penalidade comum $\kappa^\circ$ em todos os blocos para obter probabilidades de inclusão a posteriori (via MCMC ou aproximação BIC). Com base nisso, estima-se o número de variáveis ativas em cada bloco, $\hat{s}_j$.
2. Passo 2 (Seleção Adaptativa): Define-se a penalidade final para cada bloco como $\kappa^A_j = \ln(p_j - \hat{s}_j) + \frac{1}{2}\ln(n)$. Isso ajusta a penalidade baseada na esparsidade estimada de cada bloco.

2.3. Aprendizado por Transferência Estrutural (Tran-s-ell0)

Para o cenário específico de transferência:

• Entrada: Conjuntos de variáveis selecionadas em $K$ conjuntos de dados fonte ($\hat{S}^{(k)}$).
• Estratégia: Cria-se uma partição de dois blocos no conjunto de dados alvo:
  • Bloco 1 ($B_1$): Variáveis que foram selecionadas em pelo menos um conjunto de dados fonte.
  • Bloco 2 ($B_2$): Todas as outras variáveis.
• Robustez: O método é projetado para ser robusto à "transferência negativa" (quando a informação fonte é irrelevante ou enganosa). Se a informação fonte for ruim, o algoritmo recai para um comportamento similar ao de um seletor padrão, sem degradar o desempenho drasticamente.

3. Contribuições Principais

1. Fundamentação Teórica para Informação Externa:

   • Estabelecem condições suficientes e necessárias para a consistência da seleção de variáveis com penalidades informadas.
   • Demonstram que, sob condições ideais (oráculo), o método informado pode recuperar o suporte verdadeiro em regimes onde métodos que ignoram a informação externa falham (ex: sinais mais fracos ou dimensões maiores).
   • Provam que as taxas de convergência do erro de seleção são mais rápidas quando a informação externa é discriminativa.

2. Procedimento Empírico Bayes Consistente:

   • Desenvolvem um algoritmo computacionalmente eficiente que aprende as penalidades a partir dos dados.
   • Provam teoreaticamente que este procedimento adaptativo mantém a consistência assintótica e melhora as propriedades de seleção em comparação com métodos não informados.

3. Análise de Transferência Estrutural:

   • Introduzem o algoritmo Tran-s-ell0, que utiliza seleções de fontes para definir blocos.
   • Demonstram que o método é robusto à covariância shift e a informações fonte irrelevantes, superando limitações de métodos de transferência que exigem similaridade forte entre as matrizes de design ou sobreposição perfeita de suportes.

4. Resultados

4.1. Resultados Teóricos

• Condições de Sinal: O método informado exige uma força de sinal mínima ($\beta^*_{min}$) menor para garantir a consistência. Especificamente, em blocos com maior esparsidade (menos variáveis ativas), a penalidade pode ser reduzida, permitindo a detecção de sinais mais fracos que seriam ignorados por um seletor padrão.
• Taxas de Convergência: A probabilidade de seleção incorreta decai exponencialmente mais rápido para o seletor informado quando os blocos capturam heterogeneidade real na esparsidade ou força do sinal.
• Robustez: O método não sofre de "transferência negativa" catastrófica; se a informação externa for inútil, o desempenho converge para o do método padrão, mas não piora.

4.2. Simulações Numéricas

• Cenários: Testados em diversos cenários de esparsidade e informatividade dos blocos.
• Desempenho:
  • Quando os blocos são informativos (diferenças reais na esparsidade), o seletor adaptativo informante ($\hat{S}^{A,ei}$) supera consistentemente o seletor não informado ($\hat{S}^{A,sd}$), o EBIC, o LASSO e o SCAD, apresentando maior poder (power) e menor taxa de falsas descobertas (FDR).
  • Quando os blocos não são informativos, o desempenho é comparável ao do seletor padrão.
  • O método Tran-s-ell0 superou outros métodos de transferência em cenários de sobreposição parcial entre fontes e alvo, mantendo robustez quando a sobreposição era nula.

4.3. Aplicação em Genômica (Câncer de Cólon)

• Contexto: Uso de dados de camundongos (172 genes associados ao TGFB) para informar a seleção de genes em humanos ($n=262$, $p=1000$).
• Resultado: O método Tran-s-ell0 selecionou 4 genes do "mouse list" e nenhum fora dela, enquanto o EBIC selecionou os mesmos 4 genes mais 3 extras.
• Qualidade: O modelo selecionado pelo Tran-s-ell0 apresentou menor Erro Quadrático Médio (MSE) cruzado e probabilidades de inclusão a posteriori mais altas para os genes relevantes, validando a utilidade da transferência estrutural de camundongos para humanos.

5. Significado e Conclusão

Este trabalho preenche uma lacuna teórica importante ao explicar por que e como a integração de informação externa melhora a seleção de variáveis estrutural.

• Avanço Teórico: Mostra que a "informação estrutural" (saber quais variáveis são mais prováveis de serem ativas) relaxa as barreiras fundamentais da estatística de alta dimensão, permitindo inferência consistente em regimes de sinal mais fraco e dimensão mais alta.
• Aplicabilidade Prática: Oferece uma ferramenta robusta para cenários onde dados de fontes externas (como estudos em animais ou meta-análises) estão disponíveis, mas não são perfeitamente alinhados com o problema alvo.
• Inovação: A abordagem de penalização $\ell_0$ baseada em blocos, combinada com uma estimativa empírica Bayesiana, fornece um equilíbrio ideal entre a flexibilidade de incorporar conhecimento prévio e a garantia de consistência estatística, superando métodos tradicionais de regularização (como LASSO) em cenários de alta dimensão esparsa.

Em resumo, o paper demonstra que, ao alavancar inteligentemente informações externas através de penalizações adaptativas, é possível superar os limites teóricos da seleção de variáveis em alta dimensão, com aplicações diretas e eficazes em bioinformática e outras áreas científicas.