Towards regularized learning from functional data with covariate shift

Resumo Técnico: Rumo ao Aprendizado Regularizado de Dados Funcionais com Deslocamento de Covariáveis

Declaração do Problema
Este artigo aborda o desafio da regressão de valores vetoriais sob a hipótese de deslocamento de covariáveis (covariate shift), especificamente no contexto de dados funcionais onde tanto as variáveis de entrada quanto as de saída são funções. Na aprendizagem estatística padrão, assume-se que os dados de treinamento e teste são extraídos da mesma distribuição. No entanto, em muitos cenários práticos — como monitoramento de integridade estrutural ou imagens médicas — as distribuições de entrada do domínio de origem (source) e do domínio alvo (target) diferem, enquanto a distribuição condicional da saída dado a entrada permanece invariante.

Os autores focam no cenário onde a distribuição de origem é $p(x, y) = p(y|x)p_X(x)$ e a distribuição alvo é $q(x, y) = p(y|x)q_X(x)$. O objetivo é aprender uma função de regressão $f^*: X \to Y$ que minimize o risco esperado sobre a distribuição marginal alvo $q_X$, apesar de ter acesso apenas a amostras rotuladas de origem $\{(x_i, y_i)\}$ e entradas não rotuladas de alvo $\{x'_j\}$. Este problema é particularmente complexo quando o espaço de saída $Y$ é um espaço de Hilbert de dimensão infinita (dados funcionais), um cenário menos explorado na literatura existente em comparação aos cenros de dimensão finita.

Metodologia
O arcabouço proposto utiliza Espaços de Reprodução de Núcleos Vetoriais (vRKHS) para lidar com saídas funcionais. A metodologia procede através de várias etapas principais:

1. Formulação de Aprendizado de Operadores:
   Os autores aproveitam o isomorfismo entre o vRKHS $\mathcal{G}$ e o espaço de operadores de classe Hilbert-Schmidt $\mathcal{S}_2(\mathcal{H}, Y)$, onde $\mathcal{H}$ é o RKHS escalar induzido por um núcleo multiplicativo escalar $K(x, t) = k(x, t)I_Y$. Isso permite que o problema de regressão seja reformulado como a busca por um operador ótimo $C \in \mathcal{S}_2(\mathcal{H}, Y)$ tal que $f(\cdot) = C\phi(\cdot)$.

2. Mínimos Quadrados Regularizados com Pesagem de Importância (IWRLS):
   Para contabilizar o deslocamento de covariáveis, o risco empírico é reponderado usando uma função $\beta(x)$ tal que $dq_X(x) = \beta(x)dp_X(x)$. O funcional de risco empírico é expresso em termos dos dados de origem e dos pesos de importância. Os autores derivam uma solução regularizada usando uma família geral de funções de filtro espectral $g_\lambda$, levando a um estimador $\hat{C}_{\lambda}^\beta$ definido via o operador de covariância empírica $\hat{C}_X^\beta$.

3. Análise Teórica:
   O artigo estabelece taxas de convergência ótimas para o estimador proposto tanto na norma $L^2(q_X, Y)$ quanto na norma vRKHS. A análise baseia-se em:

• Condições de Origem Gerais: Assume-se que o operador alvo $C^*$ satisfaz $C^* = C_0 \phi(C_X)$, onde $\phi$ é uma função de índice geral que caracteriza a suavidade da solução.
• Decaimento Espectral: São feitas suposições em relação ao decaimento polinomial dos autovalores do operador de covariância $C_X$.
• Desigualdades de Concentração: Limites teóricos são derivados usando desigualdades de concentração para variáveis aleatórias com valores em espaços de Hilbert para controlar o desvio entre os operadores empíricos e populacionais.

4. Estratégia de Agregação:
   Reconhecendo a dificuldade de selecionar parâmetros de regularização ($\lambda$) e núcleos ($k$) ótimos na prática, os autores propõem uma abordagem baseada em agregação. Este método constrói uma combinação linear de estimadores gerados por diferentes parâmetros de regularização e/ou diferentes núcleos. Os pesos para esta combinação linear são determinados resolvendo um sistema de equações lineares envolvendo estimativas empíricas da matriz de Gram e do vetor de co-variância cruzada, aproximadas usando os dados de origem e os pesos de importância.

Principais Contribuições

• Algoritmo de Aprendizado de Operadores: O artigo propõe o primeiro algoritmo sistemático de aprendizado de operador para regressão de valores vetoriais sob deslocamento de covariáveis dentro do arcabouço vRKHS, especificamente adaptado para dados funcionais.
• Taxas de Convergência Ótimas: Os autores estabelecem taxas de convergência ótimas para esquemas de regularização gerais sob condições de origem gerais. Estas taxas são provadas como sendo minimax ótimas, coincidindo com resultados conhecidos para configurações de valores escalares quando especializadas para o caso funcional.
• Arcabouço de Agregação: Uma nova estratégia de agregação é introduzida para mitigar a sensibilidade do aprendizado baseado em núcleos à escolha de parâmetros de ajuste e núcleos. Garantias teóricas são fornecidas mostrando que o estimador agregado apresenta um desempenho comparável ao melhor estimador individual do conjunto.
• Extensão para Dados Funcionais: O trabalho preenche a lacuna entre a literatura existente de deslocamento de covariáveis (majoritariamente de dimensão finita) e a análise de dados funcionais, fornecendo uma base teórica para o aprendizado em espaços de saída de dimensão infinita sob mudanças distributivas.

Resultos Experimentais
Os autores validam seu método usando um conjunto de dados de imagens faciais reais (The 10k US Adult Faces Database). A tarefa envolve reconstruir imagens faciais não distorcidas a partir de suas representações de sinograma (transformadas de Radon), onde o domínio alvo envolve sinogramas borrados (deslocamento de covariáveis).

• Configuração: Dois casos experimentais foram testados: (1) desfoque aplicado aos sinogramas, e (2) desfoque aplicado às imagens faciais antes da geração do sinograma.
• Desempenho: O método proposto foi avaliado usando Erro Quadrático Médio (MSE), Erro Relativo e Razão Sinal-Ruído de Pico (PSNR).
• Achados:
  • A abordagem de aprendizado regularizado recuperou com sucesso informações faciais substanciais, apesar da severa degradação da entrada, superando ou igualando as linhas de base padrão da transformada inversa de Radon (iradon).
  • O método de agregação produziu resultados muito próximos ao melhor parâmetro de regularização individual encontrado via uma "varredura de lambda" (lambda sweep), demonstrando sua eficácia em evitar a necessidade de um ajuste exaustivo de parâmetros.
  • Em experimentos de aprendizado de múltiplos núcleos (combinando núcleos Gaussian, Cauchy, Exponencial e IMQ), o preditor agregado alcançou um desempenho comparável ao melhor núcleo individual, confirmando a robustez da estratégia de agregação contra o risco de selecionar um espaço de hipóteses inadequado.

Significância e Alegações
O artigo afirma fornecer o primeiro tratamento sistemático da regressão de deslocamento de covariáveis de valores vetoriais, unindo efetivamente o desenvolvimento teórico com a aplicação prática em configurações de alta dimensão. Ao estabelecer taxas de convergência ótimas sob condições de origem gerais, o trabalho oferece uma base teórica rigorosa para o aprendizado regularizado neste domínio. Além disso, a proposta de abordagem de agregação aborda um gargalo prático crítico — a seleção de parâmetros de ajuste e núcleos — tornando o método mais viável para aplicações do mundo real onde o conhecimento prévio de hiperparâmetros ótimos é indisponível. Os autores posicionam seu trabalho como um passo significativo no avanço da aplicação de aprendizado de máquina para problemas de dados funcionais onde as distribuições de entrada mudam devido a fatores ambientais ou operacionais.