On a joint simultaneous learning of relevant feature subsets and subspaces in regression-like problems

Resumo Técnico: Regressão de Variedade Ótima por Entropia (EOMR)

Enunciado do Problema
O artigo aborda o desafio de modelar e prever problemas de regressão não estacionários e não lineares, especificamente no contexto de sistemas dinâmicos caóticos e dinâmica de fluidos. Uma dificuldade primária identificada é o "desafio de aprendizado com poucos dados" (small data learning challenge), onde a dimensão do espaço de características ($D$) é grande em relação às estatísticas de observação disponíveis ($T$). Este cenário é comum em campos como a mecânica de fluidos (devido a simulações numéricas dispendiosas) e pesquisa climática (devido a históricos de observação curtos).

O autor argumenta que as ferramentas de Inteligência Artificial (IA) e Aprendizado de Máquina (ML) de última geração, incluindo florestas aleatórias de gradiente impulsionado (gradient-boosted random forests), redes neurais profundas (NN) e modelos baseados em Transformers (ex: TabPFN), enfrentam dificuldades nesses regimes. Esses métodos frequentemente sofrem de:

1. Sobreajuste (Overfitting): Eles tendem a memorizar os dados de treinamento em vez de aprender padrões generalizáveis, resultando em um desempenho pobre nos dados de teste (muitas vezes pior do que preditores "persistentes" triviais).
2. Escalabilidade Computacional: Arquiteturas baseadas em Transformers escalam quadraticamente tanto com a dimensão das características quanto com o tamanho dos dados, tornando-as computacionalmente proibitivas para problemas realistas de grande escala.
3. Complexidade do Modelo: Essas ferramentas frequentemente exigem um número de parâmetros ajustáveis comparável ou superior ao tamanho do conjunto de dados de treinamento, levando a altos custos de memória e de iteração.

Metodologia: Regressão de Variedade Ótima por Entropia (EOMR)
O artigo propõe a Regressão de Variedade Ótima por Entropia (EOMR), uma extensão supervisionada do anteriormente introduzido Agrupamento de Variedade Ótima por Entropia (EOMC). A EOMR visa identificar conjuntamente subconjuntos de características relevantes e subespaços para tarefas de regressão.

• Formulação Matemática:
  O modelo assume $K$ mapeamentos "locais" de um vetor de características $X(:, t)$ para um alvo escalar $Y(t)$. Cada mapeamento é caracterizado por:

  • Um projetor de variedade linear ortogonal de $d$ dimensões $T_k$ (redução de subespaço).
  • Uma matriz de pesos diagonal $W$ (seleção de subconjunto), onde os elementos diagonais $w_i$ representam a probabilidade de a característica $i$ ser relevante.
  • Coeficientes de regressão $\tilde{\theta}_k$.

  A previsão é formulada como uma expectativa ponderada sobre esses modelos lineares locais, regularizada por termos de entropia. O objetivo de aprendizado é minimizar um problema de otimização restrito ($L_{EOMR}$) que inclui:

  • Um termo de erro de mínimos quadrados para regressão.
  • Um termo de metrização (regularização do tipo variância) para garantir a estabilidade da projeção da variedade.
  • Termos de regularização entrópica ($\phi_1$ para as probabilidades do modelo $\gamma$, e $\phi_2$ para os pesos das características $W$) para impor esparsidade e ausência de viés (princípio da máxima entropia).

• Solução Numérica:
  A otimização é resolvida via um algoritmo de iteração de subespaço. O problema é decomposto em cinco etapas, alternando entre a atualização de variáveis enquanto outras são congeladas:

  1. Projetores de Variedade ($T_k$): Resolvidos via gradiente descendente Riemanniano na variedade de Stiefel.
  2. Vetores de Centróide ($\mu_k$): Resolvidos analiticamente como médias ponderadas pela amostra.
  3. Coeficientes de Regressão ($\tilde{\theta}_k$): Resolvidos analiticamente via equações normais regularizadas.
  4. Probabilidades do Modelo ($\gamma$): Resolvidos analiticamente usando uma função softmax derivada do princípio de Euler-Lagrange.
  5. Pesos das Características ($W$): Resolvidos usando um algoritmo de Gradiente Projetado Sequencial baseado em uma Aproximação de Entropia Rápida (FEA).

• Complexidade:
  O algoritmo exibe escalonamento linear tanto no tempo de iteração quanto na complexidade de memória em relação à dimensão das características $D$ e ao tamanho dos dados $T$ (especificamente $O(KDT)$), desde que a dimensão do subespaço $d \ll D$. Isso contrasta fortemente com o escalonamento quadrático dos métodos baseados em Transformers.

Principais Contribuições

1. Aprendizado Conjunto: A EOMR aprende simultaneamente subconjuntos de características relevantes (via $W$) e subespaços (via $T_k$), unificando redução de dimensionalidade e seleção de características em um único arcabouço probabilístico.
2. Escalabilidade: O método oferece escalonamento computacional e de memória linear, tornando-o adequado para problemas de alta dimensão e poucos dados, onde o aprendizado profundo e os Transformers são inviáveis ou ineficientes.
3. Interpretabilidade e Esparsidade: Ao utilizar a regularização entrópica, a EOMR produz modelos esparsos e ótimos em termos de entropia. Ela identifica o conjunto mínimo de características e parâmetros necessários para descrever a dinâmica do sistema.
4. Robustez no Caos: O método é projetado para lidar com dinâmicas não estacionárias e não lineares sem assumir linearidade global ou estacionariedade, mas pode destilar estruturas autorregressivas simples, causais e fracamente estacionárias quando estas existem.

Resultados Experimentais
O artigo avalia a EOMR em dois benchmarks desafiadores:

1. Sistema Lorenz-96 (F=8 e F=12):

   • Tarefa: Prever a Função Ortogonal Essencial (EOF) principal do sistema em regimes caóticos fortes e muito fortes.
   • Comparação: A EOMR foi comparada contra regressão multilinear regularizada por Lasso, Random Forests/XGBoost, Redes Neurais Profundas e TabPFN v3.0.
   • Descobertas: Métodos de aprendizado profundo e baseados em árvores tiveram desempenho pior do que um preditor "persistente" trivial nos dados de teste, indicando sobreajuste severo. A EOMR alcançou um Erro Quadrático Médio (RMSE) de $\approx 7 \times 10^{-6}$, que é ordens de magnitude inferior aos concorrentes. Além disso, os modelos EOMR foram significativamente mais esparsos (aprox. 100 parâmetros) comparados à complexidade dos dados de treinamento, enquanto outros modelos exigiram parâmetros excedendo o tamanho do conjunto de dados.

2. Modelo Modificado Hasegawa-Wakatani (mHW):

   • Tarefa: Prever a dinâmica de turbulência de ondas de deriva na borda de um plasma de tokamak.
   • Descobertas: Semelhante aos resultados de Lorenz-96, as ferramentas padrão de IA (NN, RF/XGB, TabPFN) falharam nos dados de teste, performando pior que o preditor persistente. A EOMR alcançou um RMSE de $\approx 4.5 \times 10^{-4}$, quase uma ordem de magnitude melhor que o preditor persistente e significativamente melhor que o Lasso MLR.
   • Destilação de Modelo: A EOMR destilou a dinâmica complexa em um modelo Autorregressivo de Média Móvel (ARMA) simples com apenas 8 parâmetros ajustáveis. O modelo identificado foi provado como sendo fracamente estacionário e causal (raízes do polinômio característico fora do círculo unitário).
   • Eficiência: Uma única previsão EOMR levou $\approx 2$ nanossegundos em um laptop padrão, o que é 160 vezes mais rápido que o atraso físico (lag) do processo sendo previsto. Em contraste, o TabPFN levou $\approx 0,02$ segundos (cinco ordens de magnitude mais lento que o atraso físico).

Significância e Alegações
O artigo afirma que a EOMR representa um "divisor de águas" (game-changer) para a modelagem de sistemas caóticos e de dinâmica de fluidos sob restrições de poucos dados. Sua significância reside em:

• Mudança de Paradigma: Desafia a tendência de "descida dupla" (double-descent) de aumentar a capacidade e complexidade do modelo, defendendo modelos esparsos, simples e ótimos em termos de entropia que generalizam melhor.
• Utilidade Prática: A eficiência computacional extrema (previsões em escala de nanossegundos) permite a previsão, otimização e controle em tempo real de sistemas caóticos rápidos, o que é atualmente impossível com modelos pesados baseados em Transformers.
• Robustez: Demonstra que, para classes específicas de sistemas complexos, o "melhor" modelo não é o mais complexo, mas sim aquele que identifica corretamente a estrutura de baixa dimensão e esparsa subjacente, evitando as armadilhas de memorização da IA faminta por dados.

O autor conclui que a EOMR fornece uma alternativa robusta, interpretável e computacionalmente viável às ferramentas de IA de última geração atuais para regressão em ambientes não estacionários, não lineares e caóticos.