PIEFS: Physics-Informed Eigenfunction Features with Learnable Scaling

Resumo Técnico: PIEFS – Características de Autofunções com Escalonamento Aprendível Informadas pela Física

Enunciado do Problema
Métodos espectrais são tradicionalmente usados para construir representações da geometria de dados utilizando Laplacianos de grafos ou kernels fixos. No entanto, essas abordagens enfrentam dois gargalos principais: o custo computacional da autodecomposição escala com o tamanho do conjunto de dados, e a avaliação de características em novos pontos tipicamente requer a reconstrução do grafo e de seu espectro. Além disso, os surrogados neurais existentes para problemas de autovalores de operadores dependem de kernels fixos ou escalonamentos de características selecionados manualmente, o que limita sua adaptabilidade a tarefas específicas. Os autores propõem um framework supervisionado que se afasta da resolução de problemas de autofunções fixos e independentes de supervisão em direção à aprendizagem de coordenadas suaves e adaptáveis à tarefa.

Metodologia
O núcleo do método proposto, Physics-Informed Eigenfunction Features with Learnable Scaling (PIEFS), é um framework de aprendizagem de representação neural supervisionada baseado em uma energia de Dirichlet modificada.

• Função Objetivo: O método minimiza uma função de perda composta por três termos:

  1. Energia de Dirichlet Modificada (MDE): Um termo de regularização que incentiva a suavidade. Diferente da energia de Dirichlet padrão, ela aplica um mapa linear dependente dos dados $A(x)$ aos gradientes de entrada: $\int \|A(x)\nabla \phi(x)\|^2 p(x) dx$.
  2. Ortogonalidade de Gram Empírica: Um termo de penalidade que impõe ortogonalidade aproximada entre os mapas de coordenadas aprendidos $\phi_1, \dots, \phi_K$ no nível de lote (batch), atuando como um substituto para a ortogonalidade $L^2(p)$ da população.
  3. Perda de Entropia Cruzada: Um termo supervisionado onde os mapas de coordenadas servem como entradas para um classificador linear (logits), garantindo que as características sejam preditivas para a tarefa de jusante (downstream).

• Métrica Aprendível $A(x)$: A matriz $A(x)$ é fatorada como $A(x) = \Lambda(x)U(x)$, onde:

  • $\Lambda(x)$ é uma matriz de escalonamento diagonal que controla o escalonamento anisotrópico. Para garantir a preservação de volume, a soma dos log-autovalores é zero ($\det \Lambda = 1$).
  • $U(x)$ é uma matriz ortogonal parametrizada como um produto estruturado de rotações de Givens. Isso fornece uma aproximação de baixo parâmetro e estável do grupo ortogonal $SO(d)$ sem exigir etapas de reortogonalização dispendiosas, como a decomposição QR.

• Cronograma de Treinamento: O PIEFS emprega uma estratégia sequencial de descida de bloco de coordenadas. Os mapas de coordenadas são treinados um a um (loop externo $k=1 \dots K$). Ao treinar o mapa $\phi_k$, os mapas anteriores $\phi_{1 \dots k-1}$ são congelados. Os pesos da perda são ajustados dinamicamente: no início do treinamento, as perdas de ortogonalidade e classificação são priorizadas; conforme os resíduos diminuem, a penalidade MDE é enfatizada para refinar a suavidade.

• Inferência: Uma vez concluído o treinamento, a inferência é barata, utilizando os mapas escalares aprendidos e uma leitura linear fixa.

Principais Contribuições

1. Formulação do PIEFS: Os autores formulam um método de representação espectral supervisionada que acopla mapas de coordenadas sequenciais, ortogonalidade de Gram empírica e uma penalidade de Dirichlet modificada com uma métrica aprendível.
2. Variantes da Métrica: O estudo investiga três configurações específicas para a métrica $A(x)$:
   • OFF: Matriz identidade ($A=I$), equivalente à energia de Dirichlet euclidiana padrão.
   • DIAG: Apenas escalonamento diagonal ($A=\Lambda$), permitindo escalonamento anisotrópico com preservação de volume.
   • TROTTER: Escalonamento diagonal após uma rotação de Givens estruturada ($A=\Lambda U$), introduzindo a aprendizagem de invariância rotacional.
3. Avaliação Abrangente: O framework é avaliado através de cinco benchmarks (Two Moons, Circles, HTRU2, MNIST e embeddings de CIFAR-10) contra Random Forests (RF), Logistic Regression (LR), PCA+LR e o baseline não supervisionado NeuralEF.

Resultados Experimentais

• Separabilidade Não Linear: Em conjuntos de dados sintéticos como "Two Moons", onde classificadores lineares falham (88,15% de acurácia), o PIEFS alcança separação quase perfeita (99,87%), demonstrando sua capacidade de aprender fronteiras de decisão não lineares.
• Desempenho Competitivo: Em tarefas de alta dimensão (MNIST, embeddings de CIFAR-10), as variantes do PIEFS superam significativamente o baseline não supervisionado NeuralEF (ex: 95,41% vs. 82,52% no MNIST com $K=16$).
• Comparação com Baselines: No conjunto de dados linearmente separável HTRU2, o PIFES apresenta desempenho comparável ao RF e LR, indicando que ele não degrada o desempenho quando as características brutas já são informativas.
• Ortogonalidade: As matrizes de Gram empíricas mostram ortonormalidade aproximada (desvio de Frobenius $\approx 0,23$ no MNIST), consistente com a estimativa de lote finito.
• Impacto da Métrica: Embora a variante TROTTER seja expressiva, os resultados sugerem que, para características de alto nível (ex: embeddings de CIFAR-10), a complexidade adicional do escalonamento de rotação nem sempre traz melhorias sobre as variantes identidade ou diagonal.

Significância e Alegações
O artigo posiciona o PIEFS não como um resolvedor de autovalores neurais de propósito geral para operadores físicos fixos, mas como um método de representação espectral supervisionada compacta.

• Características Adaptáveis à Tarefa: As coordenadas aprendidas são interpretadas como "coordenadas adaptáveis à tarefa e regularizadas por Dirichlet", em vez de autofunções de um operador fixo e independente de supervisão. A inclusão do termo de entropia cruzada enviesa a decomposição espectral para a tarefa de classificação.
• Eficiência: O método oferece um viés de suavidade inspirado na física com inferência de baixo custo após o treinamento, evitando a necessidade de reconstruir grafos para novos pontos de dados.
• Limitações e Trabalho Futuro: Os autores reconhecem modestamente que a atual cadeia de rotação de Givens não é uma parametrização completa de $SO(d)$, limitando a expressividade. Eles identificam a estabilidade de otimização, a validação em problemas de autovalores de operadores explícitos e parametrizações de métrica mais ricas (ex: geradores densos antissimétricos) como direções primárias para pesquisas futuras. O método é apresentado como uma alternativa promissora aos métodos espectrais clássicos em contextos supervisionados, embora não domine uniformemente baselines clássicos fortes como Random Forests em todos os conjuntos de dados.