PIEFS: Physics-Informed Eigenfunction Features with Learnable Scaling

Technische Samenvatting: PIEFS – Physics-Informed Eigenfunction Features met Leerbare Schaling

Probleemstelling
Spectrale methoden worden traditioneel gebruikt om representaties te construeren uit de geometrie van data door gebruik te maken van grafiek-Laplacians of vaste kernels. Deze benaderingen kampen echter met twee primaire knelpunten: de computationele kosten van eigenwaarde-ontbinding schalen met de grootte van de dataset, en het evalueren van features op nieuwe punten vereist doorgaans het opnieuw opbouwen van de grafiek en het spectrum. Bovale bestaan de neurale surrogaten voor operator-eigenproblemen vaak afhankelijk van vaste kernels of handmatig geselecteerde feature-schalingen, wat de aanpasbaarheid aan specifieke taken beperkt. De auteurs stellen een gesuperviseerd framework voor dat afwijkt van het oplossen van vaste, supervisie-onafhankelijke eigenproblemen naar het leren van taak-adaptieve, gladde coördinaten.

Methodologie
De kern van de voorgestelde methode, Physics-Informed Eigenfunction Features with Learnable Scaling (PIEFS), is een gesuperviseerd neuraal representatie-leerframework gebaseerd op een gemodificeerde Dirichlet-energie.

• Doelfunctie: De methode minimaliseert een samengestelde verliesfunctie bestaande uit drie termen:

  1. Gemodificeerde Dirichlet-energie (MDE): Een regularisatieterm die gladheid stimuleert. In tegenstelling tot standaard Dirichlet-energie past deze een leerbare, data-afhankelijke lineaire afbeelding $A(x)$ toe op de input-gradiënten: $\int \|A(x)\nabla \phi(x)\|^2 p(x) dx$.
  2. Empirische Gram-orthogonaliteit: Een strafterm die benaderde orthogonaliteit afdwingt tussen de geleerde coördinatenkaarten $\phi_1, \dots, \phi_K$ op batch-niveau, wat fungeert als een surrogaat voor populatie-niveau $L^2(p)$-orthogonaliteit.
  3. Cross-Entropy Verlies: Een gesuperviseerde term waarbij de coördinatenkaarten dienen als inputs voor een lineaire classifier (logits), wat ervoor zorgt dat de features voorspellend zijn voor de downstream-taak.

• Leerbare Metriek $A(x)$: De matrix $A(x)$ wordt gefactoriseerd als $A(x) = \Lambda(x)U(x)$, waarbij:

  • $\Lambda(x)$ een diagonale schalingmatrix is die anisotrope schaling controleert. Om volumepreservatie te garanderen, is de som van de log-eigenwaarden nul ($\det \Lambda = 1$).
  • $U(x)$ een orthogonale matrix is, geparametriseerd als een gestructureerd product van Givens-rotaties. Dit biedt een parameter-arme, stabiele benadering van de orthogonale groep $SO(d)$ zonder dat dure re-orthogonalisatie-stappen zoals QR-decompositie nodig zijn.

• Trainingsschema: PIEFS maakt gebruik van een sequentiële block-coordinate descent strategie. Coördinatenkaarten worden één voor één getraind (outer loop $k=1 \dots K$). Wanneer kaart $\phi_k$ wordt getraind, zijn de voorgaande kaarten $\phi_{1 \dots k-1}$ bevroren. De gewichten van de verliesfuncties worden dynamisch aangepast: vroeg in de training krijgen de orthogonaliteits- en classificatieverliezen prioriteit; naarmate de residuen kleiner worden, wordt de MDE-penalty benadrukt om de gladheid te verfijnen.

• Inference: Zodra de training voltooid is, is de inference goedkoop en maakt deze gebruik van de geleerde scalaire kaarten en een vaste lineaire readout.

Belangrijkste Bijdragen

1. Formulering van PIEFS: De auteurs formuleren een gesuperviseerde spectrale-stijl representatiemethode die sequentiële coördinatenkaarten, empirische Gram-orthogonaliteit en een gemodificeerde Dirichlet-penalty koppelt met een leerbare metriek.
2. Metriek Varianten: De studie onderzoekt drie specifieke instellingen voor de metriek $A(x)$:
   • OFF: Identiteitsmatrix ($A=I$), gelijkwaardig aan standaard Euclidische Dirichlet-energie.
   • DIAG: Alleen diagonale schaling ($A=\Lambda$), wat volumepreservatie-anisotrope schaling mogelijk maakt.
   • TROTTER: Diagonale schaling na een gestructureerde Givens-rotatie ($A=\Lambda U$), wat het leren van rotationele invariantie introduceert.
3. Uitgebreide Evaluatie: Het framework wordt geëvalueerd over vijf benchmarks (Two Moons, Circles, HTRU2, MNIST, en CIFAR-10 embeddings) tegenover Random Forests (RF), Logistic Regression (LR), PCA+LR, en de unsupervised NeuralEF baseline.

Experimentele Resultaten

• Nietlineaire Scheidbaarheid: Op synthetische datasets zoals "Two Moons", waar lineaire classifiers falen (88,15% accuratesse), bereikt PIEFS bijna perfecte scheiding (99,87%), wat zijn vermogen demonstreert om nietlineaire beslissingsgrenzen te leren.
• Competitieve Prestaties: Op hoog-dimensionale taken (MNIST, CIFAR-10 embeddings) presteren PIEFS-varianten significant beter dan de unsupervised NeuralEF baseline (bijv. 95,41% vs. 82,52% op MNIST met $K=16$).
• Baseline Vergelijking: Op de lineair scheidbare HTRU2-dataset presteert PIEFS vergelijkbaar met RF en LR, wat aangeeft dat het de prestaties niet verslechtert wanneer de ruwe features al informatief zijn.
• Orthogonaliteit: Empirische Gram-matrices tonen benaderde orthonormaliteit (Frobenius-deviatie $\approx 0,23$ op MNIST), consistent met de eindige batch-schatting.
• Impact van de Metriek: Hoewel de TROTTER-variant expressiever is, suggereren de resultaten dat voor hoog-niveau features (bijv. CIFAR-10 embeddings), de extra complexiteit van rotatieschaling niet altijd verbeteringen oplevert ten opzien van de identiteits- of diagonale varianten.

Betekenis en Claims
Het artikel positioneert PIEFS niet als een algemene neurale eigensolver voor vaste fysieke operatoren, maar als een compacte gesuperviseerde spectrale representatiemethode.

• Taak-adaptieve Features: De geleerde coördinaten worden geïnterpreteerd als "taak-adaptieve, Dirichlet-geregulariseerde coördinaten" in plaats van eigenfuncties van een vaste, supervisie-onafhankelijke operator. De inclusie van de cross-entropy term stuurt de spectrale decompositie richting de classificatietaak.
• Efficiëntie: De methode biedt een natuurkundig geïnspireerde gladheid-bias met goedkope inference na training, waardoor het niet nodig is om grafieken opnieuw op te bouwen voor nieuwe datapunten.
• Beperkingen en Toekomstig Werk: De auteurs erkennen bescheiden dat de huidige Givens-rotatieketen geen volledige parametrisatie van $SO(d)$ is, wat de expressiviteit beperkt. Zij identificeren optimalisatiestabiliteit, validatie op expliciete operator-eigenproblemen en rijkere metriek-parametrisaties (bijv. dichte skew-symmetrische generatoren) als primaire richtingen voor toekomstig onderzoek. De methode wordt gepresenteerd als een veelbelovend alternatief voor klassieke spectrale methoden in gesuperviseerde settings, hoewel het niet uniform sterke klassieke baselines zoals Random Forests op alle datasets domineert.