⚡ electrical engineering

Adaptive Local Frequency Filtering for Fourier-Encoded Implicit Neural Representations

Cet article propose une méthode de filtrage adaptatif local des fréquences pour les représentations neuronales implicites encodées par Fourier, qui améliore la convergence et la qualité de reconstruction des signaux non stationnaires en modulant dynamiquement les composantes fréquentielles selon la position spatiale.

Auteurs originaux : Ligen Shi, Jun Qiu, Yuhang Zheng, Chang Liu

Publié 2026-04-06

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ligen Shi, Jun Qiu, Yuhang Zheng, Chang Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de dessiner une image parfaite à partir de quelques points de données, comme si vous deviez reconstituer un puzzle complexe ou peindre un tableau en ne voyant que quelques pixels. C'est ce que font les Réseaux Neuronaux Implicites (INR) : ils apprennent à "imaginer" le signal continu (une image, une forme 3D) à partir d'échantillons discrets.

Cependant, il y a un problème avec la méthode traditionnelle, un peu comme si vous utilisiez toujours le même pinceau pour peindre tout le tableau.

Le Problème : Le Pinceau Rigide

Dans les méthodes actuelles (appelées "encodage de Fourier"), le réseau utilise un ensemble fixe de "fréquences" (des motifs de base) pour tout dessiner.

Pour les zones lisses (comme un ciel bleu ou une peau lisse), le réseau a besoin de peu de détails, juste des grandes formes douces.
Pour les zones complexes (comme les cheveux d'un animal, le texte d'une affiche ou les bords d'un bâtiment), le réseau a besoin de détails très fins et précis.

Le problème, c'est que la méthode actuelle applique les mêmes outils partout. C'est comme essayer de peindre un ciel nuageux et des cheveux emmêlés avec exactement le même pinceau, à la même vitesse. Résultat ? Le réseau devient confus, il met trop de temps à apprendre les détails fins, et il gaspille de l'énergie à essayer de dessiner des détails inutiles dans les zones lisses. C'est ce qu'on appelle le "biais spectral".

La Solution : Le Pinceau Intelligent (AL-Filter)

Les auteurs de cet article proposent une solution ingénieuse : un filtre de fréquence local adaptatif.

Imaginez que votre pinceau magique peut changer de forme instantanément selon l'endroit où vous posez la main sur la toile :

Sur le ciel (zone lisse) : Le pinceau devient large et doux. Il ne dessine que les grandes formes (basses fréquences). Il ignore les détails inutiles.
Sur les cheveux (zone complexe) : Le pinceau devient fin et pointu. Il se concentre immédiatement sur les détails précis et les textures (hautes fréquences).

Ce changement est contrôlé par un paramètre spécial, noté $\alpha(\mathbf{x})$ , qui agit comme un interrupteur intelligent pour chaque point de l'image. Ce paramètre apprend tout seul où il faut être doux et où il faut être précis.

Comment ça marche ? (L'analogie du Radio)

Pensez à un poste de radio qui peut recevoir toutes les stations (toutes les fréquences) en même temps.

L'ancienne méthode : Elle laisse toutes les stations allumées partout. Vous entendez de la musique douce (basses fréquences) et du bruit statique (hautes fréquences) mélangés, ce qui rend le son clair difficile à obtenir.
La nouvelle méthode (AL-Filter) : Elle a un bouton de volume intelligent pour chaque fréquence.
- Dans une zone calme, elle baisse le volume des stations "bruyantes" (hautes fréquences) pour ne garder que la musique douce.
- Dans une zone agitée, elle monte le volume des stations "bruyantes" pour capturer chaque détail.

Pourquoi c'est génial ?

Plus rapide : Le réseau n'a pas besoin de chercher des détails là où il n'y en a pas. Il se concentre sur ce qui est important, donc il apprend beaucoup plus vite.
Plus beau : Les images finales sont plus nettes. Les bords sont nets, les textures sont réalistes, et les zones lisses restent douces.
On peut "voir" la pensée du réseau : En regardant la carte du paramètre $\alpha(\mathbf{x})$ , on peut littéralement voir où le réseau a décidé de se concentrer. Si vous regardez la carte, les zones sombres correspondent aux zones lisses, et les zones claires correspondent aux zones complexes. C'est comme voir la "concentration" du cerveau du réseau.

En résumé

Au lieu d'utiliser une approche "taille unique" pour tout dessiner, cette nouvelle méthode donne au réseau la capacité de s'adapter localement. C'est comme passer d'un ouvrier qui utilise toujours le même marteau, à un artisan qui choisit le bon outil (un petit marteau de précision ou un gros maillet) en fonction de la tâche précise qu'il a devant lui à chaque instant.

Les tests montrent que cette méthode reconstruit mieux les images 2D, les formes 3D (comme des statues) et même les images partiellement effacées, le tout plus rapidement que les méthodes précédentes.

1. Problématique

Les Représentations Neuronales Implicites (INR) sont devenues un cadre standard pour modéliser des signaux continus à partir d'échantillons discrets (images, formes 3D, champs de lumière). Cependant, les INR standard souffrent d'un biais spectral : elles apprennent rapidement les composantes de basse fréquence mais peinent à converger vers les détails de haute fréquence (bords nets, textures fines).

Pour atténuer ce problème, les méthodes actuelles utilisent des encodages de caractéristiques de Fourier (Fourier Feature Mappings) qui projettent les coordonnées d'entrée dans un espace de plus grande dimension. Bien que cela améliore la capacité à représenter les hautes fréquences, ces encodages reposent sur un ensemble fixe de fréquences appliqué uniformément sur tout le domaine spatial.

Le défi principal réside dans le fait que les signaux naturels sont non stationnaires :

Les régions lisses (ciel, fond) sont dominées par les basses fréquences.
Les régions complexes (bords, textures, détails fins) nécessitent des réponses fortes en hautes fréquences.
L'application d'une même base de Fourier partout est sous-optimale car elle introduit des composantes redondantes dans les zones simples et ne s'adapte pas aux variations locales de la demande fréquentielle, conduisant souvent à une convergence lente et à des artefacts.

2. Méthodologie Proposée

Les auteurs proposent une méthode de filtrage adaptatif de fréquence locale (AL-Filter) pour les INR encodées en Fourier. L'idée centrale est de moduler dynamiquement la réponse fréquentielle en fonction de la position spatiale.

A. Architecture et Fonctionnement

Paramètre Spatial Adaptatif $\alpha(\mathbf{x})$ : Au lieu d'utiliser un encodage fixe, le modèle introduit un paramètre apprenable $\alpha(\mathbf{x})$ qui varie spatialement. Ce paramètre est stocké dans une gride apprenable (learnable grid) et interpolé linéairement pour assurer la régularité spatiale.
Filtrage par Canal : Le vecteur de caractéristiques de Fourier encodées $\gamma(\mathbf{x})$ est modulé élément par élément par une fonction de filtre $H_B(\alpha(\mathbf{x}))$ .
Formulation du Filtre : Le filtre est conçu comme la différence de deux fonctions sigmoïdes, créant une réponse en bande passante lisse et contrôlable :
$H_c^B(\alpha(\mathbf{x})) = \sigma_s\left(\kappa\left(c - \alpha(\mathbf{x}) + \frac{B}{2}\right)\right) - \sigma_s\left(\kappa\left(c - \alpha(\mathbf{x}) - \frac{B}{2}\right)\right)$
Où :
- $c$ est l'index du canal de fréquence.
- $\alpha(\mathbf{x})$ contrôle le centre de la bande passante.
- $B$ contrôle la bande passante (largeur).
- $\kappa$ contrôle la netteté de la transition.

B. Comportement Adaptatif

Selon la valeur de $\alpha(\mathbf{x})$ à une position donnée, le filtre peut se comporter comme :

Un filtre passe-bas (pour les zones lisses) en activant les canaux de basse fréquence.
Un filtre passe-bande (pour les textures intermédiaires).
Un filtre passe-haut (pour les bords nets et détails fins) en activant les canaux de haute fréquence.

C. Analyse par le Noyau Tangent Neuronale (NTK)

Les auteurs analysent l'impact de ce filtre sous l'angle du Neural Tangent Kernel (NTK). Ils démontrent que le filtre adaptatif repondère le spectre du noyau effectif localement.

L'équation (18) montre que la valeur propre effective locale $\lambda_j^{AL}(\mathbf{x})$ est égale à la valeur propre originale $\lambda_j$ multipliée par le carré de la réponse agrégée du filtre $\bar{H}_j(\alpha(\mathbf{x}))^2$ .
Cela signifie que le filtre réduit le spectre du noyau dans les zones où les hautes fréquences ne sont pas nécessaires (accélérant la convergence sur les basses fréquences) et augmente l'importance des hautes fréquences là où les détails sont critiques, atténuant ainsi le biais spectral local.

3. Contributions Clés

Filtrage Adaptatif Local : Introduction d'un mécanisme explicite permettant une modulation fréquentielle spatialement variable via un paramètre $\alpha(\mathbf{x})$ apprenable, résolvant le problème de l'inadéquation des bases de Fourier fixes pour les signaux non stationnaires.
Interprétation NTK : Fourniture d'une analyse théorique basée sur le NTK expliquant comment le filtre redéfinit le spectre du noyau effectif, offrant une justification mathématique de l'amélioration de la dynamique d'apprentissage.
Visualisation Interprétable : La carte apprise de $\alpha(\mathbf{x})$ sert de visualisation intuitive des préférences fréquentielles locales du modèle, révélant comment le réseau s'adapte à la structure du signal (ex: valeurs élevées sur les bords, faibles sur les zones lisses).

4. Résultats Expérimentaux

Les expériences ont été menées sur trois tâches principales : ajustement d'images 2D, représentation de formes 3D (champs de distance signée - SDF) et reconstruction à partir de données clairsemées (inpainting).

Ajustement d'Images 2D :
- Sur le jeu de données NTIRE 2017, la méthode proposée (notamment la variante avec activation Sinus) a surpassé les bases de référence (PE-MLP, SIREN, MFN, DINER) en termes de PSNR (46.27 dB contre 38.67 dB pour DINER) et de SSIM.
- La convergence est plus rapide dès les premières itérations.
- Visuellement, la méthode préserve mieux les détails textuels et les bords nets sans introduire d'artefacts de haute fréquence.
Représentation 3D (SDF) :
- Sur des modèles complexes (Armadillo, Dragon, Lucy), la méthode obtient les meilleurs scores moyens de Chamfer Distance et d'IoU (Intersection over Union).
- Elle parvient à capturer à la fois des surfaces lisses et des détails géométriques fins, là où les méthodes concurrentes tendent soit à lisser excessivement les détails, soit à introduire du bruit sur les surfaces lisses.
Reconstruction à Données Clairsemées (Inpainting) :
- Même avec seulement 5% des pixels observés, la méthode reconstruit la structure globale et les détails.
- L'ajout d'une régularisation de variation totale (TV) sur la grille $\alpha(\mathbf{x})$ garantit la régularité spatiale, empêchant le surapprentissage dans les zones manquantes.

5. Signification et Conclusion

Cet article démontre que le contrôle explicite de la fréquence locale est une amélioration pratique et puissante pour les INR encodées en Fourier.

Avantage Principal : La méthode résout le compromis traditionnel entre la capacité à apprendre les hautes fréquences et la stabilité de l'apprentissage des basses fréquences en adaptant dynamiquement ce compromis à la géométrie locale du signal.
Efficacité : Bien qu'elle ajoute une grille de paramètres, la complexité computationnelle reste comparable aux méthodes de Fourier standards, avec un surcoût mémoire minime (un scalaire par point de la grille).
Impact : Les résultats suggèrent que l'adaptation locale des fréquences est une direction prometteuse pour les tâches de reconstruction où les signaux varient spatialement, offrant à la fois de meilleures performances quantitatives et une meilleure interprétabilité du comportement du modèle.

En résumé, cette approche transforme les INR de Fourier d'un outil à réponse globale fixe en un système dynamique capable de "zoomer" sur les fréquences appropriées selon l'endroit où l'on regarde dans le signal.