💻 computer science

Implicit Neural Representations: A Signal Processing Perspective

Cet article examine les représentations neuronales implicites sous l'angle du traitement du signal, en retraçant leur évolution depuis les réseaux basés sur des coordonnées jusqu'aux architectures avancées pour offrir un cadre unifié de modélisation continue des signaux et en soulignant leurs applications ainsi que les défis théoriques persistants.

Auteurs originaux : Dhananjaya Jayasundara, Vishal M. Patel

Publié 2026-04-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dhananjaya Jayasundara, Vishal M. Patel

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de décrire un tableau magnifique à quelqu'un qui ne l'a jamais vu.

L'approche traditionnelle (les pixels) serait comme donner une liste de coordonnées : "Au point (10, 10), mettez du rouge. Au point (11, 10), mettez du bleu." C'est précis, mais si vous voulez agrandir l'image, vous devez inventer de nouveaux points entre ceux qui existent, ce qui crée souvent des effets de "blocs" ou de flou. C'est comme essayer de dessiner une courbe parfaite en utilisant uniquement des carrés de Lego.

L'approche de ce papier (les INR) est différente. Au lieu de donner une liste de points, on donne à l'ordinateur une recette secrète (une fonction mathématique apprise par un réseau de neurones). Cette recette dit : "Peu importe où vous regardez sur le tableau, voici comment calculer la couleur exacte."

Voici une explication simple de ce papier, imagée comme une histoire de cuisine et de magie :

1. Le Concept de Base : La Recette vs. Le Plat

Dans le monde classique, une image est un plat cuisiné (une grille de pixels). Si vous voulez le manger plus gros, vous devez le recouper, ce qui gâche la texture.
Les Représentations Neuronales Implicites (INR) sont comme la recette du plat.

Vous n'avez pas besoin de stocker chaque grain de sel. Vous stockez la recette (les poids du réseau de neurones).
Si vous voulez voir une partie du plat en très gros plan, vous utilisez simplement la recette pour calculer ce qui se trouve à cet endroit précis. La recette reste la même, mais le résultat est toujours net, aussi gros que vous le vouliez. C'est comme si l'image était infiniment lisse, comme une peinture à l'huile, et non pas comme une mosaïque.

2. Le Problème : Le "Biais Spectral" (Le Chef qui n'aime pas les épices)

Les auteurs expliquent un problème drôle : les réseaux de neurones classiques sont comme des chefs timides. Ils adorent les saveurs douces et lisses (les basses fréquences, comme un ciel bleu), mais ils ont du mal à comprendre les épices piquantes et les détails complexes (les hautes fréquences, comme les plumes d'un oiseau ou les cheveux).
Si on laisse un chef timide cuisiner seul, le plat sera lisse, mais sans caractère.

3. Les Solutions : Comment forcer le chef à être précis ?

Le papier passe en revue toutes les astuces que les chercheurs ont inventées pour aider ces "chefs" à mieux cuisiner les détails :

L'Encodage de Position (La carte au trésor) : Au lieu de donner juste la coordonnée "X", on donne au chef une carte avec des motifs complexes (des ondes sinusoïdales). Cela l'aide à voir les détails fins dès le début.
Les Activations Périodiques (Le chef qui aime les vagues) : On remplace les ingrédients classiques par des ingrédients qui oscillent naturellement (comme des ondes sinusoïdales). Cela force le réseau à comprendre les motifs répétitifs et les détails fins. C'est comme donner au chef un tamis spécial pour les épices.
Les Ondelettes (Le chef local) : Parfois, on veut des détails précis ici, mais pas là-bas. Les nouvelles méthodes utilisent des ingrédients qui sont à la fois ondulants et localisés (comme des ondelettes). C'est comme avoir un pinceau fin pour les yeux et un gros pinceau pour le ciel, le tout dans le même tube de peinture.
L'Adaptation (Le chef qui apprend) : Au lieu d'avoir une seule recette pour tout, on apprend à la recette à changer selon l'image. Si l'image est une forêt, la recette s'adapte aux feuilles ; si c'est une peau, elle s'adapte aux pores.

4. Pourquoi c'est utile ? (Les Applications Magiques)

Le papier montre que cette approche change tout dans plusieurs domaines :

La Compression (Le coffre-fort magique) : Au lieu d'envoyer une photo de 10 Mo, on envoie juste la petite recette (quelques kilo-octets). Le destinataire peut reconstruire la photo en haute définition n'importe où, n'importe quand. C'est comme envoyer une partition de musique au lieu d'un fichier MP3.
La Médecine et le Radar (Voir l'invisible) : En médecine, les scanners ne voient pas tout (ils ont des trous). L'INR agit comme un détective qui devine ce qu'il y a entre les lignes en utilisant la "recette" de l'anatomie humaine. Il peut reconstruire un organe complet à partir de quelques coupes floues.
Le Cinéma et les Jeux Vidéo (Le monde infini) : Pour créer des mondes 3D (comme dans NeRF), on ne stocke pas des cubes. On stocke une fonction qui dit "si vous regardez ici, vous voyez ceci". Cela permet de tourner la caméra à l'infini sans jamais voir de pixels, comme dans un rêve.
La Qualité d'Image (Le critique d'art) : Au lieu de comparer pixel par pixel (ce qui est bête), on compare les "recettes". Si deux images ont des recettes très différentes, on sait qu'elles sont de mauvaise qualité, même si les pixels semblent proches.

En Résumé

Ce papier dit essentiellement : "Arrêtons de penser en grille de pixels et commençons à penser en fonctions continues."

C'est un changement de paradigme. Au lieu de stocker des données brutes, nous apprenons à stocker la structure et la logique des données. C'est comme passer de la photographie argentique (une image fixe) à la réalité virtuelle (un monde que l'on peut explorer sous tous les angles).

Les auteurs nous disent que l'avenir du traitement du signal ne sera pas de faire des grilles plus fines, mais de créer des recettes plus intelligentes capables de décrire le monde de manière fluide, précise et infiniment adaptable.

1. Problématique et Contexte

Traditionnellement, les signaux (images, audio, vidéo, données volumétriques) sont représentés par des échantillons discrets sur des grilles fixes (pixels, voxels, échantillons temporels). Bien que cette approche ait été extrêmement réussie pour le stockage et la compression, elle présente des limites fondamentales pour de nombreuses tâches de traitement du signal qui sont intrinsèquement continues :

Limites de la discrétisation : Des tâches comme l'interpolation, la super-résolution, la déformation géométrique et la reconstruction inverse nécessitent de raisonner sur des valeurs entre les échantillons ou au-delà du domaine observé.
Artéfacts de la grille : Dans les approches conventionnelles, la continuité est introduite a posteriori via des noyaux d'interpolation ou des modèles de régularisation, mais la représentation elle-même reste liée à une grille fixe.
Complexité non uniforme : Les signaux naturels contiennent à la fois des régions lisses et des structures à haute fréquence (bords, textures), ce que les représentations globales ou les grilles fixes gèrent mal sans compromis sur la mémoire ou la précision.

L'article propose de passer d'une vision basée sur des échantillons à une vision basée sur des fonctions continues, où le signal est modélisé directement par un réseau de neurones.

2. Méthodologie et Fondements Théoriques

L'article adopte une perspective de traitement du signal pour analyser les Représentations Neuronales Implicites (INR). Au lieu de voir le réseau comme un simple prédicteur, l'INR est défini comme la représentation du signal elle-même.

A. Formulation Mathématique

Un INR est modélisé comme une fonction paramétrique continue :
$f_\theta : \Omega \subset \mathbb{R}^d \to \mathbb{R}^c$

$\Omega$ : Le domaine du signal (ex: coordonnées spatiales $x \in \mathbb{R}^2$ pour les images, spatio-temporelles pour la vidéo).
$c$ : Le nombre de canaux de sortie (ex: RGB).
$\theta$ : Les paramètres du réseau (poids et biais) qui encodent implicitement le signal.
Apprentissage : Le signal est appris en minimisant une fonction de perte entre les valeurs prédites $f_\theta(x_i)$ et les mesures observées $y_i$ . Contrairement à l'apprentissage supervisé classique, le réseau est le signal, pas un classifieur appliqué à un signal.

B. Perspective du Traitement du Signal

Les auteurs analysent les INR à travers trois lentilles principales :

Comportement Spectral (Spectral Bias) : Les réseaux de neurones standards (avec des activations comme ReLU) ont une forte tendance à apprendre les composantes basses fréquences d'abord, négligeant les détails fins. C'est un biais d'approximation inhérent.
Échantillonnage et Reconstruction : Les INR sont liés à la théorie de l'approximation et de l'échantillonnage (théorème de Shannon, bases de Riesz). La question centrale est de savoir comment les activations et les encodages de coordonnées définissent l'espace d'approximation.
Représentations Multiscales : Pour capturer la complexité non uniforme des signaux naturels, les architectures doivent intégrer des mécanismes d'adaptation locale et multi-résolution.

C. Évolution des Architectures pour Contrer le Biais Spectral

L'article retrace l'évolution des INR pour améliorer la fidélité des hautes fréquences :

Encodage de Position (PE) : Projeter les coordonnées d'entrée dans un espace de haute dimension via des sinus/cosinus (Random Fourier Features) pour fournir au réseau des composantes fréquentielles dès l'entrée.
Activations Périodiques (SIREN) : Remplacer les non-linéarités standards par des fonctions sinusoïdales ( $\sin(\omega x)$ ). Cela permet de représenter naturellement les oscillations et de calculer analytiquement les dérivées (essentiel pour les contraintes physiques).
Localisation Spatiale (WIRE) : Utiliser des ondelettes (ex: Gabor) qui combinent oscillation et localisation spatiale, évitant ainsi les artefacts globaux des sinus purs.
Adaptativité Fréquentielle (FINER, MIRE) : Introduire des activations dont la fréquence varie selon l'entrée ou sélectionner dynamiquement les fonctions d'activation par couche pour s'adapter au signal spécifique.
Reparamétrisation et Bases Apprenables : Utiliser des techniques comme la reparamétrisation de Fourier ou l'apprentissage de l'activation elle-même (SL2A-INR) pour ajuster l'espace d'approximation.

D. Architectures Structurées et Efficacité

Pour gérer la complexité et l'échelle, des structures hiérarchiques ont été développées :

Pyramides de Laplace (MINER) : Décomposition du signal en résidus à différentes échelles.
Décomposition Spatiale (ACORN, Instant-NGP) : Utilisation de grilles de caractéristiques (hash grids) et d'arbres (quadtree/octree) pour allouer la capacité computationnelle uniquement là où le signal est complexe.

3. Contributions Clés

Unification des Modalités : L'article démontre que le même cadre fonctionnel (INR) peut représenter des images, de l'audio, de la vidéo, de la géométrie 3D (SDF, occupancy) et des données hyperspectrales, simplement en changeant le domaine d'entrée et la dimension de sortie.
Analyse Spectrale Approfondie : Une taxonomie claire des méthodes d'activation et d'encodage, expliquant comment elles modifient l'espace d'approximation et la capacité à capturer les hautes fréquences.
Différentiation Analytique : Mise en avant de la capacité unique des INR à calculer des dérivées (gradients, Laplacien) de manière exacte via la différenciation automatique, ce qui est crucial pour les problèmes inverses et la physique.
Applications Transversales : Démonstration de l'efficacité des INR dans des domaines variés :
- Imagerie Médicale : Reconstruction 3D à partir de coupes éparses, registration de champs de déformation continus.
- Radar (SAR) : Modélisation de surfaces de diffusion continues plutôt que de grilles de voxels, réduisant les artefacts d'escalier.
- Compression : Transmission des poids du réseau (ou d'un code latent) plutôt que des pixels, permettant une décompression à n'importe quelle résolution.
- Synthèse de Scènes (NeRF) : Modélisation de champs de rayonnement continus pour la synthèse de nouvelles vues.
- Évaluation de Qualité (IQA) : Utilisation de la sensibilité des paramètres de l'INR pour détecter la dégradation perceptuelle.

4. Résultats et Performances

Bien que l'article soit une revue analytique plutôt qu'une présentation de résultats expérimentaux bruts, il synthétise les preuves de performance suivantes :

Fidélité des Hautes Fréquences : Les modèles basés sur SIREN et WIRE surpassent nettement les MLP standards (ReLU) pour la reconstruction de détails fins (textures, bords nets) et la précision des dérivées.
Efficacité Computationnelle : Les architectures comme Instant-NGP permettent une reconstruction rapide de scènes complexes avec un nombre de paramètres réduit grâce aux grilles de caractéristiques.
Robustesse aux Données Éparses : Dans les problèmes inverses (tomographie, SAR, reconstruction MRI), les INR régularisés par des priors géométriques continus (SDF) produisent des reconstructions plus propres et moins bruitées que les méthodes basées sur des grilles fixes.
Flexibilité de Résolution : Les INR permettent une super-résolution et un échantillonnage arbitraire sans perte de qualité, car le signal est continu par définition.

5. Signification et Perspectives

Signification :
Cet article établit que les INR ne sont pas simplement une nouvelle architecture de réseau de neurones, mais une extension continue et apprise du traitement du signal. Ils réconcilient l'approximation non linéaire avec les principes classiques de l'analyse harmonique et de la théorie de l'échantillonnage. Le passage d'une représentation discrète à une représentation fonctionnelle change la nature même de ce qui est modélisé : on ne stocke plus des valeurs, on apprend une loi de génération continue.

Défis Ouverts et Directions Futures :

Compréhension Théorique : Il reste à mieux comprendre les conditions sous lesquelles un INR garantit une reconstruction stable (liens avec les bases de Riesz, densité d'échantillonnage).
Géométrie de l'Espace des Poids : La relation entre la similarité des signaux et la proximité dans l'espace des paramètres $\theta$ n'est pas encore totalement élucidée.
Évolutivité et Généralisation : Dépasser l'optimisation "par instance" (un réseau par image) vers des modèles méta-appris ou amortisés capables de généraliser à de nouvelles scènes ou signaux sans réentraînement complet.
Intégration Physique et Incertitude : Développer des INR qui intègrent strictement les contraintes physiques (PDE) et fournissent des estimations d'incertitude fiables pour des applications critiques (médical, robotique).

En conclusion, les INRs représentent un paradigme puissant où la conception architecturale et le choix de représentation sont directement guidés par la structure spectrale et spatiale du signal, offrant une voie prometteuse pour l'avenir du traitement du signal et de l'inférence visuelle.