💻 computer science

Predicting Functions, Not Features: KANs with Function-Space Joint-Embedding Predictive Learning for Medical Image Segmentation

Cet article introduit le Function-Space Joint-Embedding Predictive Learning (FS-JEPA), un nouveau cadre qui améliore les réseaux de Kolmogorov–Arnold (KANs) pour la segmentation d'images médicales en prédisant des signatures multi-rayons structurées des fonctions de bord individuelles d'une manière auto-supervisée et masquée, atteignant ainsi des performances de pointe sur cinq bancs d'essai.

Auteurs originaux : Yungeng Liu, Xuanzi Fang, Yuge Zhang, Shuqi Ren, Haijin Zeng, Yongyong Chen

Publié 2026-08-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yungeng Liu, Xuanzi Fang, Yuge Zhang, Shuqi Ren, Haijin Zeng, Yongyong Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à peindre un cœur à partir d'une radiographie. C'est le monde de la segmentation d'images médicales, une branche de l'intelligence artificielle où les ordinateurs apprennent à tracer des contours précis autour des organes, des tumeurs ou des tissus dans des scanners médicaux. C'est un travail délicat car les images médicales sont souvent floues, les limites entre les tissus sains et malades sont diffuses, et le robot doit être incroyablement précis pour aider les médecins.

Pour ce faire, l'IA moderne utilise des « réseaux de neurones », qui sont comme de gigantesques toiles de connexions mathématiques. Pendant longtemps, ces réseaux utilisaient des règles fixes (comme un interrupteur qui est toujours sur ON ou OFF) pour traiter l'information. Mais un type de réseau plus récent et plus sophistiqué, appelé Réseau Kolmogorov–Arnold (KAN), est arrivé. Au lieu d'utiliser des règles fixes, les KAN utilisent des « fonctions apprenables » sur chaque connexion. Pensez-y de cette façon : dans un réseau normal, chaque fil est un tuyau rigide. Dans un KAN, chaque fil est un élastique extensible et changeant de forme que le réseau peut ajuster pour qu'il soit ondulé, droit ou courbé, selon ses besoins. La grande question que se posent les chercheurs est la suivante : comment apprendre à ces élastiques à s'étirer de la manière parfaite ?

C'est là qu'intervient une nouvelle étude. Les chercheurs ont découvert que, bien que les KAN soient puissants, la manière standard de les entraîner revient un peu à juger un musicien uniquement par le son final de tout l'orchestre, sans jamais écouter les violonistes individuellement. Ils ont réalisé que les « élastiques » (les fonctions) ne recevaient pas assez de retours spécifiques sur leur comportement avant que leurs sons ne soient mélangés. Pour corriger cela, ils ont inventé une nouvelle astuce d'entraînement appelée FS-JEPA. Au lieu de simplement regarder le résultat final, ils ont fait en sorte que l'IA prédise la « forme » du comportement de chaque élastique à l'avance. En testant cela sur cinq jeux de données d'images médicales différents, ils ont montré que cette méthode permet à l'IA de tracer des contours beaucoup plus nets et précis que les précédentes méthodes basées sur les KAN, améliorant le score de précision moyen de 2,25 points de pourcentage.

Le Problème : L'« Orchestre » vs le « Soliste »

Plongeons dans la mécanique. Dans un KAN standard, le réseau est composé de couches. Chaque couche prend des entrées et les fait passer par ces fonctions spéciales en forme d'« élastique » pour créer des sorties. Le problème est que le réseau est généralement entraîné en regardant la sortie finale — la chanson de l'« orchestre ». Si la chanson sonne bien, le réseau reçoit une étoile d'or. Si elle sonne mal, il reçoit un feu rouge.

Mais voici le piège : de nombreuses combinaisons différentes d'élastiques peuvent produire la même chanson finale. Peut-être qu'un élastique est trop étiré, mais qu'un autre est juste assez compressé pour compenser. Le réseau reçoit l'étoile d'or, mais les élastiques individuels n'apprennent jamais pourquoi ils ont été étirés de cette façon. Ils sont laissés à tâtons, sans cible claire pour leur propre comportement. C'est comme un chef d'orchestre qui dirait à un violoniste : « La musique sonne bien », sans jamais lui dire si sa note spécifique était juste.

La Solution : Prédire la « Forme » de l'Élastique

Les auteurs de ce papier, menés par Yungeng Liu et Xuanzi Fang, ont décidé de changer les règles du jeu. Ils ont demandé : « Et si nous pouvions apprendre à l'IA à prédire le comportement de chaque élastique avant qu'il ne soit mélangé à la chanson finale ? »

Ils ont créé un système appelé Function-Space Joint-Embedding Predictive Learning (FS-JEPA). Voici comment il fonctionne, en utilisant une analogie ludique :

Imaginez que vous avez un élastique magique (une fonction d'arête KAN). Dans l'ancienne méthode, on ne regardait l'élastique que lorsqu'il était étiré en un point spécifique. Mais un élastique peut se comporter très différemment juste un tout petit peu à gauche ou à droite de ce point. Il peut être rigide à cet endroit, ou au contraire, super extensible.

La nouvelle méthode, FS-JEPA, ne regarde pas seulement un point. Elle demande à l'IA de prédire une « signature multi-rayon ». Considérez cela comme la prise d'un instantané de la forme de l'élastique, non pas seulement au centre, mais en six points différents autour de lui (comme un petit halo de mesures). Cette « signature » indique à l'IA exactement comment l'élastique se comporte localement.

Le processus d'entraînement fonctionne comme un jeu de « Devine la Forme » :

La Branche en Ligne Masquée (Masked Online Branch) : L'IA se voit une version « masquée » du comportement de l'élastique (certaines parties sont cachées). Elle doit deviner la « signature » complète (la forme aux six points).
La Branche Cible (Target Branch) : Une version « enseignante » de l'IA (qui évolue lentement et régulièrement, comme un mentor calme) observe l'élastique complet, non masqué, et génère la signature correcte.
La Correspondance (The Match) : L'IA étudiante essaie de correspondre à la signature de l'enseignant. Si elle réussit à deviner la forme, elle apprend.

Crucialement, l'IA ne se contente pas de deviner la forme ; elle garde également une trace de quel élastique elle est en train d'observer. Comme il existe des milliers d'élastiques, le système utilise des « coordonnées » pour s'assurer que l'étudiant devine la forme du même élastique que l'enseignant montre. Cela garantit que l'apprentissage est précis et non confondu.

Les Résultats : Des Contours plus Nets, de Meilleurs Scores

Les chercheurs ont testé cette nouvelle méthode sur cinq jeux de données d'images médicales, incluant des images d'échographie de lésions mammaires, des scanners de la thyroïde et des images d'histologie de glandes. Ils ont comparé leur méthode FS-JEPA aux meilleurs modèles basés sur les KAN existants et à d'autres modèles d'IA médicale standards.

Les résultats étaient clairs :

Meilleure Précision : La méthode FS-JEPA a obtenu le score Dice moyen le plus élevé de 83,37 % et un IoU de 75,04 % sur l'ensemble des cinq jeux de données.
Battre la Compétition : Elle a surpassé la méthode basée sur les KAN la plus performante (UUEKAN) de +2,25 points de pourcentage en score Dice.
Aucun Coût Supplémentaire : Le plus beau est que cet « apprentissage prédictif » ne se produit que pendant l'entraînement. Une fois l'IA entraînée, les parties de « devinettes » supplémentaires sont supprimées. Le modèle final a la même taille et la même vitesse que l'original, mais il est plus intelligent parce qu'il a acquis de meilleures habitudes durant son entraînement.

Pourquoi cela compte

Le papier suggère qu'en déplaçant l'objectif d'apprentissage du son final de l'« orchestre » vers la « forme » spécifique de chaque instrument, nous pouvons entraîner ces réseaux flexibles de manière beaucoup plus efficace. Les auteurs ont constaté que prédire un seul point ne suffisait pas ; l'IA avait besoin de voir les « variations locales » (la signature multi-rayon) pour véritablement comprendre la fonction.

Dans les expériences, ils ont écarté d'autres idées, comme prédire simplement la caractéristique finale ou prédire une réponse unique de l'élastique. Ces méthodes n'ont pas aussi bien fonctionné, suggérant que capturer le comportement local de la fonction est la clé pour débloquer tout le potentiel des KAN.

En fin de compte, cette recherche montre que nous n'avons pas besoin de rendre les modèles d'IA médicale plus gros ou plus complexes pour obtenir de meilleurs résultats. Au lieu de cela, en changeant la façon dont nous les enseignons — en leur demandant de prédire la forme détaillée de leurs propres fonctions internes — nous pouvons les aider à tracer des contours plus nets et plus précis autour de ce qui compte le plus en médecine.

Résumé Technique : Prédire des Fonctions, pas des Caractéristiques – Les KAN avec l'Apprentissage Prédictif par Encastrement Conjoint dans l'Espace des Fonctions

Énoncé du Problème

La segmentation d'images médicales est confrontée à des défis tels qu'un faible contraste, des limites ambiguës et de grandes variations d'apparence. Bien que les architectures encodeur-décodeur (par exemple, les variantes de U-Net) traitent ces problèmes via une fusion multi-échelle, elles reposent sur des poids scalaires et des activations fixes, laissant les transformations non linéaires définies de manière implicite.

Les réseaux Kolmogorov–Arnold (KAN) offrent une représentation fonctionnelle explicite en paramétrant les arêtes du réseau comme des fonctions univariées apprenables ( $\phi_{j,i}$ ). Cependant, les modèles de segmentation existants basés sur les KAN (par exemple, U-KAN) n'optimisent ces fonctions d'arête qu'à travers des objectifs définis après l'agrégation des arêtes. Cela crée deux limitations primaires :

Absence de Cibles Pré-Agrégation Explicites : La supervision contraint la somme des réponses entrantes des arêtes, permettant à différentes configurations de fonctions d'arête de produire des sorties de nœuds identiques. Par conséquent, les fonctions d'arête individuelles manquent d'une cible d'apprentissage explicite avant l'agrégation.
Caractérisation Insuffisante du Comportement Local : Lors d'une passe avant (forward pass), une fonction n'est évaluée qu'en un seul point d'ancrage dépendant de l'entrée. Des fonctions ayant des réponses identiques en ce point peuvent présenter des comportements locaux différents à proximité, pourtant ces variations restent implicitement contraintes par la tâche en aval.

Les méthodes existantes de JEPA (Joint-Embedding Predictive Learning) opèrent sur des plongements (embeddings) de caractéristiques, de jetons (tokens) ou d'images, mais ne traitent pas les fonctions neurales apprenables comme des cibles de prédiction. Étendre le JEPA à l'espace fonctionnel des KAN est non trivial car une réponse d'arête isolée ne peut caractériser le comportement local, et les arêtes échantillonnées doivent rester explicitement alignées entre les branches.

Méthodologie : FS-JEPA

Les auteurs proposent le FS-JEPA (Function-Space Joint-Embedding Predictive Learning), un cadre qui déplace l'apprentissage prédictif dans l'espace des fonctions pré-agrégation des KAN.

Cadre Fondamental

L'architecture consiste en un réseau de segmentation KAN standard en forme de U et une branche prédictive utilisée uniquement lors de l'entraînement.

Branche Cible (Target Branch) : Une branche EMA (Exponential Moving Average) à contexte complet génère des signatures cibles.
Branche en Ligne (Online Branch) : Une branche masquée reçoit une séquence de jetons partiellement masquée et prédit les signatures cibles.
Correspondance d'Arêtes : Les deux branches partagent les mêmes indices d'arêtes échantillonnés pour garantir que les prédictions correspondent aux mêmes fonctions d'arête d'entrée-sortie.

Composants Clés

1. Échantillonnage et Sélection d'Arêtes
Pour éviter le coût prohibitif du calcul des réponses pour toutes les $O(BN d_{in} d_{out})$ arêtes, le cadre échantillonne aléatoirement $K$ paires d'arêtes entrée-sortie. Un opérateur de sélection d'arêtes ( $\Phi_S$ ) évalue uniquement ces arêtes spécifiques en collectant leurs paramètres de spline et leurs grilles de nœuds (knots), réduisant les coûts d'activation auxiliaires à $O(BNK)$.

2. Signature de Fonction Multi-Rayon
Au lieu de prédire une réponse unique isolée, la méthode représente chaque fonction d'arête à l'aide d'une signature multi-rayon.

Pour une arête avec une entrée d'ancrage $u$ , un ensemble de décalages locaux $\mathcal{D} = \{-0.10, -0.05, -0.025, 0.025, 0.05, 0.10\}$ est défini.
La signature $s_e$ est le vecteur des évaluations de la fonction à ces décalages : $s_e = [\phi_e(u+\Delta)]_{\Delta \in \mathcal{D}}$ .
Cette représentation structurée capture les variations fonctionnelles locales qu'une évaluation ponctuelle ne peut saisir.

3. Correspondance d'Arêtes Déterministe
Pour résoudre le problème de l'échantillonnage stochastique, les positions source et cible des nœuds d'une arête échantillonnée $(i, j)$ sont encodées sous forme de coordonnées déterministes $(p_i, p_j)$ . Ces coordonnées sont concaténées avec la signature de la fonction et fournies comme conditions au prédicteur de signature, assurant une correspondance cohérente sans paramètres apprenables.

4. Optimisation Conjointe
Le cadre optimise conjointement la perte de segmentation ( $L_{seg}$ ) et la perte prédictive de l'espace des fonctions ( $L_{sig}$ ).

Perte Prédictive : Définie par $L_{sig} = \text{SmoothL1}(\hat{s}_e, s^+_e)$ , où $\hat{s}_e$ est la prédiction de la branche en ligne et $s^+_e$ est la cible de la branche EMA.
Entraînement : La perte totale est $L_{total} = L_{seg} + \lambda_{deep}L_{deep} + \lambda_{sig}\sum L^{(b)}_{sig}$ .
Inférence : Tous les composants prédictifs (branche en ligne, branche EMA, prédicteur de signature) sont supprimés, laissant le chemin de segmentation original inchangé.

Contributions Clés

JEPA dans l'Espace des Fonctions : La formulation de l'apprentissage prédictif par encastrement conjoint dans l'espace des fonctions pré-agrégation natif des KAN, déplaçant la cible de prédiction des plongements de caractéristiques vers des signatures de fonctions d'arêtes structurées.
Représentation par Signature Multi-Rayon : L'introduction d'une représentation qui capture le comportement fonctionnel local des fonctions d'arêtes KAN, fournissant une cible de prédiction efficace pour l'apprentissage dans l'espace des fonctions.
Cadre Prédictif d'Entraînement Uniquement : Une méthode qui apprend conjointement les signatures de fonctions d'arêtes KAN et les représentations de segmentation à partir d'une initialisation aléatoire tout en maintenant la correspondance des arêtes, sans paramètres ni coût computationnel supplémentaires lors de l'inférence.

Résultats Expérimentaux

La méthode a été évaluée sur cinq benchmarks de segmentation d'images médicales : BUSI (échographie), DDTI (échographie), TN3K (thyroïde), CVC-ClinicDB (polypes) et GlaS (glandes).

Performance : FS-JEPA a atteint le score Dice moyen le plus élevé (83,37 %) et l'IoU (75,04 %) sur les cinq jeux de données.
Comparaison : Il a surpassé la méthode basée sur KAN la plus forte (UUEKAN) de +2,25 points de pourcentage en Dice.
Ablation :
- Comparé à un échafaudage (scaffold) apparié entraîné sans FS-JEPA, la méthode proposée a amélioré le Dice moyen de 0,85 point de pourcentage.
- L'ablation sur les cibles prédictives a montré que la prédiction de signatures de fonctions d'arêtes multi-rayons (0,7926 Dice) surpasse de manière significative la prédiction de réponses d'arêtes uniques (0,7771 Dice) ou de caractéristiques de jetons/nœuds.
- L'analyse mécaniste a confirmé que FS-JEPA fournit un signal d'apprentissage pré-agrégation explicite qui façonne directement les représentations de fonctions d'arêtes KAN, les rendant sensibles aux variations au niveau de l'arête que la perte de segmentation standard manque.

Signification et Revendications

L'article affirme que FS-JEPA démontre l'efficacité de l'extension de l'apprentissage prédictif au-delà des plongements de caractéristiques conventionnels vers les représentations structurées de fonctions neurales apprenables. En prédisant des signatures de fonctions multi-rayons avant l'agrégation, la méthode permet un apprentissage de représentation direct sur les fonctions d'arêtes KAN. Les auteurs soutiennent que les améliorations de performance proviennent de cette supervision prédictive dans l'espace des fonctions plutôt que d'une augmentation de la capacité du modèle, car le nombre de paramètres lors de l'inférence reste identique à celui de l'échafaudage de base. Le cadre offre un moyen de contraindre explicitement le comportement fonctionnel des arêtes KAN individuelles, répondant à une limitation fondamentale des modèles de vision basés sur les KAN existants.