Inverting Non-Injective Functions with Twin Neural Network Regression

1. Le Problème : L'Inversion de Fonctions Non Injectives

Les problèmes inverses consistent à déduire l'entrée $x$ d'un système à partir d'une sortie observée $y$, où la relation directe $y = f(x)$ est connue. Un défi majeur survient lorsque la fonction $f$ est non injective, c'est-à-dire qu'elle mappe plusieurs entrées distinctes vers la même sortie ($f(x_1) = f(x_2) = y$).

• Limites des méthodes traditionnelles : Les algorithmes de régression classiques (comme les réseaux de neurones standards) échouent dans ce contexte. Lorsqu'ils sont entraînés pour approximer l'inverse, ils sont contraints de moyenner les solutions incompatibles. Cela conduit à des prédictions qui ne correspondent à aucune préimage valide (par exemple, prédire un point intermédiaire entre deux branches d'une fonction), rendant le résultat physiquement ou mathématiquement incorrect.
• Limites des méthodes probabilistes : Les approches probabilistes (comme les réseaux à densité de mélange - MDN) peuvent modéliser la multimodalité, mais elles ne fournissent pas de déterminisme. De nombreuses applications (comme la cinématique inverse en robotique) nécessitent des mappings inverses déterministes, stables, reproductibles et interprétables, compatibles avec des pipelines de contrôle déterministes.

2. Méthodologie : ITNNR (Inverse Twin Neural Network Regression)

L'auteur propose une reformulation naturelle du problème d'apprentissage inverse en une collection de problèmes inverses locaux, résolus par la méthode ITNNR.

Concept Fondamental

Au lieu d'apprendre une fonction inverse globale $x = g(y)$, la méthode apprend à prédire des corrections locales autour de points d'ancrage (anchors) connus.

• Principe de la Régression à Jumeaux (TNNR) : Au lieu de prédire la valeur cible $y$, le réseau apprend la différence entre les cibles de deux points d'entrée : $F(x_i, x_j) = y_i - y_j$.
• Adaptation pour l'Inverse (ITNNR) : Pour l'inversion, le réseau $F$ est entraîné à prédire la différence dans l'espace d'entrée ($\Delta x$) basée sur la différence dans l'espace de sortie ($\Delta y$) et un point d'ancrage connu.
  • Entrées du réseau : $(y_{new}, y_{anchor}, x_{anchor})$
  • Sortie du réseau : $x_{new} - x_{anchor}$
  • Formule de prédiction : $\hat{x}_{new} = F(y_{new}, y_{anchor}, x_{anchor}) + x_{anchor}$

Mécanisme de Sélection de Branche

La clé de la méthode réside dans l'utilisation de la recherche des k-plus proches voisins (k-NN) :

1. Phase d'inférence : Pour une nouvelle sortie $y_{new}$, on sélectionne $k$ ancres (points de données connus) dont les sorties $y_{anchor}$ sont les plus proches de $y_{new}$.
2. Prédiction multiple : Chaque ancre génère une prédiction candidate pour $x_{new}$. Comme chaque ancre appartient à une région localement injective spécifique, chaque prédiction correspond à une branche différente de la fonction inverse.
3. Sélection de branche (Branch Selection) :
   • Si la fonction directe $f(x)$ est connue, on projette chaque candidat $\hat{x}$ dans l'espace de sortie et on calcule l'erreur $\|f(\hat{x}) - y_{new}\|$. On sélectionne le candidat avec l'erreur minimale.
   • Si $f(x)$ est inconnue (données bruitées), un réseau de neurones standard est entraîné pour approximer $f$ et sert de vérificateur de cohérence pour trier les candidats.

3. Contributions Clés

1. Cadre Déterministe pour l'Inversion Multimodale : Contrairement aux méthodes probabilistes, ITNNR fournit une solution unique et déterministe pour chaque ancre, permettant de choisir explicitement la branche de solution souhaitée (ex: la configuration articulaire la plus proche de l'état actuel en robotique).
2. Reformulation Locale : Le problème est décomposé en sous-problèmes localement inversibles. Cela évite le problème de l'averaging (moyennage) des réseaux de neurones classiques.
3. Gestion des Solutions Infinies : La méthode gère naturellement les cas où la dimension d'entrée est supérieure à la dimension de sortie (solutions infinies, comme une demi-sphère). Elle ne tente pas de trouver l'ensemble infini, mais fournit une solution cohérente localement liée à l'ancre choisie, agissant comme un "fixage de jauge".
4. Efficacité sur Petites Données : En utilisant la technique de TNNR (qui double efficacement la taille de l'ensemble d'entraînement par appariement), la méthode surpasse les méthodes traditionnelles même avec peu de données d'entraînement.

4. Résultats Expérimentaux

L'auteur a évalué ITNNR sur 9 expériences, allant de polynômes 1D/2D/3D à des problèmes de cinématique inverse de bras robotiques (2D et 3D, jusqu'à 6 degrés de liberté).

• Comparaison des Méthodes :
  • Réseaux de Neurones (NN) standards : Échouent systématiquement (RMSE élevé) en raison de la non-injectivité.
  • k-NN (Recherche de voisins) : Fonctionne mieux que les NN mais souffre de discontinuités lors des changements de branche et nécessite une densité de points très élevée pour une précision locale.
  • MDN (Mixture Density Networks) : Performants pour un nombre fini de solutions, mais échouent sur des variétés continues (ex: demi-sphère) et sont moins précis que ITNNR.
  • ITNNR : Surpasse toutes les autres méthodes.
• Métriques de Performance :
  • ITNNR réduit l'erreur quadratique moyenne (RMSE) de 80% à 93% par rapport au k-NN.
  • Réduction de 46% à 83% par rapport aux MDN (sur les problèmes à solutions finies).
  • La méthode reste robuste même avec des données bruitées (bruit gaussien de 1%), bien que la précision diminue légèrement par rapport au cas sans bruit.
• Cas d'usage Robotique : La méthode a démontré sa capacité à résoudre la cinématique inverse complexe de bras robotiques à 6 degrés de liberté, en sélectionnant la configuration articulaire correcte parmi les multiples solutions possibles.

5. Signification et Conclusion

Ce travail propose une avancée significative dans la résolution des problèmes inverses mal posés. En transformant une tâche globale mal définie en une série de problèmes locaux bien définis, ITNNR offre une alternative déterministe, précise et interprétable aux approches probabilistes actuelles.

• Impact : La méthode est particulièrement pertinente pour l'ingénierie, la robotique et la physique, où la reproductibilité et la stabilité des solutions sont critiques.
• Limites et Perspectives : L'auteur note que la méthode dépend de la qualité de la recherche des voisins et de la disponibilité d'une fonction directe (ou d'une approximation) pour la sélection de branche. Pour des données de très haute dimension (comme les images), une étape de réduction de dimension (auto-encodeurs) pourrait être nécessaire. Le code est disponible publiquement, favorisant la reproductibilité.

En résumé, ITNNR démontre qu'il est possible d'inverser des fonctions non injectives de manière fiable sans recourir à des modèles probabilistes complexes, en exploitant intelligemment la structure locale des données et la cohérence des prédictions.