Semantic Space Search Trajectory Networks

Imaginez que vous essayiez d'apprendre à un robot à reconnaître un chat. Vous lui montrez des milliers d'images, et il commence à deviner. Mais comment apprend-il réellement ? Est-ce qu'il tâtonne simplement à l'aveugle dans le noir, ou suit-il une carte cachée ? Pendant des décennies, les scientifiques ont tenté de répondre à cette question en observant le « cerveau » du robot (ses nombres et poids internes). Mais c'est comme essayer de comprendre une symphonie en fixant la partition d'un seul violoniste pendant que l'orchestre joue ; c'est désordonné, confus, et cela fait manquer l'ensemble du tableau.

Pour donner un sens à cela, les chercheurs utilisent un outil appelé Réseau de Trajectoire de Recherche (STN - Search Trajectory Network). Considérez un STN comme une carte de métro du processus d'apprentissage. Au lieu de suivre chaque petit pas du robot, il regroupe les moments similaires en « stations » (nœuds) et trace des lignes (arêtes) montrant comment le robot passe d'une station à la suivante. Cela permet de voir si le robot emprunte une autoroute directe vers la réponse ou s'il se perd dans un labyrinthe. Le problème est que les cartes de métro traditionnelles ne fonctionnent que pour des problèmes simples et de faible dimension. Lorsque le robot devient complexe (comme une IA moderne), la carte devient si encombrée et de haute dimension que les lignes se brouillent toutes ensemble, ce qui la rend impossible à lire.

C'est ici qu'intervient le concept d'Espace Sémantique. Au lieu de regarder les rouages internes du robot, nous regardons ce qu'il dit. Si le robot regarde une photo de chat, dit-il « chien » ? Dit-il « chat » ? Dit-il « voiture » ? La collection de toutes ses suppositions à travers un ensemble d'images de test forme un « vecteur sémantique ». C'est comme l'empreinte digitale de la compréhension actuelle du robot. En cartographiant le voyage du robot à travers ces empreintes digitales plutôt qu'à travers ses rouages internes, nous pouvons créer une carte claire et lisible, même pour l'IA la plus complexe. Cette étude pose la question suivante : pouvons-nous utiliser ces « cartes d'empreintes digitales » pour comparer la façon dont différents types d'algorithmes d'apprentissage « pensent », et peuvent-elles nous dire si une IA est réellement en train d'apprendre ou simplement de mémoriser ?

---

L'idée majeure de l'article : Cartographier le voyage, pas la boîte de vitesses

Les auteurs, Julian Agudelo et son équipe, introduisent une nouvelle façon de construire ces cartes de métro, qu'ils appellent Réseaux de Trajectoire de Recherche en Espace Sémantique (Semantic Space Search Trajectory Networks). Leur objectif principal est de visualiser comment différents algorithmes d'apprentissage automatique (comme les réseaux de neurones, les arbres de décision et la régression symbolique) « pensent » lorsqu'ils résolvent des problèmes.

Habituellement, comparer un réseau de neurones à un arbre de décision, c'est comme comparer une voiture de course à un vélo ; ils ont des moteurs et des pièces différents, donc on ne peut pas facilement les aligner pour voir qui est le plus rapide ou comment ils naviguent. Mais les auteurs ont réalisé que, peu importe la machine utilisée, elles produisent toutes la même chose : des prédictions. En ignorant la mécanique interne et en se concentrant uniquement sur les prédictions (les vectures sémantiques), ils peuvent placer tous ces différents algorithmes sur un même terrain d'égalité.

Comment ils ont construit la carte

Pour transformer ces prédictions continues en une carte lisible, l'équipe a dû résoudre un problème délicat : comment regrouper des prédictions similaires lorsqu'il y en a des millions ?

1. La Discrétisation (Transformer les nombres en catégories) : Pour les tâches de régression (prédire des nombres comme le prix des maisons), ils ont découpé la plage continue de réponses en 10 « bacs » (bins) basés sur la fréquence d'apparition de certaines valeurs (quantiles). Pour la classification (deviner des étiquettes comme « chat » ou « chien »), ils ont simplement utilisé l'étiquette finale. Cela a transformé un nuage de données continu et désordonné en un ensemble de catégories distinctes et dénombrables.
2. Le Clustering (Regrouper les stations) : Ils ont utilisé une méthode appelée clustering agglomératif. Imaginez que vous avez un tas de grains de sable (chaque grain étant un état de prédiction). Vous commencez par traiter chaque grain comme sa propre île. Ensuite, vous fusionnez lentement les deux îles les plus proches. Vous continuez à fusionner les paires les plus proches jusqu'à ce que la distance entre deux îles restantes devienne trop grande (contrôlée par un seuil appelé $\tau$). Les îles finales deviennent les « stations » de votre carte de métro.
3. Tracer les lignes : À mesure que l'algorithme apprend, il passe d'un état de prédiction à un autre. Ils ont suivi ces mouvements et tracé des flèches entre les stations correspondantes. Plus la flèche est épaisse, plus souvent les différentes sessions d'entraînement ont emprunté ce chemin spécifique.

Ce qu'ils ont trouvé : Le « Entonnoir » vs L' « Étoile »

L'équipe a testé cette méthode sur plusieurs ensembles de données, notamment la reconnaissance de chiffres manuscrits (MNIST), d'articles de mode (Fashion-MNIST) et la prédiction du prix des voitures. Ils ont comparé trois algorithmes très différents : les MLP (réseaux de neurones), XGBoost (une méthode puissante basée sur les arbres) et la Régression Symbolique (qui cherche des formules mathématiques).

La Découverte :
Lorsque les algorithmes apprenaient sur des données réelles (où il existe un véritable motif à trouver), les cartes étaient remarquablement similaires, quel que soit l'algorithme utilisé. Elles formaient une forme d'« entonnoir ».

• L'Entonnoir : Le voyage commence à de nombreux points différents (tentatives initiales aléatoires), mais les chemins convergent rapidement vers quelques « autoroutes » communes et s'engouffrent dans un groupe serré de stations « optimales ». Cela suggère que lorsqu'il y a un véritable motif à apprendre, différents algorithmes découvrent les mêmes étapes intermédiaires et convergent vers la même solution.
• La Différence : Bien que la forme globale soit similaire, le « trafic » était différent. Les réseaux de neurones semblaient rester coincés dans un « bassin d'attraction » où ils oscillaient un peu avant de se stabiliser, tandis qu'XGBoost était plus direct, presque comme un robot gourmand qui resserre sans cesse sa prise sur la réponse. La régression symbolique, cependant, était l'exception ; elle ne s'engouffrait pas dans l'entonnoir. Elle explorait la carte dans de nombreuses directions différentes, ne convergeant que rarement vers un chemin unique, ce qui correspond à sa nature de recherche aléatoire de formules.

Le test de la « Mémorisation » : La carte révèle-t-elle la triche ?

La partie la plus excitante de l'article provient d'une expérience célèbre de Zhang et al. (2017), qui a montré que les réseaux de neurones peuvent « mémoriser » des données aléatoires aussi bien que des données réelles. Si vous brouillez les étiquettes (en disant à l'IA qu'une photo de chat est en réalité un « chien »), l'IA peut toujours apprendre à prédire parfaitement sur l'ensemble d'entraînement, mais elle échoue lamentablement sur de nouvelles données. C'est le régime de la « mémorisation ».

Les auteurs ont utilisé leurs STN d'espace sémantique pour voir si la forme du voyage d'apprentissage pouvait faire la différence entre l'apprentissage (généralisation) et la mémorisation (devinette aléatoire).

• Étiquettes Réelles (Apprentissage) : La carte était dense, efficace et centralisée. Elle ressemblait à une ville animée avec un centre névralgique où tout le monde se rejoint. Les chemins étaient interconnectés, suggérant que l'algorithme construit une compréhension structurée.
• Étiquettes Mélangées (Mémorisation) : La carte ressemblait à une « étoile ». Les chemins étaient isolés, disjoints et dispersés. Il n'y avait pas de centre névralgique. Chaque session d'entraînement se retrouvait dans son propre coin solitaire, sans jamais rencontrer les autres.

La Conclusion :
L'article suggère que la structure du voyage d'apprentissage révèle la vérité. Quand une IA apprend réellement un motif, les chemins convergent et se connectent. Quand elle ne fait que mémoriser du bruit, les chemins restent isolés. Ils ont mesuré cela à l'aide de métriques de graphes telles que l'efficacité globale et la densité. Par exemple, sur l'ensemble de données « Bioresponse », la carte des « étiquettes réelles » avait une densité de 0,0157, tandis que la carte des « étiquettes mélangées » était beaucoup plus clairsemée à 0,0049.

Ils ont également testé ce qui se passe si l'on corrompt lentement les données, en remplaçant 20 %, 40 %, jusqu'à 100 % des étiquettes par du bruit aléatoire. À mesure que la corruption augmentait, l'« entonnoir » se désagrégeait lentement, se transformant en la forme d'une « étoile ». Les métriques de graphe (comme l'efficacité globale) chutaient régulièrement, montrant une transition fluide de l'apprentissage vers la mémorisation.

Pourquoi cela importe

Ce travail suggère que nous n'avons pas besoin de regarder à l'intérieur de la boîte noire d'un réseau de neurones pour comprendre s'il apprend ou s'il triche. Nous avons seulement besoin de regarder la carte de ses prédictions. Si la carte est un réseau connecté et efficace, l'IA est probablement en train d'apprendre quelque chose de réel. Si c'est une collection éparpillée de chemins isolés, elle est probablement en train de mémoriser.

Les auteurs précisent avec prudence qu'il s'agit d'une observation basée sur la simulation et d'un outil qualitatif d'analyse, et non d'une solution miracle qui résout le mystère de la généralisation. Ils suggèrent que cette méthode offre une nouvelle perspective comportementale qui complète les théories existantes. C'est une nouvelle paire de lunettes qui nous permet de voir la « forme » de l'intelligence, nous montrant que que vous soyez un réseau de neurones ou un arbre de décision, si vous apprenez la vérité, votre voyage se ressemble.