The Geometry of Forgetting

⚕️

Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Each language version is independently generated for its own context, not a direct translation.

Le Grand Secret : Ce n'est pas votre cerveau qui est cassé, c'est la géométrie !

Imaginez que vous avez un cerveau qui fonctionne comme une immense bibliothèque. Pendant des siècles, les psychologues ont cru que nous oublions parce que nos souvenirs sont comme des photos anciennes qui se décolorent avec le temps (c'est la théorie de la « dégradation »). Ils pensaient aussi que nous faisons des faux souvenirs parce que notre matériel biologique (nos neurones) est imparfait et fuit.

Cette nouvelle étude dit : « Attendez une minute ! »

Les auteurs montrent que l'oubli et les faux souvenirs ne sont pas des bugs de votre cerveau. Ce sont des conséquences inévitables de la géométrie de la façon dont nous organisons les idées. Même si vous remplaciez votre cerveau par un ordinateur, il oublierait et inventerait des souvenirs exactement de la même façon.

Voici les trois grandes découvertes, expliquées avec des métaphores du quotidien :

1. L'Oubli : Ce n'est pas le temps, c'est la foule !

L'ancienne idée : Vous oubliez votre anniversaire parce que le temps passe et que le souvenir s'efface comme une craie sur un tableau.

La nouvelle idée : Vous oubliez parce qu'il y a trop de monde dans la bibliothèque.

Imaginez que vous cherchez un livre précis (un souvenir) dans une bibliothèque.

Si la bibliothèque est vide, vous trouvez le livre instantanément, même après 10 ans. Le temps ne change rien.
Mais si vous ajoutez 10 000 autres livres qui ressemblent un peu à celui que vous cherchez (des souvenirs concurrents), il devient de plus en plus difficile de trouver le bon. Plus il y a de livres, plus vous vous trompez de rayon.

L'analogie : C'est comme essayer de retrouver un ami dans une foule.

S'il n'y a que 5 personnes, vous le voyez tout de suite.
S'il y a 10 000 personnes qui se ressemblent toutes (des gens qui portent le même manteau rouge), vous allez vous tromper, même si vous avez une excellente mémoire.
Conclusion : L'oubli n'est pas dû à la vieillesse du souvenir, mais à la compétition entre les souvenirs. Plus il y a de souvenirs similaires, plus l'oubli est rapide.

2. Le Paradoxe des Dimensions : L'illusion de la taille

Les ordinateurs modernes utilisent des espaces mathématiques très vastes (des milliers de dimensions) pour stocker les mots. On pense qu'ils sont immenses et sûrs.

La révélation : Ces espaces immenses sont en fait très « plats » et compacts.
Imaginez un gratte-ciel de 1 000 étages (la taille annoncée de l'ordinateur). En réalité, tous les meubles et toutes les personnes ne vivent que dans les 16 premiers étages. Les autres étages sont vides.

Pourquoi est-ce grave ?
Dans un espace très grand (1 000 dimensions), il est facile de trouver son chemin sans se tromper. Mais dans un espace petit et encombré (16 dimensions), tout le monde se bouscule. C'est parce que nos ordinateurs (et probablement notre cerveau) sont en réalité « petits » et encombrés qu'ils oublient. Ils sont coincés dans une zone où la confusion est inévitable.

3. Les Faux Souvenirs : Une erreur de carte, pas de boussole

Le célèbre test de « DRM » consiste à montrer une liste de mots liés au sommeil (lit, repos, rêve, fatigué...) et à demander ensuite aux gens si le mot « Sommeil » était dans la liste. La plupart disent « OUI », alors qu'il n'y était pas !

L'explication géométrique :
Imaginez que les mots sont des étoiles sur une carte.

Les mots liés au sommeil (lit, rêve, nuit) forment un groupe d'étoiles très serré.
Le mot « Sommeil » n'est pas sur la carte, mais il est géométriquement au milieu de ce groupe.
Quand votre cerveau (ou l'ordinateur) cherche le mot, il regarde le groupe. Comme « Sommeil » est si proche des autres, le système le « voit » par erreur.

Le message choc : Ce n'est pas une erreur de calcul. C'est la preuve que le système fonctionne trop bien ! Pour bien comprendre le monde, il faut grouper les choses qui se ressemblent. Mais ce regroupement crée inévitablement des confusions. Si vous vouliez éliminer les faux souvenirs, vous devriez casser la structure de votre mémoire, et vous ne pourriez plus rien comprendre du tout.

En résumé : La leçon de vie

Cette étude nous dit que l'oubli et les erreurs de mémoire ne sont pas des défauts de fabrication.

Pour les humains : Votre cerveau n'est pas cassé. Il utilise une stratégie intelligente pour organiser le monde par sens (géométrie), et l'oubli est le « prix à payer » pour cette efficacité.
Pour les robots : Même les intelligences artificielles les plus avancées vont oublier et halluciner, non pas parce qu'elles sont mal programmées, mais parce que les mathématiques de l'espace les y obligent.

La métaphore finale :
Pensez à votre mémoire comme à un grand marché. Plus il y a de vendeurs (souvenirs), plus il est difficile de trouver le bon produit. Ce n'est pas parce que votre œil est mauvais, c'est parce que le marché est bondé. Et parfois, vous achetez une pomme en pensant qu'elle est une poire, simplement parce qu'elles sont posées dans le même panier. C'est la géométrie du marché, pas votre faute !

Each language version is independently generated for its own context, not a direct translation.

1. Problématique et Contexte

La mémoire humaine présente des « défauts » bien documentés : l'oubli suit une courbe en loi de puissance (décrite par Ebbinghaus), nous formons de faux souvenirs (paradigme DRM), et nous éprouvons des états de « bout de la langue » (TOT). L'explication conventionnelle attribue ces phénomènes aux limitations du « matériel biologique » (le cerveau), suggérant que l'évolution a laissé des fuites dans le système.

Les auteurs proposent une hypothèse radicalement différente : ces phénomènes ne sont pas des bugs biologiques, mais des conséquences inévitables de la géométrie des espaces d'embedding de haute dimension utilisés pour le stockage et la récupération d'informations par similarité. L'article cherche à déterminer si la géométrie mathématique de la récupération par similarité suffit à reproduire les signatures quantitatives de la mémoire humaine, sans ingénierie spécifique aux phénomènes cognitifs.

2. Méthodologie

Les auteurs ont conçu un cadre expérimental utilisant exclusivement des modèles d'embedding pré-entraînés à poids ouverts (Open-weights) et des jeux de données publics.

Substrat de mémoire : Les « souvenirs » sont représentés par des vecteurs d'embedding enrichis contextuellement (incluant des métadonnées positionnelles, temporelles et épisodiques).
Mécanisme de récupération : La récupération se fait par similarité cosinus entre une requête et les mémoires stockées.
Conditions aux limites : Le système est soumis à trois facteurs de stress géométriques :
1. Bruit : Dégradation proportionnelle à l'âge du souvenir.
2. Interférence : Présence de mémoires concurrentes (distracteurs).
3. Dégradation temporelle : Pondération des scores par une fonction de décroissance.
Modèles utilisés : Qwen2.5-7B (génération), MiniLM-L6-v2, BGE-base, BGE-large (embeddings textuels), et CLIP (embeddings visuels).
Analyse dimensionnelle : Utilisation de la « participation ratio » pour déterminer la dimensionnalité effective ( $d_{eff}$ ) par rapport à la dimensionnalité nominale des modèles.

3. Contributions Clés et Résultats

A. L'interférence, et non la décroissance, génère l'oubli en loi de puissance

Résultat : En simulant le paradigme d'Ebbinghaus, les auteurs montrent que la fonction de décroissance temporelle seule produit un exposant d'oubli négligeable ( $b \approx 0.009$ ).
Découverte : L'ajout de mémoires concurrentes (distracteurs) fait grimper l'exposant à $b = 0.460 \pm 0.183$ , ce qui correspond étroitement à la valeur humaine ( $b \approx 0.5$ ).
Conclusion : L'oubli n'est pas dû à la disparition de la trace (décroissance), mais à la compétition de récupération dans un espace encombré.

B. L'illusion de la dimensionnalité et la vulnérabilité à l'interférence

Paradoxe résolu : Bien que les modèles de production aient des dimensions nominales élevées (384 à 1024), leur analyse spectrale révèle une forte concentration de variance dans seulement ~16 dimensions effectives ( $d_{eff}$ ).
Impact : Cette faible dimensionnalité effective place ces modèles dans un régime hautement vulnérable à l'interférence. À $d=64$ , l'interférence est forte ; à $d \ge 128$ , elle devient négligeable.
Implication : Les systèmes RAG (Retrieval-Augmented Generation) et les mémoires d'agents basés sur ces modèles opèrent probablement dans un régime d'interférence critique, indépendamment de leur dimensionnalité annoncée.

C. Émergence naturelle des faux souvenirs (Phénomène DRM)

Expérience : Utilisation des 24 listes de mots du paradigme Deese-Roediger-McDermott (DRM) avec un modèle BGE-large.
Résultat : Sans aucun réglage de paramètres ni condition aux limites, la similarité cosinus sur les embeddings bruts produit un taux de fausse alarme pour le mot « leurre critique » de 0,583, contre ~0,55 chez l'humain.
Mécanisme : Les concepts sémantiquement liés forment des clusters géométriques. Le seuil de décision confond naturellement les mots étudiés avec le mot non étudié mais sémantiquement proche (ex: « dormir » dans une liste de mots liés au sommeil).
Signification : Les faux souvenirs sont une propriété intrinsèque de la géométrie de l'espace sémantique, nécessaire à la généralisation.

D. Effet d'espacement et états « Bout de la langue » (TOT)

Effet d'espacement : La répétition espacée surpasse la répétition massée car la trace la plus récente est moins dégradée par le bruit temporel. L'ordre de rétention (Long > Moyen > Court > Massé) correspond aux données humaines.
États TOT : Le système reproduit qualitativement les états de « bout de la langue » (rappel correct rangé entre 2 et 20 avec une forte similarité), bien que le taux quantitatif (3,66 %) dépasse la base humaine (~1,5 %), suggérant une définition géométrique légèrement plus large que le critère phénoménologique humain.

E. Structure topologique et consolidation

Analyse topologique : L'analyse par homologie persistante révèle une transition de phase dans la connectivité de l'espace de mémoire, avec l'émergence de « trous » topologiques (boucles) correspondant à la structure thématique hiérarchique du langage.
Échec de la consolidation par moyenne : L'expérience montre que la fusion géométrique (moyenne) des embeddings proches pour compresser la mémoire (pratique courante en ingénierie) détruit la structure angulaire fine, augmentant l'interférence rétroactive. Cela suggère que le cerveau ne consolide pas par simple moyenne vectorielle.

4. Signification et Implications

Changement de paradigme : Les « défauts » de la mémoire humaine ne sont pas des erreurs de conception biologique, mais des features géométriques inévitables de tout système organisant l'information par le sens et la récupérant par proximité.
Unification Biologique/Artificielle : La frontière entre mémoire biologique et artificielle est plus fine que prévu. Les deux systèmes partagent les mêmes modes de défaillance car ils sont soumis aux mêmes contraintes géométriques (faible dimensionnalité effective, regroupement sémantique, bruit).
Implications pour l'IA :
- Les bases de données vectorielles sont condamnées à « oublier » selon une loi de puissance à mesure que leur taille augmente.
- Les pratiques d'ingénierie comme la compression par moyenne de vecteurs (centroid merging) sont géométriquement destructrices pour la fidélité de la récupération.
- Éliminer les faux souvenirs artificiels pourrait nécessiter de sacrifier la structure sémantique qui rend ces modèles utiles pour la généralisation.

En résumé, l'article démontre que la géométrie de l'espace sémantique suffit à expliquer les phénomènes centraux de la mémoire humaine, suggérant que la biologie détermine le régime des paramètres, mais que la géométrie détermine les modes de défaillance.