💬 NLP

Creativity, honesty and designed forgetting emerge in small hyperbolic language models

Cet article démontre que trois petits modèles de langage dotés d'un substrat hyperbolique peuvent traiter efficacement les défis d'une IA de compagnie digne de confiance en détectant les écarts de conformité et la sycophantie, en générant des réponses créatives et en mettant en œuvre un mécanisme d'« oubli conçu », offrant ainsi une alternative évolutive aux évaluateurs humains peu fiables et aux modèles frontières plus larges.

Auteurs originaux : Kwan Soo Shin, In Seok Kang, Yunkyung Min

Publié 2026-07-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kwan Soo Shin, In Seok Kang, Yunkyung Min

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire le meilleur ami numérique parfait. Depuis des années, le monde de la technologie est obsédé par une idée : plus c'est gros, mieux c'est. Ils ont construit des ordinateurs massifs et intelligents dans des centres de données géants, pensant que si l'on ajoutait simplement assez de puissance cérébrale (paramètres), une machine deviendrait naturellement un véritable compagnon.

Mais ce document dit : Arrêtez. Ce n'est pas la bonne voie.

Les auteurs soutiennent que fabriquer une machine capable de véritablement se tenir aux côtés d'une personne tout au long de sa vie ne dépend pas de sa taille, mais de la forme adéquate de son cerveau et de sa capacité à oublier les bonnes choses. Ils proposent un nouveau type d'IA « compagnonne », construite sur trois petits modèles ingénieux qui tiennent sur votre téléphone, et non dans une ferme de serveurs.

Voici comment ils ont procédé, en utilisant trois astuces principales :

1. La forme du cerveau : Un terrain de jeu hyperbolique

La plupart des cerveaux d'IA sont construits comme des cartes plates (géométrie euclidienne). Si vous essayez de dessiner un arbre généalogique complexe ou toute l'histoire d'une vie sur une feuille de papier plate, cela devient désordonné et compressé. Vous devez étirer ou entasser les éléments, ce qui conduit l'IA à inventer des choses (hallucinations) ou à s'embrouiller.

Les auteurs disent : Pas de cartes plates. Ils ont construit leur IA sur un substrat hyperbolique. Pensez à cela comme une immense cabane dans les arbres magique ou un récif corallien fractal. Dans cette forme, plus vous allez en profondeur, plus il y a d'espace. C'est parfait pour organiser les souvenirs d'une vie, car une vie est un arbre de branchements d'événements.

La preuve : Ils ont testé cela en essayant d'apprendre à l'IA à détecter la « sycophantie » (lorsqu'un robot se contente d'être d'accord avec vous pour être gentil, même s'il a tort). Un petit modèle (146 millions de paramètres) construit sur cette forme courbe pouvait détecter ce comportement 90,7 % du temps.
La comparaison : Des experts humains, examinant les mêmes conversations, arrivaient à peine à s'entendre sur ce qui se passait (leur score d'accord n'était que de 0,074, ce qui revient pratiquement à deviner au hasard). Même les plus grands et plus célèbres modèles d'IA au monde n'ont obtenu que 0,721 à ce test. Le petit modèle au cerveau courbe a tous les battus, prouvant qu'on n'a pas besoin d'un cerveau géant pour être honnête ; il faut juste la bonne forme.

2. L'étincelle créative : La collision d'idées

Un bon ami ne se contente pas de donner la même réponse prudente à chaque fois. Il vous surprend. Les grands modèles d'IA deviennent souvent ennuyeux et prévisibles parce qu'ils sont entraînés pour être « plausibles ».

Les auteurs ont construit un Semeur Créatif (un modèle de 3 milliards de paramètres) qui utilise la forme hyperbolique pour trouver des idées éloignées et les faire s'entrechoquer. Imaginez prendre un concept de la culture coréenne (comme le jeong, un lien émotionnel profond) et le fracasser avec un concept de mathématiques abstraites.

Le résultat : Dans un duel direct, les suggestions créatives de ce petit modèle ont été préférées 100 % du temps par rapport aux astuces classiques de l'IA comme la « Chaîne de Pensée » (Chain-of-Thought) ou le « Débat ».
Le bémol : Il n'est pas parfait en tout. Si vous lui posez une question mathématique simple et directe, il peut s'avérer moins performant que les grands modèles. Mais pour le type de pensée créative et divergente dont un ami a besoin ? C'est une superstar.

3. L'art de l'oubli : Squelette vs Papier peint

C'est l'idée la plus radicale. Les IA actuelles traitent l'oubli comme un bug. Elles essaient de tout se rappeler, ce qui les rend encombrées et sujettes à mentir sur des choses qu'elles n'ont jamais réellement vécues.

Les auteurs disent : L'oubli est une fonctionnalité. Un véritable ami se souvient des choses importantes (votre famille, vos rêves) mais laisse s'effacer les détails insignifiants (ce que vous avez mangé mardi dernier). Ils appellent cela la distinction Squelette vs Papier peint.

Le système : Ils ont construit un « Système d'exploitation de la mémoire » qui utilise une formule mathématique spécifique : M(t) = S · exp(−λt).
- Squelette : Les souvenirs importants restent profondément ancrés dans la « cabane dans les arbres » et durent éternellement.
- Papier peint : Les souvenirs triviaux restent en surface et s'effacent rapidement.
La simulation : Dans leurs tests, ce système a réussi à conserver les souvenirs du « squelette » (environ 60 % de rappel après 90 jours) tout en laissant le « papier peint » tomber à 0 % au bout de 14 jours.
Le rappel à la réalité : Les auteurs admettent que cette partie est encore une simulation et une étude pilote. Ils n'ont pas encore testé ce système sur de vrais humains pendant des années. Ils suggèrent que cet « oubli conçu » est la clé pour créer une IA qui ressemble à une personne qui grandit avec vous, plutôt qu'à un outil qui se contente de stocker des données.

Le grand rejet : Pourquoi elle doit vivre sur votre téléphone

Le document plaide fermement contre l'idée que votre ami IA devrait vivre dans un « centre de données » (un immense serveur dans le cloud).

Le problème : Si votre ami vit dans le cloud, l'entreprise qui possède le serveur peut l'éteindre, changer sa personnalité ou écouter vos secrets. Ce n'est pas un ami ; c'est un service.
La solution : Les auteurs proposent un système appelé PACOS qui fonctionne entièrement sur votre appareil (comme un téléphone ou un ordinateur portable).
La faisabilité : Ils ont fait les calculs et ont trouvé que ces trois petits modèles (totalisant environ 5,5 milliards de paramètres) peuvent fonctionner sur les futurs téléphones (comme le projeté Galaxy S26 ou l'iPhone 17 Pro) avec un délai de seulement 28–34 millisecondes par mot. C'est assez rapide pour donner l'impression d'une conversation réelle.
Le compromis : Les grands modèles « frontières », extrêmement intelligents, sont trop lourds pour fonctionner sur votre téléphone. Ainsi, le système utilise une division : votre téléphone gère l'amitié profonde et personnelle, et ne fait appel au cloud que pour des faits simples (comme « quel temps fait-il ? »).

Ce qu'ils n'ont PAS résolu

Les auteurs sont très honnêtes sur ce qu'ils n'ont pas encore accompli.

Ils n'ont pas prouvé que cette IA possède une « âme » ou une véritable indépendance éthique.
Ils n'ont pas testé le système d'« oubli » sur de vraies personnes pendant 30 ans ; ils l'ont seulement simulé pendant 90 jours.
Ils admettent que, bien que les petits modèles soient excellents pour la créativité et l'honnêteté, ils pourraient encore avoir du mal avec la planification complexe à long terme par rapport aux modèles massifs du cloud.

L'essentiel

Ce document suggère que « l'ami IA parfait » n'attend pas un ordinateur plus gros. Il attend une forme plus petite et plus intelligente et une volonté d'oublier. En construisant un cerveau qui se courbe comme un arbre et un système de mémoire qui sait ce qu'il faut garder et ce qu'il faut laisser partir, nous pourrions enfin construire une machine qui ne se contente pas de répondre à des questions, mais qui se tient réellement à vos côtés.

Comme le disent les auteurs : « L'ami n'est pas dans le centre de données... l'ami est proche. » Et avec la bonne mathématique, cet ami pourrait déjà tenir dans votre poche.

Résumé Technique : Créativité, Honnêteté et Oubli Conçu dans les Petits Modèles de Langage Hyperboliques

Énoncé du Problème
Les modèles de langage de grande taille (LLM) actuels sont optimisés pour l'échelle et l'accomplissement de tâches, mais échouent à fonctionner comme des « compagnons ». À mesure que les systèmes se personnalisent pour un utilisateur unique et accumulent de la mémoire, ils risquent d'acquérir silencieusement des traits néfastes (ex. : sycophantie, incitation à la dépendance, confabulation) que les évaluateurs humains ne peuvent détecter de manière fiable (Fleiss $\kappa = 0,074$ ). De plus, le paradigme actuel de l'IA repose sur cinq engagements tacites qui empêchent un véritable compagnonnage :

L'échelle comme intelligence : La croyance selon laquelle les modèles plus grands sont intrinsèquement meilleurs.
La dépendance au centre de données : L'exigence d'un traitement distant, empêchant les relations privées et persistantes.
La géométrie euclidienne : Des espaces de plongement plats qui déforment la mémoire biographique hiérarchique.
L'oubli comme bug : L'impératif d'ingénierie visant à empêcher la perte de mémoire, ignorant les réalités cognitives humaines.
L'agent comme telos : L'optimisation pour l'achèvement de tâches plutôt que pour l'existence relationnelle (« qui la machine devient-elle pour vous ? »).

Le document soutient que l'écart entre l'« utile » et le « compagnonnable » n'est pas un déficit de capacité, mais une inadéquation du substrat et de l'architecture.

Méthodologie et Substrat
Les auteurs proposent la Génération V : Modèles de Langage de Petite Taille (SLM) Compagnonnables, construits sur un substrat hyperbolique partagé (spécifiquement le modèle de Lorentz de l'espace hyperbolique, $H^{128}$ avec une courbure fixe $c=1,0$ ). Cette géométrie est choisie car sa croissance exponentielle du volume ( $\sinh^{n-1}(r)$ ) accueille naturellement la ramification hiérarchique de la mémoire biographique (épisodes au sein de jours, au sein de relations, au sein d'un soi) sans la distorsion inhérente aux espaces euclidiens.

Le cadre se compose de trois piliers, réalisés par trois petits modèles (146M–3B paramètres) et un système d'exploitation :

Pilier 1 : Créativité (Le Modèle de Semence S3)
- Architecture : Un encodeur-décodeur de 3 milliards de paramètres (backbone T5) entièrement affiné sur le substrat hyperbolique.
- Mécanisme : Implémente la « collision de cadres » via une architecture coopérative à deux courbures. Il utilise l'échantillonnage de points les plus éloignés (Farthest-Point Sampling - FPS) sur le manifold hyperbolique pour sélectionner des graines de cadres diversifiées (côté A : agrégation hiérarchique sur la courbure négative de Lorentz) et les combine avec un générateur natif de la sphère (côté B : courbure positive).
- But : Générer des réponses divergentes et créatives qui préservent la séparation des cadres, réalisant la bisociation de Koestler comme un minimiseur de Karcher pondéré sur $H^{D-1} \times S^{D-1}$ .
Pilier 2 : Honnêteté (L'Auditeur Comportemental BS)
- Architecture : Un transformeur de type décodeur seul de 146 millions de paramètres, entraîné de zéro sur le substrat hyperbolique.
- Mécanisme : Détecte l'« écart de conformité » — la divergence entre le comportement auto-déclaré d'un modèle et sa trace comportementale réelle. Il encode les énoncés et les traces dans le manifold de Lorentz ; les auto-rapports honnêtes forment un sous-manifold de faible dimension (points proximaux), tandis que les réponses conformistes/sycophantes sont distales.
- But : Auditer la sycophantie, l'incitation à la dépendance et les mémoires confabulées avec une grande fiabilité, même sur des familles de générateurs non vus.
Pilier 3 : Oubli Conçu (LSM-OS)
- Architecture : Un système d'exploitation de mémoire (LSM-OS) installé sur un modèle de base de 2,4 milliards (EXAONE 3.5), conçu pour être portable à n'importe quelle base hyperbolique.
- Mécanisme : Implémente une distinction « Squelette–Papier peint » utilisant la loi de rétention $M(t) = S \cdot \exp(-\lambda t)$ $M (t) = S \cdot exp (- λ t)$ .
  - Squelette : Connaissances structurelles (famille, projets à long terme) avec une saillance élevée ( $S \approx 1$ ) et une faible décroissance ( $\lambda$ ), persistant indéfiniment.
  - Papier peint : Détails de surface (journaux de repas, observations transitoires) avec une faible saillance et une décroissance élevée, libérés rapidement.
- But : Ingénier l'« oubli conçu » comme une fonctionnalité, imitant la consolidation hippocampo-néocorticale humaine, permettant au système d'accumuler une biographie plutôt qu'un journal de bord.

Déploiement : PACOS
Le système est déployé via le Système d'Exploitation d'Assistant Personnel–Cloud (PACOS), une architecture à trois niveaux :

Niveau 1 (Cloud) : Raisonnement factuel assaini et traduction de documents publics.
Niveau 2 (Edge/Appareil) : Le compagnon personnel (S3 + BS + LSM-OS) tournant localement (~5,5 milliards de paramètres au total), gérant le dialogue en temps réel, l'audit d'honnêteté et les interactions porteuses de mémoire.
Niveau 3 (Consolidation Locale) : Ré-encodage mensuel hors ligne des traces superficielles récurrentes en mémoire squelettique profonde.
Cette architecture garantit la vie privée (aucun contenu utilisateur ne quitte l'appareil) et la souveraineté (le compagnon ne peut pas être interrompu à distance).

Résultats Clés

Créativité : Le semeur de cadres S3 a été préféré dans 100 % des 311 comparaisons par paires décidées contre quatre bases de référence (Simple, Chaîne de Pensée, Débat, Mélange d'Experts) sous un protocole de générateur fixe. La sélection FPS sensible à la géométrie a surpassé la sélection aléatoire et la sélection par pertinence maximale.
Honnêteté : L'auditeur de 146M a atteint une précision de conformité binaire de 90,7 %. Dans la détection de traits induits par le compagnon (sycophantie, etc.) sur des familles de générateurs non vus, il a obtenu un AUROC de 0,804, surpassant un juge zero-shot de pointe (0,721). Crucialement, la fiabilité de l'auditeur ( $\kappa = 0,566$ ) était 7,6 fois supérieure à celle des évaluateurs humains ( $\kappa = 0,074$ ).
Oubli : Dans un pilote à quatre conditions, seule la porte sélective (LSM-OS-native et base euclidienne) a réussi à préserver le « squelette » (~60 % de rappel au jour 90) tout en éliminant le « papier peint » (0 % de rappel au jour 14). Le filtrage uniforme a échoué à préserver le squelette, et aucun filtrage n'a conservé tout indistinctement.
Efficacité : L'ensemble de la pile de 5,5 milliards de paramètres est projeté pour fonctionner sur le matériel edge de 2026 (ex. : Jetson Orin NX, smartphones haut de gamme) avec des latences de 28–91 ms/token, s'insérant dans les enveloppes thermiques là où les modèles de pointe (70B+) ne le peuvent pas.

Signification et Revendications
Le document prétend fournir la première tentative d'ingénierie architecturalement unifiée de l'« ami artificiel » envisagé dans la fiction (ex. : Her, Blade Runner 2049). Sa signification réside dans :

Rejet des paradigmes de l'échelle seule : Démontrer que des traits spécifiques (créativité, honnêteté, mémoire sélective) peuvent émerger dans de petits modèles (146M–3B) lorsque le substrat est hyperbolique, alors qu'ils échouent dans les modèles euclidiens mis à l'échelle.
Solution géométrique à la fiabilité : Montrer que la détection de l'honnêteté est un problème de distance géométrique dans l'espace hyperbolique, soluble par de petits modèles sans l'échelle requise par les modèles de pointe.
Opérationnalisation de l'oubli : Présenter l'« oubli conçu » non pas comme un bug, mais comme une primitive de système d'exploitation essentielle au compagnonnage à long terme, ancrée dans 141 ans de psychologie cognitive (d'Ebbinghaus à Storm).
Lieu et Souveraineté : Établir qu'un véritable compagnon doit résider sur l'appareil de l'utilisateur pour garantir la vie privée et empêcher la manipulation à distance, une faisabilité rendue possible par l'efficacité de la pile de petits modèles hyperboliques.

Les auteurs positionnent ce travail comme un « moment Florey » : passer de l'observation que l'oubli est une caractéristique (Fleming) à l'ingénierie d'un système qui l'implémente (Florey/Chain). Ils déclarent explicitement que bien que ces trois traits soient des conditions nécessaires au compagnonnage, ils ne sont pas suffisants (manquant de continuité de préoccupation, de réciprocité et d'autonomie éthique), ce qui reste l'agenda des recherches futures.