HY-WU (Part I): An Extensible Functional Neural Memory Framework and An Instantiation in Text-Guided Image Editing

Ce papier propose HY-WU, un cadre d'adaptation mémoriel fonctionnel qui génère dynamiquement des opérateurs spécifiques à chaque instance pour éviter le surapprentissage et permettre un apprentissage continu sans écraser les paramètres partagés.

L'essentiel

🧠 Le Problème : Le "Cerveau Rigide" des IA

Imaginez que vous avez un assistant personnel très intelligent, mais un peu rigide. Disons qu'il a été formé pour être un excellent photographe de mariage.

• Le problème actuel : Si vous lui demandez soudainement de devenir un dessinateur de bandes dessinées ou de réparer une vieille photo abîmée, il va essayer de faire les deux en même temps avec la même "méthode".
• Le résultat : Il devient moyen partout. Il ne fait pas de très bons mariages, ni de très bons dessins. C'est comme essayer de conduire une voiture de course sur un terrain de football : ça ne fonctionne pas bien, et l'outil s'abîme.

Dans le langage des chercheurs, on appelle cela le "compromis statique". L'IA essaie d'adapter ses poids (sa façon de penser) pour tout le monde, et finit par ne rien faire parfaitement.

---

💡 La Solution : HY-WU, le "Chef d'Orchestre de Mémoire"

L'équipe de Tencent (HY-WU) propose une idée révolutionnaire : au lieu de forcer l'IA à changer sa personnalité pour tout le monde, donnons-lui une mémoire fonctionnelle.

Imaginez que l'IA principale est un grand orchestre symphonique (le modèle de base).

• L'ancienne méthode (LoRA statique) : On donne à l'orchestre une partition unique. S'ils doivent jouer du Jazz et de la Musique Classique, ils jouent un mélange bizarre des deux.
• La méthode HY-WU : On garde l'orchestre tel quel (il est déjà parfait pour la musique de base). Mais on ajoute un Chef d'Orchestre intelligent (le générateur HY-WU) qui regarde la demande du client.
  • Si vous voulez du Jazz, le Chef d'Orchestre donne instantanément la partition de Jazz aux musiciens.
  • Si vous voulez du Classique, il change la partition en une seconde.
  • Si vous voulez du Rock, il change encore la partition.

En résumé : L'orchestre ne change pas, mais la manière dont il joue change à chaque fois, exactement ce dont vous avez besoin, sans effort.

---

🎨 L'Expérience : La "Retouche Photo Guidée par le Texte"

Pour prouver que leur idée fonctionne, ils ont utilisé un test très difficile : modifier des images avec du texte.

Imaginez que vous dites à l'IA : "Enlève le gâteau de la table" (pour une photo de fête) ou "Ajoute de la neige" (pour une photo d'été).

• Le défi : Ces deux ordres sont opposés. L'un demande de supprimer, l'autre d'ajouter. Une IA rigide va essayer de faire les deux et créer un mélange bizarre (un gâteau de neige ?).
• Le résultat de HY-WU : L'IA comprend parfaitement la demande. Elle sait exactement quel "outil" (quelle partition) utiliser pour cette photo précise. Elle enlève le gâteau sans toucher au reste, ou ajoute la neige sans effacer les gens.

Les résultats sont impressionnants :

• Face à d'autres IA open-source (comme Qwen ou FLUX), HY-WU gagne massivement (environ 70% des votes humains).
• Elle bat même certaines IA payantes très connues (comme celles de Google ou OpenAI) dans des tests comparatifs.
• Elle est capable de faire des choses complexes comme changer les vêtements d'une personne tout en gardant son visage et sa posture parfaitement intacts, sans que l'image ne semble "collée" ou bizarre.

---

🔍 Pourquoi c'est une révolution ? (L'Analogie de la Mémoire)

Le papier explique que l'IA ne doit pas "oublier" ce qu'elle sait pour apprendre du nouveau.

• Avant (Mémoire Statique) : C'est comme écrire sur un tableau noir. Pour écrire un nouveau mot, il faut effacer l'ancien. Si vous écrivez trop de choses, le tableau devient illisible.
• Avec HY-WU (Mémoire Fonctionnelle) : C'est comme avoir un livre de recettes infini. L'IA de base est le cuisinier. Le livre de recettes (la mémoire) lui dit exactement quelle recette utiliser pour ce client précis.
  • Le cuisinier ne change pas.
  • La recette change à la volée.
  • Résultat : Pas de confusion, pas d'oubli, et une qualité parfaite pour chaque demande.

🚀 En Bref

HY-WU est une nouvelle façon de construire l'intelligence artificielle. Au lieu de forcer l'IA à être "moyenne" en essayant de tout faire d'un coup, on lui donne la capacité de s'adapter instantanément à chaque situation spécifique, comme un caméléon qui change de couleur selon son environnement, mais en restant le même animal.

C'est un pas de géant vers des IA qui peuvent travailler avec nous sur le long terme, apprendre de nos préférences sans se "casser", et faire des tâches créatives complexes avec une précision humaine.

Résumé technique

Résumé Technique : HY-WU (Part I) – Un Cadre de Mémoire Neuronale Fonctionnelle Extensible

1. Problématique et Contexte

Les modèles de fondation (Foundation Models) évoluent d'outils de prédiction statiques vers des systèmes déployés devant opérer sur de longues périodes. Dans ce contexte réel, les objectifs ne sont pas fixes : les domaines dérivent, les préférences utilisateurs évoluent et de nouvelles tâches émergent après le déploiement.

Le problème central identifié par les auteurs réside dans le paradigme d'adaptation statique dominant actuellement (SFT, LoRA, Adapters) :

• Le paradigme statique : Après l'entraînement, le modèle utilise un seul vecteur de paramètres mis à jour ($\Delta\theta_{static}$) pour toutes les inférences, indépendamment de l'intention de l'utilisateur ou du contexte spécifique.
• Les échecs structurels :
  1. Partage impossible (Infeasible Sharing) : Lorsque des objectifs hétérogènes (ex: "rajeunir" vs "vieillir" une image) induisent des régions faisables séparées dans l'espace des paramètres, un seul point de mise à jour partagé force un compromis, entraînant des comportements flous, une instabilité ou une domination d'un mode sur l'autre.
  2. Sur-spécialisation (Over-specialization) : L'entraînement d'adapters séparés par domaine évite le conflit mais conduit à une généralisation médiocre face aux changements de contexte ou d'instances.

L'hypothèse de travail est que l'adaptation ne doit pas être vue comme la recherche d'un point unique optimal, mais comme l'apprentissage d'une famille conditionnelle de points de paramètres, où la mémoire est une fonction qui synthétise des opérateurs spécifiques à l'instance.

2. Méthodologie : Le Cadre HY-WU

HY-WU (Weight Unleashing) propose un cadre d'adaptation "mémoire d'abord" (memory-first) qui déplace la pression d'adaptation du sur-écrasement d'un point de paramètres partagé vers la génération dynamique d'opérateurs.

2.1 Concept de Mémoire Fonctionnelle

Au lieu de récupérer du contexte (mémoire de contexte) ou de modifier statiquement les poids (mémoire de paramètres statique), HY-WU implémente une mémoire fonctionnelle :

• Un module neuronal $g_\phi$ (générateur) synthétise des mises à jour de poids $\Delta\theta(x)$ en temps réel à partir d'une condition d'instance $c(x)$.
• Le modèle final devient $f_{\theta + \Delta\theta(x)}$, où $\theta$ est le backbone figé et $\Delta\theta(x)$ est l'opérateur spécifique à l'instance.

2.2 Architecture et Implémentation (Instantiation en Édition d'Images)

Le papier valide ce cadre via une tâche stressante : l'édition d'images guidée par le texte (Text-to-Image-to-Image).

• Extraction de conditions hybrides : Le système combine les caractéristiques de l'image source et de l'instruction textuelle (via un encodeur vision-langage comme SigLIP2) pour former une condition $U$.
• Tokenisation 2D ancrée sur le rang (Rank-Anchored 2D Parameter Tokenization) :
  • Pour gérer les matrices de poids hétérogènes des grands modèles, les auteurs proposent une tokenisation intelligente. Ils exploitent le fait que le rang LoRA ($r$) est fixe.
  • Les matrices sont découpées et réorganisées en tokens de forme constante ($r \times d$), préservant la structure 2D et la localité architecturale, ce qui permet une attention factorisée efficace.
• Neural Network Transformer (NNT) : Un générateur basé sur Transformer transforme les conditions en tokens de paramètres. Il utilise une attention factorisée (intracouche et intercouche) et une initialisation à zéro pour la projection LoRA B afin d'assurer la stabilité au début de l'entraînement.
• Entraînement "On-the-Fly" (End-to-End) :
  • Contrairement aux approches antérieures de hyper-réseaux qui nécessitent la reconstruction de checkpoints pré-entraînés (coûteux en stockage et I/O), HY-WU entraîne le générateur directement via la perte de la tâche en aval (ex: perte de diffusion).
  • Le backbone reste figé ; les gradients remontent à travers les poids générés pour mettre à jour uniquement le générateur.

3. Contributions Clés

1. Reformulation du problème d'adaptation : Identification des modes d'échec structurels de l'adaptation statique (compromis vs sur-spécialisation) et proposition d'une interface de mémoire fonctionnelle comme solution.
2. Cadre HY-WU : Un système évolutif de génération conditionnelle de LoRA, incluant des innovations architecturales (tokenisation ancrée sur le rang, attention factorisée) et systémiques (entraînement sans reconstruction de checkpoints).
3. Preuves mécanistiques :
   • Démonstration que les gains proviennent de l'alignement condition-paramètre (routage) et non simplement de l'augmentation de la capacité paramétrique.
   • Analyse géométrique montrant que l'espace des paramètres générés forme une variété structurée sémantiquement, où les mises à jour proches correspondent à des sémantiques d'édition similaires.
4. Validation par stress-test : Utilisation de l'édition d'images conflictuelle (objectifs mutuellement exclusifs) pour prouver que l'approche conditionnelle préserve la spécialisation directionnelle là où les méthodes statiques échouent.

4. Résultats Expérimentaux

Les résultats sont évalués sur des benchmarks publics et internes, comparant HY-WU à des modèles open-source (Qwen, FLUX, Step1X) et fermés (Seedream, GPT Image, Nano-Banana).

• Évaluation Humaine (GSB - Win Rate) :
  • HY-WU bat massivement les meilleurs éditeurs open-source (taux de victoire de 67% à 78% contre Step1X, Qwen, LongCat, FLUX).
  • Il surpasse également des modèles fermés puissants : 55,6% contre Seedream 4.5 et 55,5% contre GPT Image 1.5.
  • Il reste compétitif face aux séries les plus récentes (Nano-Banana), avec des taux de victoire proches de 47-48%.
• Évaluations Automatiques :
  • #1 sur GEdit-Bench (consistance sémantique et qualité globale) parmi les modèles open-source.
  • #2 sur ImgEdit-Bench (score global 4.05), juste derrière GPT Image 1.5.
  • Sur le benchmark interne WU-Eval, HY-WU obtient le meilleur score global (4.27), surpassant tous les modèles publics et plusieurs modèles fermés, notamment sur les dimensions de consistance et de structure.
• Études d'ablation :
  • La suppression de l'alignement instance-paramètre (mélange des conditions) fait chuter les performances au niveau du modèle de base, prouvant que le routage conditionnel est le moteur des performances, et non la simple capacité paramétrique.
  • L'analyse des gradients montre que les objectifs conflictuels créent des interférences structurelles dans l'entraînement statique, que HY-WU résout par le routage.

5. Signification et Perspectives

HY-WU (Part I) marque un changement de paradigme dans la conception des modèles de fondation et de l'IA agentique :

• De l'optimisation statique à la mémoire fonctionnelle : L'adaptation ne doit plus viser un "point unique" dans l'espace des paramètres, mais apprendre une carte de routage vers une famille de paramètres. Cela permet de gérer l'hétérogénéité des objectifs sans compromis destructeur.
• Évolutivité et Efficacité : Le cadre suggère que l'échelle (scaling) ne doit pas se limiter à l'augmentation de la taille du backbone, mais doit inclure l'allocation de capacité à une mémoire fonctionnelle structurée. Cela permet de spécialiser le calcul par instance sans corrompre la base partagée.
• Futur (Roadmap) : Ce papier pose les bases d'une série HY-WU qui explorera l'intégration de la mémoire de récupération (retrieval) avec la mémoire fonctionnelle, l'apprentissage continu en ligne, et l'application à des horizons temporels longs (vidéo, agents).

En conclusion, HY-WU démontre que la génération conditionnelle de poids (operator synthesis) est une interface de mémoire supérieure pour l'adaptation instantanée et l'apprentissage continu, offrant une robustesse structurelle face aux conflits d'objectifs que les méthodes statiques actuelles ne peuvent pas résoudre.