Résumé technique : Les éditions de texte se généralisent-elles à la génération visuelle ? Évaluation de l'édition de connaissances transmodales dans les UMM

Énoncé du problème

Les modèles multimodaux unifiés (UMM) ont émergé comme un paradigme pour l'intelligence multimodale généraliste, utilisant un squelette partagé pour représenter conjointement les images et le texte. Alors que les techniques d'édition de connaissances (KE) ont mûri pour les modèles purement textuels — permettant de mettre à jour des faits spécifiques sans réentraînement complet — il reste incertain si les éditions appliquées uniquement via la modalité textuelle se propagent efficacement à la génération visuelle. La question centrale abordée est la suivante : si un UMM est édité pour affirmer un nouveau fait en texte (par exemple, « une pomme est bleue »), générera-t-il par la suite des images reflétant cette connaissance mise à jour lors d'une sollicitation pour la synthèse visuelle ? Les méthodes actuelles manquent d'un moyen systématique d'évaluer si les mises à jour de paramètres textuels se traduisent par des changements cohérents et visuellement vérifiables dans les images générées.

Méthodologie

Le benchmark UNIKE

Pour étudier cela, les auteurs introduisent UNIKE, le premier benchmark spécifiquement conçu pour l'édition de connaissances transmodale dans les UMM.

• Échelle et portée : UNIKE comprend 2 971 sujets d'édition couvrant deux axes de connaissances factuelles : les éditions d'attributs (propriétés intrinsèques comme la couleur, le matériau, la forme, la taille, le motif) et les éditions de relations (faits relationnels comme l'occupation, l'emplacement, l'affiliation, le créateur).
• Instances d'évaluation : Ces sujets sont étendus en 5 535 instances d'évaluation via une conception multi-étapes pour tester la généralisation compositionnelle et l'ancrage :
  1. Objet atomique : Référence directe à l'entité.
  2. Contexte réaliste : L'entité dans des éclairages/arrière-plans variés.
  3. Composition complexe : Scènes multi-entités avec des interactions.
  4. Produit dérivé : Attributs transférés à des dérivés ou des usages (ex: jus de citron au lieu du citron).
• Vérification visuelle : Contrairement aux benchmarks textuels, UNIKE emploie une vérification visuelle basée sur le VQA. Un juge automatisé (Qwen3-VL) évalue si les images générées satisfont une description cible visuelle ($t_{vis}$) et répondent à une requête VQA spécifique ($q_{vqa}$) cohérente avec le fait édité. Crucialement, les prompts d'image sont conçus pour être « neutres quant à la réponse », garantissant que le modèle repose sur la connaissance éditée interne plutôt que sur une fuite de prompt.

Protocoles d'évaluation

Les auteurs évaluent les modèles sous deux protocoles pour mesurer le transfert transmodal :

1. DIRECT : Le modèle génère une image directement à partir du prompt d'image neutre ($p_{img}$). Cela teste si l'édition de paramètres affecte implicitement la synthèse visuelle.
2. AUGMENTATION PAR LE RAISONNEMENT (REASONING-AUGMENTED) : Avant la génération d'image, le modèle est sollicité pour produire un raisonnement textuel intermédiaire ($r$) qui rappelle explicitement le fait édité. Ce raisonnement est ensuite fourni comme une contrainte textuelle supplémentaire aux côtés du prompt d'image. Cela teste si l'activation explicite de la connaissance éditée dans le contexte textuel améliore le transfert visuel.

Configuration expérimentale

L'étude évalue trois UMM représentatifs aux architectures distinctes : Ovis-U1, BLIP3o-4B et OmniGen2. Trois méthodes d'édition de paramètres sont appliquées : MEMIT, PMET et AlphaEdit. L'évaluation se concentre sur des réglages d'édition séquentielle, limitant les mises à jour aux couches MLP intermédiaires où la connaissance factuelle est typiquement localisée.

Résultats clés

Le fossé de modalité

La découverte principale est un frappant fossé d'édition de connaissances transmodales.

• Succès du côté texte : Les méthodes d'édition de paramètres atteignent une efficacité élevée sur les métriques textuelles (jusqu'à ~92 % dans certains cas).
• Échec visuel : Sous le protocole DIRECT, la meilleure précision VQA globale pour la génération d'images n'est que de 18,5 %. Dans de nombreux cas, la précision VQA ne conserve qu'un huitième ou un quart de l'efficacité textuelle correspondante.
• Conclusion : Modifier avec succès les sorties textuelles ne garantit pas que le modèle synthétisera des images reflétant la connaissance mise à jour.

Impact de l'édition augmentée par le raisonnement

Le protocole d'édition de paramètres augmentée par le raisonnement réduit considérablement ce fossé, mais ne l'élimine pas.

• Gains de performance : En sollicitant une étape de raisonnement explicite, la précision VQA globale s'améliore pour toutes les paires modèle-éditeur, avec des gains atteignant jusqu'à 18,6 points de pourcentage.
• Mécanisme : L'étape de raisonnement force le modèle à verbaliser le fait édité, convertissant les changements de paramètres latents en contraintes textuelles explicites qui guident le générateur visuel.
• Limites : Le fossé persiste, indiquant que la récupération textuelle et la réalisation visuelle restent des étapes distinctes. La performance chute davantage lorsque les prompts passent de références directes à des compositions complexes et des produits dérivés.

Analyse mécaniste : Le goulot d'étranglement de la voie de conditionnement

Les auteurs fournissent des preuves mécanistes que le fossé provient d'un goulot d'étranglement de la voie de conditionnement.

• Atténuation du signal : Les perturbations induites par l'édition, suffisantes pour altérer le rappel textuel, sont souvent atténuées ou désalignées avant d'atteindre le générateur d'images.
• Différences architecturales :
  • Ovis-U1 utilise une projection linéaire de réduction de dimensionnalité gelée entre le LLM et le Transformer de Diffusion (DiT). Cette projection agit comme un filtre, ne préservant qu'environ 35 % de l'énergie de la perturbation induite par l'édition, ce qui affaiblit considérablement le signal pour la génération visuelle.
  • BLIP3o-4B et OmniGen2 ne possèdent pas cette projection gelée spécifique, ce qui entraîne des dérives de l'édition implicite plus importantes à la sortie du LLM, pourtant ils peinent toujours avec le transfert visuel, suggérant que la magnitude du signal seul est insuffisante ; l'alignement avec la voie de conditionnement est critique.
• Effet du raisonnement : L'augmentation par le raisonnement introduit un changement de conditionnement qualitativement différent et plus fort. Pour Ovis-U1, cela augmente la distance de conditionnement effective par un facteur de 8,56, contournant efficacement le goulot d'étranglement de la projection en exploitant la séquence textuelle complète pour le conditionnement.

Contributions

1. Benchmark UNIKE : Introduction du premier benchmark pour l'édition de connaissances transmodales, comprenant 2 971 sujets et 5 535 instances avec une vérification visuelle rigoureuse.
2. Preuve empirique du fossé de modalité : Démonstration systématique que le succès de l'édition du côté texte n'induit pas de manière fiable des changements visuels dans les UMM, soulignant une limitation fondamentale dans le transfert transmodal actuel.
3. Protocole d'augmentation par le raisonnement : Proposition d'une méthode qui active explicitement la connaissance éditée via un raisonnement intermédiaire, améliorant considérablement le transfert visuel et fournissant une base pour les futures stratégies d'édition.
4. Perspectives mécanistes : Identification du goulot d'étranglement de la voie de conditionnement comme la cause racine du fossé de modalité, montrant que les signaux d'édition peuvent être filtrés ou désalignés par les interfaces architecturales (ex: projections gelées) avant d'atteindre le générateur visuel.

Signification et affirmations

L'article affirme que les éditions de connaissances textuelles seules sont insuffisantes pour un transfert transmodal robuste dans les modèles multimodaux unifiés. Les conclusions motivent le développement de méthodes d'édition sensibles à la modalité qui ciblent directement les voies responsables de la génération visuelle, plutôt que de compter uniquement sur les mises à jour de paramètres textuels. Le travail suggère que pour que les UMM puissent simuler et interpréter efficacement le monde physique avec des connaissances mises à jour, les stratégies d'édition doivent tenir compte des mécanismes de conditionnement distincts requis pour la synthèse visuelle. Les auteurs soulignent que sans de telles approches ciblées, les modèles peuvent maintenir une connaissance textuelle cohérente tout en générant un contenu visuel contradictoire.