Résumé Technique : Généralisation de la portée de l'édition de connaissances multimodales pour l'édition récursive en ligne des MLLM

1. Définition du problème et motivation

L'édition de connaissances multimodales en ligne vise à injecter un flux continu de corrections visuo-textuelles dans les modèles de langage multimodaux (MLLM) sans réentraînement, tout en présant les capacités non liées. Alors que les méthodes existantes privilégient la fiabilité de l'édition (corriger la requête spécifique) et la stabilité à long terme (prévenir l'oubli catastrophique), elles négligent largement la frontière sémantique de chaque édition.

Les auteurs identifient un « écart de portée » critique dans les approches actuelles :

• Sous-généralisation : Les éditions fiables échouent souvent à se transférer aux variantes cross-modales sémantiquement équivalentes (par exemple, une édition textuelle qui ne parvient pas à mettre à jour la réponse du modèle à une question paraphrasée ou à une image liée).
• Sur-généralisation : Les éditions « fuient » fréquemment vers des entrées non liées, altérant des comportements qui devraient rester intacts.
• Mécanisme : Des analyses pilotes révèlent que les réponses cross-modales liées à l'édition se concentrent dans les couches sémantiques profondes où les jetons visuels et textuels présentent des pics d'énergie synchronisés. Cependant, les éditeurs actuels ne contrôlent pas explicitement la propagation de ces mises à jour, ce qui conduit soit à une généralisation insuffisante, soit à une fuite involontaire.

Le papier formule la Généralisation de la portée de l'édition comme un nouveau critère, exigeant que les connaissances éditées se généralisent uniquement dans leur région sémantique prévue (généralisation cross-modale intra-portée) tout en restant invisibles pour les entrées non liées (préservation de la localité hors-portée).

2. Méthodologie : ScopeEdit

Les auteurs proposent ScopeEdit, un éditeur en ligne conçu pour contrôler la frontière de propagation des éditions via un cadre de mise à jour à deux branches sensible à la portée.

Architecture centrale

ScopeEdit décompose chaque mise à jour à une couche $l$ donnée en deux branches fonctionnellement séparées opérant dans des sous-espaces de rang faible orthogonaux :

1. Branche d'absorption locale à la modalité ($\Delta W_{loc}$) :
   • Fonction : Toujours active. Responsable de l'édition stable et fiable du contexte local à la modalité spécifique.
   • Objectif : Garantit que l'édition est absorbée correctement pour la requête originale tout en préservant la localité hors-portée.
   • Géométrie : Utilise une base de rang faible fixe $A_{loc}$ et accumule les statistiques historiques provenant uniquement des contextes textuels.
2. Branche de généralisation partagée par porte d'évidence ($\Delta W_{sh}$) :
   • Fonction : Activée conditionnellement. Responsable de la propagation de l'édition vers des variantes cross-modales sémantiquement valides.
   • Objectif : Permet la généralisation cross-modale intra-portée uniquement lorsqu'une preuve sémantique suffisante existe.
   • Mécanisme : Utilise une base de rang faible fixe $A_{sh}$ orthogonale à $A_{loc}$. Elle accumule des statistiques cross-modales à porte dérivées des entrées visuelles et textuelles.

Porte d'activation de la portée

La branche partagée n'est activée que lorsque les preuves visuelles et textuelles sont directionnellement alignées et supportées de manière comparable. La porte $\gamma_t^{(l)}$ est calculée sur la base de :

• Accord directionnel : Similitude cosinus entre les clés (keys) projetées du texte et de la vision dans le sous-espace partagé.
• Support bilatéral : Le ratio du minimum à l'énergie maximale des clés projetées.
  Si la valeur de la porte est faible (indiquant un conflit ou une preuve faible), la branche partagée est supprimée, empêissant l'édition de se propager à des contextes non liés.

Mises à jour récursives en ligne

Pour maintenir un coût par édition constant et prévenir l'interférence entre éditions :

• Décomposition orthogonale : Le budget de rang total $r$ est divisé en $r_\ell$ (local) et $r_s$ (partagé). Les bases $A_{loc}$ et $A_{sh}$ sont fixes et orthogonales ($A_{loc}A_{sh}^\top = 0$).
• Récursion de Sherman-Morrison : Les deux branches maintiennent leurs propres préconditionneurs récursifs ($P_{loc}$ et $P_{sh}$) en utilisant le lemme de Sherman-Morrison. Cela permet des mises à jour en $O(r^2)$ par édition, indépendantes de la longueur du flux d'éditions $t$, évitant ainsi le besoin d'inversion de matrice explicite ou de stockage des instances d'éditions passées.

3. Contributions clés

1. Formulation de la Généralisation de la portée de l'édition : Le papier définit un critère fondé distinguant le transfert cross-modal justifié de la fuite involontaire. Les analyses pilotes démontrent que la fiabilité seule est insuffisante, car des éditions fiables peuvent encore présenter une sous-généralisation (28,60 %) et une sur-généralisation (7,20 %).
2. Cadre ScopeEdit : Un nouvel éditeur en ligne qui décompose les mises à jour en une branche d'absorption locale à la modalité et une branche de généralisation partagée par porte d'évidence. Il utilise des géométries d'écriture de rang faible séparées par la portée et des préconditionneurs récursifs par branche pour atteindre un coût par édition constant.
3. Évaluation exhaustive : Expérimentations approfondies sur divers benchmarks (E-VQA, E-IC, VLKEB), de longs flux d'éditions (jusqu'à 100 éditions) et plusieurs backbones de MLLM (BLIP2-OPT, LLaVA-v1.5, Qwen2-VL, Qwen3-VL).

4. Résultats expérimentaux

ScopeEdit a été évalué par rapport aux éditeurs de modification de paramètres (ex: M-ORE, FT, MEND) et de préservation de paramètres (ex: SERAC, LiveEdit) de pointe.

• Équilibre des performances : ScopeEdit atteint systématiquement le meilleur compromis entre la généralisation cross-modale intra-portée et la localité hors-portée. Par exemple, sur LLaVA-v1.5 avec 100 éditions, ScopeEdit a amélioré la généralité multimodale (M-Gen) de 78,29 (M-ORE) à 86,35 tout en maintenant une localité élevée.
• Stabilité à long terme : Contra\à des méthodes comme MEND, qui montrent une dérive de représentation significative et une dégradation de la localité après 100 éditions, ScopeEdit maintient des distributions d'états cachés stables et l'enchevêtrement des poids reste faible grâce aux sous-espaces orthogonaux.
• Efficacité : ScopeEdit atteint une latence par édition constante (~0,93s) et un surcoût de mémoire indépendant de la longueur du flux $t$, surpassant les méthodes de projection dense comme AlphaEdit.
• Applicabilité au monde réel : Sur le benchmark VLKEB (édition de connaissances vision-langage en conditions réelles), ScopeEdit a démontré une portabilité et une stabilité supérieures par rapport au fine-tuning et aux méthodes basées sur la mémoire.
• Généralisation de l'architecture : La méthode se généralise à des architectures complexes (Qwen2-VL, Qwen3-VL) et peut être étendue pour éditer les modules du côté vision, renforçant davantage la généralisation cross-modale.

5. Signification et affirmations

Le papier affirme que la Généralisation de la portée de l'édition est une dimension nécessaire et distincte de l'édition de MLLM en ligne, séparée de la fiabilité et de la stabilité. Les auteurs soutiennent que :

• Les éditions fiables ne garantissent pas des frontières sémantiques correctes ; un contrôle explicite de la propagation est requis.
• Le mécanisme proposé ScopeEdit découple efficacement l'absorption locale de la généralisation cross-modale, permettant au modèle de se généraliser à des variantes valides sans fuir vers des entrées non liées.
• L'utilisation d'espaces de rang faible orthogonaux et de portes d'évidence fournit une solution théoriquement fondée et empiriquement efficace pour l'apprentissage multimodal continu, offrant un équilibre favorable entre plasticité (apprendre de nouveaux faits) et stabilité (préserver les anciennes connaissances).

Le travail conclut que ScopeEdit fournit un principe largement applicable pour l'édition multimodale en ligne, permettant aux MLLM de supporter une adaptation des connaissances plus fiable et évolutive.