Résumé Technique : Au-delà des Éditions Binaires : Édition de Connaissances Multimodales Robuste par Alignement de Sous-espace Adversarial

1. Définition du Problème

Les Modèles de Langage de Grande Taille Multimodaux (MLLM) nécessitent des mécanismes efficaces pour mettre à jour les connaissances factuelles sans dégrader les capacités existantes. Bien que l'Édition de Connaissances Intrinsèque (KE) offre des mises à jour persistantes et robustes en modifiant directement les paramètres du modèle, les méthodes actuelles souffrent d'une généralité limitée. Plus précisément, les approches existantes échouent souvent à propager les éditions vers des entrées sémantiquement équivalentes lorsque des variations visuelles ou linguistiques surviennent (par exemple, un texte reformulé ou un arrière-plan d'image modifié).

L'article identifie trois défis fondamentaux entravant l'édition multimodale robuste :

1. Absence de Supervision Sémantique Évolutif : La généralisation ne peut être fiablement imposée via des objectifs supervisés simples car les entrées sémantiquement équivalentes résident souvent dans des régions éloignées de variétés courbes de haute dimension. Les méthodes existantes effectuent des déformations localisées autour d'échantillons limités, créant des régions d'influence sémantique étroites.
2. Portées d'Édition Binaires Rigides : La plupart des méthodes supposent une frontière statique et binaire entre les connaissances « dans le périmètre » (éditées) et « hors périmètre ». Cela simplifie excessivement la nature continue de la pertinence sémantique, amenant les modèles à traiter les périmètres d'édition comme des décisions fermées plutôt que comme des frontières apprises, conduisant à des jugements erronés sous des décalages de distribution.
3. Ancrage Sémantique Fiable : Les méthodes actuelles ancrent les mises à jour de paramètres à des échantillons individuels, ce qui amène le modèle à surajuster à des motifs visuels accidentels ou à des artefacts linguistiques. Cela restreint la frontière de généralisation et limite la robustesse face aux entrées reformulées.

L'objectif est d'atteindre une Édition de Connaissances Robuste, définie comme la mise à jour d'un modèle $f_\theta$ telle que pour une unité de connaissance $K_i$ (un ensemble de paires d'entrées sémantiquement équivalentes), le modèle mis à jour $f_{\theta'}$ prédise correctement la cible $y^*$ pour toutes les paires $(x_v, x_t) \in K_i$, tout en préservant les prédictions sur les connaissances hors périmètre.

2. Méthodologie : Cadre ASAM

Les auteurs proposent ASAM (AlignMent de Sous-espace Adversarial), un cadre conçu pour internaliser les connaissances éditées comme un concept sémantique cohérent stable face aux variations multimodales. ASAM opère au niveau de la représentation à travers trois composants étroitement couplés :

2.1 Robustification Adversaire Latente (LAR)

Pour pallier l'absence de supervision évolutive (Défi 1), ASAM introduit LAR, un mécanisme piloté par le gradient qui génère des variantes adverses diverses et sémantiquement cohérentes dans l'espace latent conjoint vision-langage.

• Mécanisme : Étant donné une demande d'édition avec des embeddings latents $z = [e_v, e_t]$, LAR calcule le gradient de la perte d'entropie croisée par rapport à l'entrée : $g_z = \nabla_z \mathcal{L}_{ce}(f_\theta(z), y^*)$.
• Génération : Il résout un problème de maximisation interne pour trouver des perturbations $\delta^*$ qui maximisent la perte tout en restant dans un budget de déviation sémantique $\epsilon$ :
  $$\delta^* = \arg \max_{\|\delta\| \le \epsilon} \mathcal{L}_{ce}(f_\theta(z + \delta), y^*)$$
• Résultat : Cela génère $n$ variantes adverses $\{z^*_1, \dots, z^*_n\}$ qui défient les paramètres actuels du modèle, élargissant efficacement le voisinage sémantique autour du concept édité sans dépendre d'une supervision externe.

2.2 Apprentissage de Sous-espace à Rang Contraint (RCSL)

Pour prévenir l'ancrage d'échantillons peu fiables (Défi 3) et imposer la cohérence, ASAM propose RCSL.

• Insight Central : Une généralisation robuste nécessite d'apprendre une frontière continue et adaptative où toutes les variantes adverses convergent vers un noyau sémantique partagé, plutôt que de traiter les échantillons individuels comme des positifs absolus.
• Implémentation : RCSL impose que les états cachés de toutes les variantes (originales et adverses) s'alignent dans un sous-espace de représentation de bas rang.
• Formulation Mathématique : Soit $H_s$ la matrice des états cachés normalisés en $\ell_2$. La matrice de Gram $G = H_s H_s^\top$ capture les similarités par paires. Un alignement parfait implique $G = \mathbf{1}\mathbf{1}^\top$, ce qui correspond à une matrice de rang 1.
• Objectif : En utilisant la Décomposition en Valeurs Singulières (SVD) sur $H_s$, la méthode minimise une perte d'alignement qui supprime les valeurs singulières secondaires ($\sigma_{j>1}$) par rapport à la valeur singulière dominante ($\sigma_1$) :
  $$\mathcal{L}_{align} = -\log \left( \frac{\exp(\sigma_1/\tau)}{\sum_{j=1}^{n+1} \exp(\sigma_j/\tau)} \right)$$
  Cela force toutes les représentations adverses vers un seul axe sémantique partagé.

2.3 Flux de Gradient Asymétrique

Pour atténuer les périmètres binaires rigides (Défi 2), ASAM emploie un Flux de Gradient Asymétrique.

• Mécanisme : L'état caché original $\hat{h}_0$ agit comme un ancrage sémantique et est détaché de la perte d'alignement $\mathcal{L}_{align}$. Seules les variantes adverses $\{\hat{h}_i\}_{i=1}^n$ propagent les gradients à travers l'objectif d'alignement.
• Effet : Cela garantit que la robustesse est obtenue en mettant à jour de manière adaptative les paramètres de la couche d'édition pour aligner des entrées diverses avec les sémantiques originales, plutôt que de déformer la représentation originale.
• Objectif Total : L'optimisation finale combine fiabilité, localité et alignement :
  $$\mathcal{L}_{total} = \mathcal{L}_{rel} + \mathcal{L}_{loc} + \beta \mathcal{L}_{align}$$

3. Contributions Clés

1. Proposition de Cadre : Introduction d'ASAM, un cadre d'alignement de sous-espace adversarial pour l'édition de connaissances multimodales robuste qui va au-delà des mises à jour centrées sur l'échantillon.
2. Robustification Adversaire Latente (LAR) : Une méthode novatrice pour générer des variantes latentes diverses et cohérentes via une perturbation pilotée par le gradient, permettant une supervision sémantique évolutive pour l'édition.
3. Apprentissage de Sous-espace à Rang Contraint (RCSL) : Une technique utilisant des objectifs basés sur les valeurs singulières pour imposer un alignement sémantique de bas rang et une mise en forme de frontière adaptative, surmontant les périmètres d'édition rigides et l'ancrage d'échantillons peu fiables.
4. Validation Empirique : Des expériences extensives démontrant la supériorité d'ASAM par rapport aux méthodes existantes en termes de généralité, de fiabilité et de localité.

4. Résultats Expérimentaux

Les auteurs ont évalué ASAM sur le benchmark MMEdit (couvrant les tâches Édition VQA et Édition de Légende d'Image) en utilisant BLIP2-OPT et MiniGPT-4 comme architectures de base.

• Performance d'Édition Unique : ASAM a constamment amélioré la généralité à travers les paradigmes d'édition (par exemple, améliorant la généralité de WISE sur BLIP2 E-VQA de 84,80 à 93,97) sans sacrifier la fiabilité ou la localité.
• Édition Séquentielle : Dans des scénarios d'édition tout au long de la vie (jusqu'à 100 éditions séquentielles), ASAM a surpassé des bases de référence comme WISE, montrant un écart croissant en généralité à mesure que le nombre d'éditions augmentait (par exemple, 34,90 contre 50,90 à $n=100$), indiquant une meilleure résistance à l'interférence sémantique et à l'accumulation d'erreurs.
• Agnosticisme du Modèle : Le cadre a démontré des améliorations constantes à travers différentes architectures de base MLLM (incluant LLaVA et Qwen2VL), suggérant qu'il opère à un niveau de représentation agnostique au modèle.
• Études d'Ablation :
  • LAR vs. Reformulation : Les variantes générées par LAR ont fourni des gains significatifs en généralité par rapport à la reformulation de surface (SimCSE), prouvant la nécessité d'exposer les sensibilités sémantiques spécifiques au modèle.
  • RCSL vs. Autres Alignements : L'alignement contraint par le rang a surpassé la similarité cosinus et les contraintes de norme $\ell_2$, validant que l'imposition d'une direction sémantique principale partagée est cruciale pour une internalisation robuste.
• Surcharge : Le cadre a introduit une surcharge mémoire minimale (0,8 % pour BLIP2) et une augmentation gérable du temps d'exécution (5 %), attribuées à l'exploration adversaire supplémentaire.

5. Signification et Revendications

L'article revendique qu'ASAM comble un écart de performance critique dans l'édition multimodale intrinsèque : le compromis entre fiabilité (corriger le fait spécifique) et généralité (appliquer la correction aux variations sémantiquement équivalentes).

• Robustesse : En internalisant les éditions comme un concept sémantique cohérent plutôt que comme des mappages fragiles au niveau de l'instance, ASAM garantit que les connaissances éditées restent stables sous des décalages de distribution visuels et linguistiques.
• Frontières Adaptatives : La méthode s'éloigne des périmètres d'édition statiques et binaires vers des frontières apprises et adaptatives qui respectent la nature continue de la pertinence sémantique.
• Praticité : Le cadre est présenté comme un module d'optimisation plug-and-play compatible avec les modèles d'édition existants basés sur la perte, offrant des gains significatifs de robustesse avec des coûts de calcul gérables.

Les auteurs concluent que cette approche facilite des modifications plus contrôlables, stables et prévisibles des modèles à grande échelle, ce qui est essentiel pour des scénarios réels où les connaissances évoluent rapidement ou nécessitent une correction a posteriori. Un travail futur est proposé pour étendre ce cadre à des domaines plus larges tels que les modèles vidéo-langage et les agents incarnés.