Résumé Technique : Diagnostic et Correction de l'Omission de Concepts dans les Transformers de Diffusion Multimodaux

Énoncé du Problème

Les Transformers de Diffusion Multimodaux (MM-DiT), tels que FLUX et Stable Diffusion 3.5, ont réalisé des progrès significatifs dans la génération d'images à partir de texte (T2I). Cependant, ils souffrent fréquemment d'omission de concepts, un mode de défaillance où des objets spécifiques demandés dans l'invite sont entièrement absents de l'image générée (omission d'objet) ou où leurs propriétés visuelles sont ignorées (négligence d'attribut). Les solutions existantes nécessitent souvent un entraînement supplémentaire du modèle ou entraînent des coûts computationnels élevés lors de l'inférence. De plus, les recherches antérieures sur l'interprétabilité se sont largement concentrées sur les plongements visuels, laissant le rôle des plongements textuels dans la détection et la correction de ces omissions sous-exploré.

Méthodologie

1. Diagnostic par Sondage Linéaire

Les auteurs émettent l'hypothèse que les plongements de jetons textuels au sein des MM-DiT contiennent des informations concernant la présence ou l'absence du concept correspondant durant le processus de génération. Pour vérifier cela, ils emploient le sondage linéaire :

• Construction de l'ensemble de données : Ils génèrent des images à l'aide d'invites contenant deux objets (basées sur GenEval). Ils étiquettent les représentations internes en fonction de la réussite de l'apparition des objets dans l'image finale.
• Sélection des représentations : Ils se concentrent sur les vecteurs clés ($k$) des jetons textuels, car il est connu qu'ils influencent fortement la génération d'image dans les architectures MM-DiT.
• Filtrage temporel : Ils observent que l'alignement entre les représentations internes et les résultats de génération finale est faible aux étapes initiales et tardives. Par conséquent, ils restreignent leur analyse aux étapes intermédiaires, où l'accord entre les images propres prédites ($\hat{x}_0$) et les étiquettes finales est le plus élevé (0,965).
• Résultats : Les classifieurs linéaires entraînés sur ces représentations intermédiaires atteignent une précision élevée (jusqu'à 91,0 %) dans certaines têtes d'attention, en particulier dans les couches intermédiaires du modèle. Cela confirme que des têtes spécifiques encodent un "signal d'omission" distinct qui différencie la présence de l'absence d'un concept.

2. Intervention sur le Signal d'Omission (OSI)

S'appuyant sur le signal d'omission identifié, les auteurs proposent l'Intervention sur le Signal d'Omission (OSI), une méthode sans entraînement appliquée lors de l'inférence pour corriger l'omission de concepts :

• Extraction de la direction : Ils calculent un vecteur de direction de pilotage ($\delta$) représentant la différence entre les vecteurs clés moyens des concepts omis ($y=0$) et des concepts présents ($y=1$).
• Mécanisme d'intervention : Lors de l'inférence, ils interviennent sur les vecteurs clés de jetons de concepts spécifiques en ajoutant une version mise à l'échelle de ce vecteur de direction :
  $$k^{(t,l,h)}_c \leftarrow k^{(t,l,h)}_c + \alpha \sigma^{(l,h)} \theta^{(l,h)}$$
  Où $\theta$ est la direction normalisée, $\sigma$ est l'écart-type des projections, et $\alpha$ est un hyperparamètre contrôlant l'intensité.
• Stratégie de ciblage : Pour minimiser les perturbations non intentionnelles, l'intervention est appliquée uniquement à :
  1. Les têtes d'attention top-K ayant la précision de sondage la plus élevée.
  2. Des intervalles de temps spécifiques (les étapes initiales du processus de génération, $t \in [t_{stop}, 1]$), où la formation du concept se produit principalement.

Contributions Clés

1. Vérification Empirique : L'article démontre que les jetons textuels dans les MM-DiT capturent des informations liées à l'omission par une interaction conjointe avec les jetons d'image, spécifiquement au sein de certaines têtes d'attention aux étapes intermédiaires.
2. Méthode OSI : L'introduction de l'Intervention sur le Signal d'Omission, qui amplifie le "signal d'omission" interne pour rendre le modèle conscient des concepts manquants, catalysant ainsi leur génération sans réentraînement.
3. Validation Complète : La méthode est validée sur deux catégories de références (omission d'objet et négligence d'attribut) sur deux modèles de l'état de l'art (FLUX.1-Dev et SD3.5-Medium), montrant des améliorations significatives par rapport à des bases solides comme TACA et PLADIS.

Résultats Expérimentaux

• Omission d'Objet : Sur l'ensemble de données GenEval (2 à 6 objets) et T2I-CompBench, OSI surpasse nettement les bases. Par exemple, sur FLUX avec des invites de 6 objets, OSI atteint une précision de 0,40, contre 0,18 pour le modèle de base et 0,20 pour TACA/PLADIS.
• Négligence d'Attribut : OSI améliore les performances sur les tâches de liaison d'attributs (couleur, forme, texture) sur les deux modèles. Notamment, l'application de l'intervention aux jetons d'attributs (en plus des jetons d'objet) produit des gains supplémentaires, suggérant que le signal se généralise au-delà des jetons d'objet.
• Études d'Ablation :
  • Direction : Inverser la direction ou utiliser des vecteurs aléatoires dégrade les performances ou produit des gains marginaux, confirmant l'alignement sémantique de la direction apprise.
  • Sélection de Têtes : Intervenir sur des têtes à faible précision ou des têtes aléatoires ne parvient pas à égaler les performances de la sélection des têtes top-K.
  • Spécificité des Jetons : Intervenir uniquement sur les jetons omis augmente considérablement leur probabilité et leur précision de génération, tandis que l'intervention sur des jetons déjà présents a un effet négligeable.
  • Hyperparamètres : La méthode est robuste sur une gamme de coefficients de mise à l'échelle ($\alpha$) et de nombres de têtes ($K$), avec des paramètres optimaux équilibrant l'alignement et la qualité de l'image (mesurée par MANIQA).

Importance et Revendications

L'article revendique que l'OSI offre une nouvelle perspective sur le mécanisme de la génération d'images à partir de texte en identifiant que le modèle possède une conscience interne et détectable des concepts manquants. En amplifiant ce signal, le modèle peut être orienté pour "halluciner" intentionnellement les éléments manquants.

Les auteurs positionnent l'OSI comme une solution sans entraînement et économiquement efficace sur le plan computationnel, qui atténue l'omission de concepts sans nécessiter de fine-tuning ni d'optimisation de contraintes complexes. Ils soulignent que si la méthode améliore la contrôlabilité, elle n'introduit pas de nouvelles connaissances dans le modèle mais oriente plutôt les représentations existantes. Ce travail suggère que la compréhension et la manipulation des "signaux d'omission" internes constituent une voie viable pour améliorer la fidélité des modèles de diffusion multimodaux.