Résumé Technique : Au-delà du Littéral : Décomposition de l'Intention Pragmatique dans la Compréhension des Mèmes Multimodaux

1. Définition du Problème

Les grands modèles de langage visuels (LVLM) peinent actuellement à interpréter les mèmes multimodaux et les publications sarcastiques lorsque l'intention communicative de l'auteur diverge du contenu littéral. Face à un mème (par exemple, un chien joyeux avec la légende « encore un super lundi »), les LVLM ont tendance à générer des descriptions littérales des éléments visuels et textuels plutôt qu'à inférer le sens pragmatique sous-jacent (par exemple, une plainte concernant le travail).

Les approches existantes traitent souvent l'intention comme une cible de classification ou de génération de bout en bout, entraînée sur la représentation fusionnée complète image-texte. Cela entremêle le signal littéral (ce qui est représenté/dit) avec le signal pragmatique (pourquoi cela a été dit). Par conséquent, lorsque les caractéristiques littérales (par exemple, un visage souriant ou des mots positifs) dominent la représentation, le décodeur retombe par défaut dans un « effondrement littéral », reformulant les détails de surface indépendamment de l'étiquette de supervision. Cet échec est plus aigu dans les scénarios à haute divergence, où le sens voulu contraste fortement avec la forme de surface.

2. Méthodologie : Projection d'Intention

Les auteurs proposent l'Intent Projection (Projection d'Intention), un cadre conçu pour séparer structurellement les signaux littéraux et pragmatiques au sein d'un seul squelette de LVLM à trois niveaux : la représentation, la sortie et l'objectif.

A. Niveau de Représentation : Projection Pragmatique

L'innovation centrale est un module de projection orthogonale qui isole le résidu pragmatique de la représentation fusionnée.

• Mécanisme : Le modèle calcule un vecteur fusionné $c$ à partir des résumés image et texte. Il identifie ensuite le « sous-espace littéral » engendré par les résumés unimodaux de l'image ($u_v$) et du texte ($u_t$).
• Projection : Le vecteur pragmatique $\hat{h}_{prag}$ est calculé en projetant $c$ orthogonalement sur le sous-espace orthogonal aux directions littérales :
  $$\hat{h}_{prag} = (I - P_L)c$$
  où $P_L$ est la matrice de projection sur le sous-espace littéral. Cela élimine les directions unimodales dominantes, ne laissant que l'interaction cross-modale qui conduit l'intention.
• Conditionnement : $\hat{h}_{prag}$ est injecté au décodeur comme un jeton (token) mou (soft token). De plus, un Classifieur d'Affect de Surface prédit un tag discret issu d'un produit cartésien à quatre voies du sentiment de surface (pos/neg) et du sentiment réel (pos/neg). Ce tag (par exemple, [affect: surface-pos, real-neg] pour le sarcasme) sert d'ancrage symbolique persistant, complétant le vecteur pragmatique continu.

B. Niveau de Sortie : Chaîne de Raisonnement Structurée

Le modèle est entraîné pour externaliser la décomposition sous la forme d'une chaîne explicite en trois segments :

1. Observation Littérale ($y_{lit}$) : Décrit ce qui est montré et dit.
2. Inférence d'Intention ($y_{int}$) : Résout pourquoi les deux ont été associés.
3. Intention Finale ($y^*$) : Verbalise l'intention communicative de l'auteur.

C. Niveau d'Objectif : Apprentissage par Renforcement Contrastif

L'entraînement se déroule en deux étapes :

1. Étape 1 (SFT) : Le réglage fin supervisé (Supervised Fine-Tuning) enseigne le format de la chaîne et la classification de l'affect. Les cibles sont obtenues via l'auto-distillation, où le squelette génère la chaîne en utilisant les commentaires de la communauté comme contexte auxiliaire (qui n'est pas visible lors de l'inférence).
2. Étape 2 (GRPO) : L'optimisation de politique relative de groupe (Group Relative Policy Optimization) est appliquée avec une récompense contrastive sensible au littéral. La fonction de récompense $R(y)$ inclut :
   • Un terme tirant l'intention finale $y^*$ vers l'intention de référence.
   • Une pénalité contrastive ($-\lambda_1 \text{sim}(y^*, y_{lit})$) qui repousse explicitement la réponse finale de la propre description littérale du modèle.
   • Des récompenses pour la cohérence de l'affect et le formatage de la chaîne.
   • Masquage de Gradient : Les mises à jour sont appliquées uniquement à $y_{int}$ et $y^*$, tandis que $y_{lit}$ est maintenu fixe pour servir de point de référence stable pour le contraste.

3. Principales Contributions

• Recadrage du Problème : Les auteurs identifient l'« effondrement littéral » comme le mode de défaillance principal dans la compréhension des mèmes et recadrent la tâche comme un problème de décomposition littéral-pragmatique.
• Séparation Architecturale : Ils introduisent une méthode pour projeter explicitement les directions littérales unimodales hors de la représentation fusionnée, donnant au décodeur un accès direct à un résidu pragmatique.
• Optimisation Contrastive : Ils proposent un mécanisme de récompense qui pénalise la similitude entre l'intention générée et la description littérale, ciblant directement la séparation des signaux plutôt que la simple précision de la tâche.
• Auto-distillation : Le cadre utilise l'auto-distillation pour extraire des cibles d'intention à partir du squelette lui-même, évitant ainsi le besoin de larges annotations humaines de l'intention.

4. Résultats Expérimentaux

La méthode a été évaluée sur six benchmarks (MemeReaCon, MemeCap, MET-Meme, MMSD2.0, MuSE, GOAT-Bench) en utilisant trois squelettes open-source (LLaVA-OneVision-7B, Qwen3-VL-8B, InternVL3.5-8B).

• Gains de Performance : L'Intent Projection surpasse systématiquement les bases open-source robustes et réduit l'écart avec les modèles propriétaires de pointe (ex: Gemini-3-Flash, GPT-5.4-mini).
  • Sur la tâche PI-G (Génération d'Intention de Post), le modèle Qwen3-VL de 8B avec Intent Projection a atteint un ROUGE-L de 32,8 %, réduisant l'écart avec le modèle propriétaire Gemini-3-Flash d'environ 60 %.
• Régime de Haute Divergence : Les améliorations les plus significatives ont été observées sur les publications présentant une haute divergence littéral-intention ($\Delta(x)$). Alors que les modèles de base se dégradaient fortement sur les publications à haute divergence, l'Intent Projection maintient ses performances, réduisant l'écart de performance entre basse et haute divergence à moins de 5 %.
• Études d'Ablation :
  • Le retrait de la récompense contrastive ($\lambda_1$) a provoqué la chute de performance la plus importante, particulièrement sur les publications à haute divergence, confirmant son rôle dans la prévention de l'effondrement littéral.
  • Le retrait de la tête d'affect a considérablement dégradé les performances, validant l'utilité du tag symbolique discret.
  • L'étape GRPO s'est révélée indispensable ; le SFT seul enseignait le format mais échouait à prévenir l'effondrement littéral.

5. Signification et Revendications

L'article affirme que l'Intent Projection parvient à atténuer le phénomène d'« effondrement littéral » dans les LVLM en imposant une séparation structurelle des signaux. Les auteurs soutiennent que :

• La séparation explicite des signaux littéraux et pragmatiques au niveau de la représentation est plus efficace que le simple passage à l'échelle des paramètres du modèle.
• Le cadre généralise le principe de séparation littéral-pragmatique, suggérant une applicabilité à d'autres tâches où le sens du locuteur diverge de la forme de surface (ex: l'ironie dans le dialogue, la position implicite dans les titres).
• L'approche comble l'écart entre les modèles open-source et propriétaires spécifiquement dans les scénarios nécessitant une compréhension pragmatique profonde, plutôt qu'une simple compréhension de surface.

Limites Reconnues : Les auteurs notent que leurs données sont biaisées vers la culture Internet occidentale de langue anglaise, que le cadre introduit une latence d'inférence marginale due aux modifications structurelles, et que les cibles d'auto-distillation dépendent des capacités latentes du squelette du modèle.