Résumé Technique : Personnalisation Visuelle Contextualisée dans les Modèles Vision-Langage

1. Définition du Problème : Personnalisation Visuelle Contextualisée

Malgré les récentes avancées des modèles vision-langage (VLM), les approches existantes peinent à générer des réponses ancrées dans l'historique visuel spécifique d'un utilisateur. Les modèles actuels échouent souvent à associer une entrée visuelle (par exemple, une personne dans une nouvelle image) au contexte accumulé spécifique à l'utilisateur (par exemple, des interactions passées décrivant les habitudes ou les lieux de cette personne).

Les auteurs formalisent ce défi sous le terme de Personnalisation Visuelle Contextualisée. Ce paradigme exige que les VLM :

1. Reconnaissent des concepts visuels dans une nouvelle image de requête.
2. Récupèrent les expériences spécifiques à l'utilisateur correspondantes à partir d'un contexte contenant des dialogues entrelacés image-texte.
3. Intègrent ce contexte récupéré pour générer des réponses personnalisées.

Une limitation critique des travaux antérieurs réside dans la dépendance aux « raccourcis textuels », où les modèles répondent à des questions en faisant correspondre des mots-clés dans le dialogue sans reconnaître véritablement l'entité visuelle ni ancrer la réponse dans des preuves visuelles. De plus, les méthodes existantes se concentrent souvent sur une personnalisation d'attributs simples (par exemple, les noms) plutôt que sur des souvenirs épisodiques complexes impliquant des indices visuels et textuels fins.

2. Méthodologie : Le Cadre CoViP

Pour pallier ces limitations, les auteurs proposent CoViP (Personnalisation Visuelle Contextualisée via la Légende d'Images), un cadre unifié qui traite la légende d'images personnalisée comme une tâche proxy pour apprendre le processus sous-jacent de la personnalisation visuelle contextualisée.

2.1. Insight Central

Les auteurs postulent que diverses tâches de personnalisation partagent un mécanisme sous-jacent commun : l'interprétation d'une image de requête dans le contexte des expériences passées de l'utilisateur. Ils décomposent le processus interne du VLM en deux étapes :

• Encodeur Visuel Contextualisé ($h_\theta$) : Ancrage de l'image de requête et du contexte dans une représentation latente personnalisée.
• Générateur Spécifique à la Tâche ($g_\theta$) : Production de la réponse finale basée sur la représentation latente et l'invite spécifique.

Puisque $h_\theta$ est partagé entre les tâches, les auteurs soutiennent que l'optimisation du modèle pour générer des légendes d'images personnalisées (qui reflètent directement $h_\theta$) améliorera globalement les capacités de personnalisation pour toutes les tâches en aval.

2.2. Benchmark de Légende d'Images Personnalisée

Pour entraîner et évaluer cette capacité, les auteurs ont construit un benchmark exigeant :

• Construction du Jeu de Données : En utilisant des VLM génératifs, ils ont synthétisé 2,8K échantillons d'entraînement et 1,3K échantillons de test. Ceux-ci impliquent des images de requête contenant 1 à 4 concepts (humains, objets, animaux) et des contextes entrelacés avec des échantillons de dialogue positifs (pertinents) et négatifs (leurres).
• Protocole d'Évaluation (CapEval-QAs) : Pour empêcher les modèles de contourner la reconnaissance visuelle, les auteurs ont introduit un protocole de sondage par Réponse à Questions à Choix Multiples (MCQA). Un modèle juge externe évalue si une légende générée contient des preuves suffisantes pour répondre à des questions factuelles dérivées uniquement des dialogues de contexte positifs.
  • Précision Positive ($Acc^+$) : Mesure si la légende répond correctement aux questions sur les concepts pertinents.
  • Précision Négative ($Acc^-$) : Mesure si la légende s'abstient correctement (sélectionne « ne peut être déterminé ») pour les questions sur les concepts non pertinents (négatifs).

2.3. Post-Entraînement par Apprentissage par Renforcement (RL)

Le cadre emploie une stratégie de post-entraînement basée sur le RL pour optimiser le VLM pour la légende d'images personnalisée :

• Récompense Vérifiable (VR) : La fonction de récompense $r(s, x, c)$ est décomposée en :
  • Récompense de Reconnaissance ($r_{vis}$) : Un score basé sur le F1 mesurant la capacité du modèle à identifier correctement quelles images de concepts du contexte apparaissent dans l'image de requête.
  • Récompense de Récupération ($r_{caps}$) : Une récompense contrastive encourageant le modèle à répondre correctement aux MCQ positifs tout en évitant les hallucinations sur les MCQ négatifs.
• Optimisation : Les auteurs utilisent l'algorithme GSPO (Optimisation de Stratégie de Séquence par Groupes) pour maximiser la récompense vérifiable attendue, assurant un entraînement stable sur la génération de longs textes.

2.4. Génération Augmentée par Légende (CAG)

Au moment de l'inférence, CoViP introduit la Génération Augmentée par Légende (CAG). Au lieu de générer directement une réponse en aval, le modèle génère d'abord une légende descriptive $s$ conditionnée par l'image et le contexte. Cette légende est ensuite réutilisée comme signal de conditionnement explicite pour guider la génération finale de la réponse personnalisée. Cela permet au modèle de tirer parti des détails fins capturés lors de la phase de légendage.

2.5. Évaluation Diagnostique

Pour tester rigoureusement la généralisation et exclure les raccourcis, les auteurs ont conçu trois tâches diagnostiques en aval :

1. Détection de la Dernière Vue (LSD) : Nécessite d'identifier la rencontre la plus récente avec une personne dans l'image de requête à partir d'un historique de multiples interactions.
2. Rappel de la Dernière Action (LAR) : Nécessite de récupérer l'action spécifique effectuée lors de la rencontre la plus récente.
3. Rappel Déclenché par Instruction (ITR) : Évalue la personnalisation proactive où le modèle doit rappeler une instruction mot-clé spécifique déclenchée par la présence visuelle d'une personne, même si elle n'est pas explicitement demandée au tour actuel.

3. Résultats Clés

Des expériences extensives sur le benchmark et les tâches diagnostiques démontrent l'efficacité de CoViP :

• Performance sur le Benchmark : CoViP surpasse significativement les VLM existants à source ouverte (par exemple, Qwen3-VL) et propriétaires (par exemple, GPT-4o, Gemini-3.0 Pro). Le post-entraînement basé sur le RL produit un gain de performance moyen d'environ 40 % en Précision Positive ($Acc^+$) à travers des complexités de concepts variables.
• Généralisation en Aval : CoViP améliore constamment les performances sur toutes les tâches diagnostiques (LSD, LAR, ITR). Notamment, tandis que les modèles propriétaires montrent un comportement instable ou des gains spécifiques à la tâche, CoViP apporte des améliorations globales.
• Impact de la CAG : L'application de la CAG amplifie davantage les performances, en particulier pour CoViP, en tirant parti des informations contextuelles détaillées capturées dans la légende générée. En revanche, l'application de la CAG aux modèles de base sans le post-entraînement spécifique conduit souvent à une baisse de performance, soulignant la nécessité de l'étape de pré-entraînement par légendage.
• Études d'Ablation : Les résultats confirment que les composants de reconnaissance ($r_{vis}$) et de récupération ($r_{caps}$) de la récompense sont tous deux nécessaires. De plus, l'utilisation de GSPO et du filtrage de dégénérescence (pour prévenir les sorties répétitives) est cruciale pour la stabilité et la performance de l'entraînement.

4. Signification et Contributions

L'article revendique les contributions suivantes :

1. Nouveau Paradigme : Il formalise la Personnalisation Visuelle Contextualisée, déplaçant le focus de la récupération simple d'attributs vers l'ancrage de la compréhension visuelle dans l'historique épisodique spécifique à l'utilisateur.
2. Cadre Unifié (CoViP) : Il introduit un cadre qui opérationnalise ce concept par le biais de la légende d'images personnalisée, du post-entraînement basé sur le RL et de la génération augmentée par légende, démontrant qu'une seule tâche proxy peut améliorer des capacités en aval diverses.
3. Évaluation Diagnostique : Il propose une suite de tâches diagnostiques et de protocoles d'évaluation (CapEval-QAs) qui excluent explicitement les raccourcis textuels, offrant un moyen systématique d'analyser les limites des modèles de base existants.
4. Validation Empirique : Le travail démontre que les VLM existants manquent d'un ancrage contextuel robuste et que CoViP réalise des améliorations constantes et significatives, le positionnant comme une étape fondamentale vers une personnalisation robuste et généralisable dans les VLM.

Les auteurs concluent que, bien que leur benchmark repose sur des données synthétiques, il établit une fondation diagnostique rigoureuse. Ils soulignent que pour atteindre une personnalisation robuste, une étape de post-entraînement axée sur la légende d'images personnalisée est essentielle avant d'adapter les modèles aux tâches en aval.