Résumé Technique : MM–SCALE

Énoncé du Problème

Les modèles de vision-langage (VLM) peinent actuellement à porter des jugements moralement saillants dans des contextes multimodaux et socialement ambigus. Les méthodes d'alignement de sécurité existantes reposent généralement sur une supervision binaire (sûr/non sûr) ou par paires (A vs B). Ces approches ne parviennent pas à capturer la nature continue et scalaire du raisonnement moral humain et négligent souvent la manière dont le contexte visuel et les nuances situationnelles remodèlent les interprétations morales. Les points de référence actuels manquent de couverture sur les jugements scalaires et sur l'ancrage explicite de la modalité (si un jugement dépend du texte, de l'image ou des deux), limitant la capacité des modèles à gérer un raisonnement moral pluraliste et sensible au contexte.

Méthodologie

1. Construction du Jeu de Données : MM–SCALE

Les auteurs introduisent MM–SCALE (MULTIMODAL MORAL SCALE), un jeu de données à grande échelle comprenant 32 212 scénarios moraux annotés, ancrés dans des images générées par IA.

• Matériau Source : Les scénarios sont dérivés du Commonsense NormBank, visualisés via Stable Diffusion v1.5 et DALL·E 3.
• Schéma d'Annotation : Chaque paire image-scénario est annotée avec :
  • Évaluations Morales Scalaires : Une échelle de 5 points (1–5) pour l'acceptabilité morale.
  • Ancrage de la Modalité : Des étiquettes indiquant si le jugement est basé sur le texte, l'image, ou les deux.
• Pipeline d'Annotation (MORALE) : Les auteurs ont développé MORALE (MORal Alignment and Listwise Evaluation), une interface interactive basée sur le Web.
  • Modèle dans la Boucle (Model-in-the-Loop) : Le système compare les évaluations des annotateurs avec les prédictions des VLM.
  • Gestion des Écarts : Si le jugement d'un modèle s'écarte significativement de l'évaluation humaine, le système déclenche une vérification d'ancrage de modalité pour déterminer si le modèle a accordé une attention à la mauvaise modalité.
  • Expansion : Si le modèle et l'humain sont d'accord, les annotateurs sont invités à ajouter de nouveaux scénarios pertinents pour l'image afin d'étendre la couverture.
• Contrôle Qualité : Le jeu de données a subi un filtrage rigoureux, incluant des écrans de variance et des « contrôles canari » (canary checks), résultant en une haute cohérence inter-annotateurs (Krippendorff's $\alpha$ = 0,74 pour les scores, 0,71 pour la modalité).

2. Cadre d'Entraînement : Optimisation de Préférence par Liste (Listwise)

Au lieu de traiter les jugements scalaires comme des étiquettes indépendantes ou de les réduire à des classes binaires, les auteurs emploient un cadre d'optimisation de préférence par liste.

• Objectif : Le modèle est entraîné pour reproduire l'ordre de préférence humain sur un ensemble complet de scénarios associés à une seule image.
• Fonction de Perte : Les auteurs utilisent la perte ListMLE (Listwise Maximum Likelihood Estimation). Cela encourage le modèle à attribuer des scores scalaires de telle sorte que le classement résultant corresponde à la permutation de référence des évaluations humaines.
• Architecture : Le cadre affine une tête de régression scalaire sur des VLM pré-entraînés (ex. LLaVA-OneVision, Qwen2-VL, Phi-3-Vision, InstructBLIP).

Contributions Clés

1. Jeu de Données MM–SCALE : Un nouveau jeu de données de 32 212 scénarios moraux multimodaux présentant des évaluations scalaires (1–5) et des annotations d'ancrage de modalité explicites, se distinguant des précédents points de référence binaires ou par paires.
2. Analyse d'Alignement par Liste : Une analyse démontrant comment la supervision scalaire combinée à l'ancrage multimodal améliore l'alignement des VLM avec les préférences morales humaines, allant au-delà des comparaisons binaires isolées.
3. Interface MORALE : Une interface web interactive et open-source conçue pour collecter des données de désaccord à grande échelle, facilitant l'alignement centré sur l'humain et l'expansion du jeu de données grâce au feedback du modèle en boucle.

Résultats Expérimentaux

Les auteurs ont évalué les VLM affinés sur MM–SCALE par rapport à des modèles entraînés avec des objectifs de préférence binaire (BPO) et de classification binaire (BCE).

• Fidélité du Classement : Les modèles entraînés avec une supervision scalaire par liste ont systématiquement obtenu les meilleures métriques de classement, notamment le NDCG@5 (jusqu'à 0,89) et le Rang Inverse Moyen (MRR), surpassant les bases de référence binaires et par paires. Cela indique que l'apprentissage d'une structure ordinale complète fournit un meilleur ordre moral global.
• Calibration de la Sécurité : Bien que les modèles entraînés de manière binaire aient montré des « Taux d'Insécurité » légèrement inférieurs (une métrique binaire favorisant les objectifs basés sur des seuils), ils présentaient un AUC-Sécurité moins bon et une calibration moins stable. Les modèles par liste produisent des prédictions scalaires plus fluides et plus discriminantes, maintenant des taux de sécurité compétitifs tout en offrant une estimation de risque sans seuil supérieure.
• Ancrage de la Modalité : L'analyse empirique a révélé que 68 % des jugements moraux humains ont changé après avoir vu l'image par rapport aux étiquettes textuelles seules. De plus, 78 % de ces jugements divergents étaient ancrés dans l'image ou dans une combinaison d'image et de texte, confirmant la nécessité de l'ancrage multimodal.
• Cohérence Humaine : Les modèles supervisés par liste ont montré la plus forte concordance avec le consensus humain (Kendall's $\tau$ = 0,68) par rapport aux approches par paires (0,60) et binaires (0,55).

Signification et Revendications

L'article affirme que MM–SCALE comble une lacune critique dans l'alignement de sécurité multimodal en passant d'une supervision binaire discrète à une supervision scalaire par liste avec un ancrage de modalité explicite.

• Nuance plutôt que Binaire : Les auteurs soutiennent que l'alignement moral ne concerne pas seulement l'action, mais aussi le contexte dans lequel elle se déroule. Les évaluations scalaires capturent l'acceptabilité fine et les actions partiellement acceptables et ambiguës que les étiquettes binaires manquent.
• Sensibilité Contextuelle : Le jeu de données démontre que le contexte visuel reconfigure fréquemment l'interprétation morale, des changements significatifs de jugement se produisant lorsque l'image contredit ou renforce le texte.
• Stabilité : L'étude souligne que la supervision scalaire par liste produit des classements moraux plus cohérents à travers les modalités et maintient une stabilité entre les images synthétiques et réelles, suggérant que la granularité de la supervision est la clé pour améliorer l'alignement moral.

Les auteurs positionnent MM–SCALE comme une fondation pour les travaux futurs sur les modèles multimodaux socialement alignés, particulièrement pour les tâches nécessitant la résolution d'ambiguïtés situationnelles par le langage et la vision. Ils reconnaissent les limites concernant la diversité culturelle des annotateurs (principalement US/UK) et la nature grossière de l'attribution de modalité (texte/image/les deux), suggérant ces points comme des domaines pour un raffinement futur.