Technische Samenvatting: MM–SCALE

Probleemstelling

Vision-Language Models (VLM's) hebben momenteel moeite met het maken van moreel relevante oordelen in multimodale en sociaal ambigue contexten. Bestaande methoden voor veiligheidsafstemming (safety alignment) vertrouwen doorgaans op binaire (veilig/onveilig) of paarwijze (A vs. B) supervisie. Deze benaderingen falen in het vastleggen van de continue, scalaire aard van menselijke morele redenering en negeren vaak hoe visuele context en situationele nuances morele interpretaties hervormen. Bestaande benchmarks missen dekking op scalaire oordelen en expliciete modaliteitsgronding (of een oordeel afhankelijk is van tekst, beeld, of beide), wat het vermogen van modellen beperkt om pluriforme, contextgevoelige morele redenering aan te kunnen.

Methodologie

1. Dataconstructie: MM–SCALE

De auteurs introduceren MM–SCALE (MULTIMODAL MORAL SCALE), een grootschalige dataset bestaande uit 32.212 geannoteerde morele scenario's die gegrond zijn in door AI gegenereerde afbeeldingen.

• Bronmateriaal: Scenario's zijn afgeleid van de Commonsense NormBank, gevisualiseerd met behulp van Stable Diffusion v1.5 en DALL·E 3.
• Annotatieschema: Elk beeld-scenario paar is geannoteerd met:
  • Scalaire Morele Beoordelingen: Een 5-punts schaal (1–5) voor morele aanvaardbaarheid.
  • Modaliteitsgronding: Labels die aangeven of het oordeel gebaseerd is op de tekst, de afbeelding, of beide.
• Annotatiepipeline (MORALE): De auteurs hebben MORALE ontwikkeld (MORal Alignment and Listwise Evaluation), een web-gebaseerde interactieve interface.
  • Model-in-the-Loop: Het systeem vergelijkt de beoordelingen van annotatoren met de voorspellingen van de VLM.
  • Afhandeling van Discrepanties: Als het oordeel van een model significant afwijkt van de menselijke beoordeling, triggert het systeem een controle van de modaliteitsgronding om te bepalen of het model de verkeerde modaliteit heeft gelet.
  • Expansie: Als het model en de mens het eens zijn, krijgen annotatoren de opdracht om nieuwe, beeld-relevante scenario's toe te voegen om de dekking uit te breiden.
• Kwaliteitscontrole: De dataset onderging strikte filtering, inclusclusief variantie-screening en "canary checks", wat resulteerde in een hoge inter-annotator consistentie (Krippendorff's $\alpha$ = 0,74 voor scores, 0,71 voor modaliteit).

2. Trainingsframework: Listwise Preference Optimization

In plaats van scalaire oordelen te behandelen als onafhankelijke labels of ze te reduceren tot binaire klassen, gebruiken de auteurs een listwise preference optimization framework.

• Doel: Het model wordt getraind om de menselijke voorkeursvolgorde te reproduceren over een volledige set scenario's die bij één enkele afbeelding horen.
• Verliesfunctie: De auteurs maken gebruik van de ListMLE (Listwise Maximum Likelihood Estimation) loss. Dit moedigt het model aan om scalaire scores toe te wijzen zodat de resulterende rangschikking overeenkomt met de grondwaarheid-permutatie van menselijke beoordelingen.
• Architectuur: Het framework finetunet een scalaire regressie-kop bovenop gepre-trainde VLM's (bijv. LLaVA-OneVision, Qwen2-VL, Phi-3-Vision, InstructBLIP).

Belangrijkste Bijdragen

1. MM–SCALE Dataset: Een nieuwe dataset van 32.212 multimodale morele scenario's met scalaire (1–5) beoordelingen en expliciete modaliteitsgronding annotaties, wat het onderscheidt van eerdere binaire of paarwijze benchmarks.
2. Listwise Alignment Analyse: Een analyse die aantoont hoe scalaire supervisie gecombineerd met multimodale gronding de VLM-afstemming met menselijke morele voorkeuren verbetert, waarbij verder wordt gegaan dan geïsoleerde binaire vergelijkingen.
3. MORALE Interface: Een interactieve, open-source webinterface ontworpen om disovergelijke gegevens op schaal te verzamelen, wat mensgerichte afstemming en dataset-expansie via model-in-the-loop feedback faciliteert.

Experimentele Resultaten

De auteurs evalueerden VLM's die gefinetuned zijn op MM–SCALE tegen modellen die getraind zijn met binaire voorkeur (BPO) en binaire classificatie (BCE) doelstellingen.

• Rangschikkingsgetrouwheid (Ranking Fidelity): Modellen getraind met listwise scalaire supervisie behaalden consistent de hoogste rangschikkingsmetrieken, inclusief NDCG@5 (tot 0,89) en Mean Reciprocal Rank (MRR), waarmee ze binaire en paarwijze baselines overtroffen. Dit geeft aan dat het leren van de volledige ordinale structuur een betere globale morele ordening biedt.
• Veiligheidskalibratie: Hoewel binaire-getrainde modellen een iets lagere "Unsafe Rate" vertoonden (een binaire metriek die drempelgebaseerde doelstellingen bevoordeelt), vertoonden zij een slechtere AUC-Safety en minder stabiele kalibratie. Listwise modellen produceerden gladdere, meer discriminerende scalaire voorspellingen, waarbij ze concurrerende veiligheidspercentages behielden terwijl ze superieure drempelvrije risico-inschattingen boden.
• Modaliteitsgronding: Empirische analyse toonde aan dat 68% van de menselijke morele oordelen verschoof na het bekijken van de afbeelding vergeleken met tekst-alleen labels. Bovendien waren 78% van deze afwijkende oordelen gegrond in de afbeelding of een combinatie van afbeelding en tekst, wat het belang van multimodale gronding bevestigt.
• Menselijke Consistentie: Listwise-gesuperviseerde modellen vertoonden de sterkste overeenkomst met de menselijke consensus (Kendall's $\tau$ = 0,68) vergeleken met paarwijze (0,60) en binaire (0,55) benaderingen.

Betekenis en Claims

Het artikel claimt dat MM–SCALE een kritiek gat in multimodale veiligheidsafstemming adresseert door over te stappen van discrete, binaire supervisie naar scalaire, listwise supervisie met expliciete modaliteitsgronding.

• Nuance boven Binair: De auteurs stellen dat morele afstemming niet alleen gaat over de handeling, maar ook over de context waarin deze zich afspeelt. Scalaire beoordelingen leggen de fijnmazige aanvaardbaarheid en ambigue, deels aanvaardbare acties vast die binaire labels missen.
• Contextgevoeligheid: De dataset demonstreert dat visuele context de morele interpretatie frequent herconfigureert, met significante verschuivingen in oordelen wanneer afbeeldingen de tekst tegenspreken of versterken.
• Stabiliteit: De studie benadrukt dat scalaire listwise supervisie meer consistente morele rangschikkingen produceert over modaliteiten heen en stabiliteit behoudt tussen synthetische en echte afbeeldingen, wat suggereert dat de granulariteit van supervisie essentieel is voor het verbeteren van morele afstemming.

De auteurs positioneren MM–SCALE als een fundament voor toekomstig werk op het gebied van sociaal afgestemde multimodale modellen, met name voor taken die de resolutie van situationele ambiguïteit vereisen via zowel taal als visie. Zij erkennen beperkingen met betrekking tot de culturele diversiteit van annotatoren (voornamelijk VS/VK) en de grove aard van modaliteitsattributie (tekst/beeld/beide), en stellen dit voor als gebieden voor toekomstige verfijning.