Resumen Técnico: MM–SCALE

Declaración del Problema

Los Modelos de Lenguaje-Visión (VLM) actualmente tienen dificultades para realizar juicios moralmente significativos en contextos multimodales y socialmente ambiguos. Los métodos de alineación de seguridad existentes suelen depender de una supervisión binaria (seguro/inseguro) o de pares (A frente a B). Estos enfoques no logran capturar la naturaleza continua y escalar del razonamiento moral humano y, a menudo, pasan por alto cómo el contexto visual y los matices situacionales remodelan las interpretaciones morales. Los benchmarks previos carecen de cobertura sobre juicios escalares y de un anclaje de modalidad explícito (si un juicio depende del texto, de la imagen o de ambos), lo que limita la capacidad de los modelos para manejar el razonamiento moral pluralista y sensible al contexto.

Metodología

1. Construcción del Conjunto de Datos: MM–SCALE

Los autores presentan MM–SCALE (MULTIMODAL MORAL SCALE), un conjunto de datos a gran escala que comprende 32,212 escenarios morales anotados, fundamentados en imágenes generadas por IA.

• Material de Origen: Los escenarios se derivan del Commonsense NormBank, visualizados mediante Stable Diffusion v1.5 y DALL·E 3.
• Esquema de Anotación: Cada par imagen-escenario se anota con:
  • Calificaciones Morales Escalares: Una escala de 5 puntos (1–5) de aceptabilidad moral.
  • Anclaje de Modalidad: Etiquetas que indican si el juicio se basa en el texto, la imagen o ambos.
• Pipeline de Anotación (MORALE): Los autores desarrollaron MORALE (MORal Alignment and Listwise Evaluation), una interfaz interactiva basada en la web.
  • Modelo en el Bucle (Model-in-the-Loop): El sistema compara las calificaciones de los anotadores con las predicciones del VLM.
  • Gestión de Discrepancias: Si el juicio de un modelo se desvía significativamente de la calificación humana, el sistema activa una verificación de anclaje de modalidad para determinar si el modelo atendió a la modalidad incorrecta.
  • Expansión: Si el modelo y el humano coinciden, se solicita a los anotadores que añadan nuevos escenarios relevantes para la imagen para ampliar la cobertura.
• Control de Calidad: El conjunto de datos se sometió a un riguroso filtrado, incluyendo detección de varianza y "controles de canario" (canary checks), resultando en una alta consistencia entre anotadores (Krippendorff's $\alpha$ = 0.74 para puntuaciones, 0.71 para modalidad).

2. Marco de Entrenamiento: Optimización de Preferencias de Lista (Listwise)

En lugar de tratar los juicios escalares como etiquetas independientes o reducirlos a clases binarias, los autores emplean un marco de optimización de preferencia de lista (listwise preference optimization).

• Objetivo: El modelo es entrenado para reproducir el orden de preferencia humana sobre un conjunto completo de escenarios asociados a una sola imagen.
• Función de Pérdida: Los autores utilizan la pérdida ListMLE (Listwise Maximum Likelihood Estimation). Esto incentiva al modelo a asignar puntuaciones escalares de modo que el ranking resultante coincida con la permutación de la verdad de campo (ground-truth) de las calificaciones humanas.
• Arquitectura: El marco ajusta (fine-tunes) un cabezal de regresión escalar sobre VLMs pre-entrenados (ej. LLaVA-OneVision, Qwen2-VL, Phi-3-Vision, InstructBLIP).

Contribuciones Clave

1. Conjunto de Datos MM–SCALE: Un novedoso conjunto de datos de 32,212 escenarios morales multimodales que presenta calificaciones escalares (1–5) y anotaciones explícitas de anclaje de modalidad, distinguiéndolo de los benchmarks binarios o de pares previos.
2. Análisis de Alineación de Lista: Un análisis que demuestra cómo la supervisión escalar combinada con el anclaje multimodal mejora la alineación de los VLM con las preferencias morales humanas, yendo más allá de las comparaciones binarias aisladas.
3. Interfaz MORALE: Una interfaz web interactiva y de código abierto diseñada para recolectar datos de desacuerdo a escala, facilitando la alineación centrada en el humano y la expansión del conjunto de datos mediante la retroalimentación del modelo en el bucle.

Resultados Experimentales

Los autores evaluaron los VLM ajustados con MM–SCALE frente a modelos entrenados con objetivos de preferencia binaria (BPO) y clasificación binaria (BCE).

• Fidelidad de Clasificación (Ranking Fidelity): Los modelos entrenados con supervisión escalar de lista lograron consistentemente las métricas de ranking más altas, incluyendo NDCG@5 (hasta 0.89) y Mean Reciprocal Rank (MRR), superando a las bases de comparación binarias y de pares. Esto indica que aprender la estructura ordinal completa proporciona un mejor ordenamiento moral global.
• Calibración de Seguridad: Aunque los modelos entrenados con métodos binarios mostraron tasas de "Inseguridad" ligeramente menores (una métrica binaria que favorece los objetivos basados en umbrales), exhibieron un AUC-Safety más pobre y una calibración menos estable. Los modelos de lista produjeron predicciones escalares más suaves y discriminativas, manteniendo tasas de seguridad competitivas mientras ofrecían una estimación de riesgo sin umbrales superior.
• Anclaje de Modalidad: El análisis empírico reveló que el 68% de los juicios morales humanos cambiaron tras visualizar la imagen en comparación con las etiquetas de solo texto. Además, el 78% de estos juicios divergentes estaban anclados en la imagen o en una combinación de imagen y texto, confirmando la necesidad del anclaje multimodal.
• Consistencia Humana: Los modelos supervisados por listas mostraron la mayor concordancia con el consenso humano (Kendall's $\tau$ = 0.68) en comparación con los enfoques de pares (0.60) y binarios (0.55).

Significado y Reivindicaciones

El artículo afirma que MM–SCALE aborda una brecha crítica en la alineación de seguridad multimodal al cambiar de una supervisión binaria discreta a una supervisión escalar de lista con anclaje de modalidad explícito.

• Matiz sobre lo Binario: Los autores argumentan que la alineación moral no trata únicamente sobre la acción, sino también sobre el contexto en el que esta se desarrolla. Las calificaciones escalares capturan la aceptabilidad fina y las acciones parcialmente aceptables y ambiguas que las etiquetas binarias omiten.
• Sensibilidad Contextual: El conjunto de datos demuestra que el contexto visual frecuentemente reconfigura la interpretación moral, con cambios significativos en el juicio cuando las imágenes contradicen o refuerzan el texto.
• Estabilidad: El estudio destaca que la supervisión de lista escalar produce clasificaciones morales más consistentes a través de las modalidades y mantiene la estabilidad entre imágenes sintéticas y reales, sugiriendo que la granularidad de la supervisión es clave para mejorar la alineación moral.

Los autores posicionan a MM–SCALE como una base para futuros trabajos sobre modelos multimodales socialmente alineados, particularmente para tareas que requieren la resolución de ambigüedades situacionales a través de la lengua y la visión. Reconocen limitaciones respecto a la diversidad cultural de los anotadores (principalmente de EE. UU./Reino Unido) y la naturaleza tosca de la atribución de modalidad (texto/imagen/ambos), sugiriendo estas como áreas para el refinamiento futuro.