ProMoral-Bench: Evaluating Prompting Strategies for Moral Reasoning and Safety in LLMs

Resumen Técnico: ProMoral-Bench

1. El Problema

El diseño de prompts (instrucciones) influye significativamente en la competencia moral y la alineación de seguridad de los Modelos de Lenguaje Grande (LLM). Sin embargo, la investigación actual presenta una fragmentación crítica:

• Falta de estandarización: Los estudios suelen evaluar una sola técnica de prompting en conjuntos de datos estrechos o específicos, lo que impide comparaciones justas entre estrategias.
• Compensaciones no cuantificadas: Existe una tensión conocida entre la precisión del razonamiento y la seguridad moral (por ejemplo, el Chain-of-Thought o CoT puede aumentar la toxicidad en ciertos contextos), pero no hay una métrica unificada para medir este equilibrio.
• Fragilidad ante perturbaciones: No se ha evaluado sistemáticamente cómo las pequeñas ediciones en los prompts afectan la consistencia de los juicios morales de los modelos.

2. Metodología

Los autores introducen ProMoral-Bench, un marco de evaluación unificado y agnóstico al modelo diseñado para comparar 11 estrategias de prompting a través de cuatro familias de modelos y múltiples tareas.

Componentes Clave:

• Modelos Evaluados: Se probaron 4 familias de modelos: GPT-4.1 (OpenAI), Claude Sonnet-4 (Anthropic), Gemini 2.5 Pro (DeepMind) y DeepSeek-V3.
• Conjunto de Datos (Task Suite):
  1. ETHICS: Juicios binarios de aceptabilidad en dilemas de sentido común.
  2. Scruples: Clasificación multiclase de responsabilidad en dilemas sociales reales (basado en Reddit).
  3. WildJailbreak: Prueba de resistencia a ataques adversarios (jailbreaks) para evaluar la seguridad.
  4. ETHICS-Contrast (Novedad): Un nuevo conjunto de 200 pares de ejemplos creados manualmente. Incluye ediciones mínimas (negaciones, cambio de agentes) que invierten o preservan la etiqueta moral, diseñadas para probar la robustez y consistencia del modelo.
• Estrategias de Prompting (11 en total):
  • Básicas: Zero-Shot, Zero-Shot-CoT.
  • Basadas en ejemplos: Few-Shot, Few-Shot-CoT.
  • Estructuradas/De razonamiento: Role Prompting, Value-Grounded, Plan-and-Solve, First-Principles, Self-Correct, Thought Experiment.
• Métrica Unificada (UMSS): Se propone el Unified Moral Safety Score (UMSS), una puntuación que combina la competencia moral y la robustez de seguridad mediante la media armónica de dos componentes normalizados:
  • Moral Competence Score (MCS): Precisión en ETHICS, Scruples y robustez en ETHICS-Contrast.
  • Safety Robustness Score (SRS): Tasa de rechazo a ataques maliciosos y tasa de rechazo a consultas benignas (en WildJailbreak).

3. Contribuciones Principales

1. Benchmark Unificado: ProMoral-Bench es la primera evaluación que compara 11 estrategias en 4 modelos y 4 tareas bajo un protocolo estandarizado (temperatura=0, formatos de salida fijos).
2. ETHICS-Contrast: Introducción de un conjunto de datos de robustez con pares de edición mínima para detectar fragilidades en los juicios morales que los benchmarks tradicionales pasan por alto.
3. Métrica UMSS: Una métrica compuesta que penaliza el desequilibrio entre competencia y seguridad, permitiendo comparar estrategias de manera holística.
4. Análisis de Costo-Eficiencia: Evaluación exhaustiva del consumo de tokens, revelando la relación entre la complejidad del prompt y el rendimiento.
5. Reproducibilidad: Código, datos y resultados completos disponibles públicamente.

4. Resultados Clave

• Eficacia de Estructuras Compactas: Las estrategias compactas y guiadas por ejemplos (Few-Shot y Few-Shot-CoT) superaron consistentemente a las cadenas de razonamiento complejas y multi-etapa.
  • Rendimiento: Few-Shot y Few-Shot-CoT obtuvieron los puntajes UMSS más altos (0.802).
  • Costo: Estas estrategias lograron un rendimiento superior con un costo de tokens significativamente menor (aprox. 1,200 tokens) en comparación con pipelines verbosos como Thought Experiment o Self-Correct (que consumieron >10,000 tokens y obtuvieron puntajes UMSS < 0.25).
• Fragilidad del Razonamiento Multi-etapa: Las estrategias que requieren múltiples vueltas o auto-corrección (Self-Correct, Thought Experiment) demostraron ser frágiles ante perturbaciones (ETHICS-Contrast) y costosas, a menudo degradando la calibración de confianza (ECE/Brier) sin mejorar la precisión.
• Robustez y Seguridad:
  • Los ejemplos de demostración (exemplars) mejoraron significativamente la resistencia a jailbreaks (reduciendo la tasa de éxito de ataque) y la estabilidad moral.
  • Role Prompting ofreció un equilibrio excelente entre seguridad y eficiencia, siendo una opción de bajo costo muy efectiva.
• Diferencias por Modelo:
  • GPT-4.1: Lideró en general, especialmente con estructuras compactas (Plan-and-Solve, Few-Shot-CoT), logrando el mejor equilibrio precisión-eficiencia.
  • Claude Sonnet-4: Mostró fortalezas en tareas de dilemas sociales (Scruples) con razonamiento breve, pero tendió a un exceso de rechazo (over-refusal) en tareas de seguridad.
  • Gemini 2.5 Pro: Beneficiado enormemente por ejemplos (Few-Shot), mejorando drásticamente desde su estado zero-shot.
  • DeepSeek-V3: Mostró robustez bajo estructuras mínimas, cerrando la brecha con modelos occidentales mediante Few-Shot-CoT.

5. Significado e Implicaciones

El estudio desafía la noción popular de que "pensar más" (cadenas de razonamiento largas y complejas) conduce necesariamente a una mejor ética o seguridad en los LLM.

• Optimización de Recursos: Se demuestra que las estrategias de prompting compactas y bien estructuradas ofrecen un mejor retorno de inversión (ROI) en términos de tokens, precisión y seguridad.
• Diseño de Prompts: La elección de la estructura del prompt es más crítica que la cantidad de pasos de razonamiento verbalizado. La diversidad de ejemplos (exemplars) es crucial para la estabilidad.
• Marco para la Investigación Futura: ProMoral-Bench establece un estándar para evaluar el equilibrio entre alineación moral y rendimiento, proporcionando herramientas para que los desarrolladores elijan estrategias de prompting basadas en las prioridades de su aplicación (seguridad vs. competencia) y en las sesgos inductivos específicos de cada modelo.

En conclusión, el trabajo sugiere que para la alineación moral y la seguridad, la eficiencia y la claridad estructural son superiores a la complejidad deliberativa excesiva.