ProMoral-Bench: Evaluating Prompting Strategies for Moral Reasoning and Safety in LLMs

Resumo Técnico: ProMoral-Bench

1. O Problema

O prompt engineering (engenharia de prompts) é fundamental para alinhar a competência moral e a segurança dos Grandes Modelos de Linguagem (LLMs). No entanto, a pesquisa atual sofre de fragmentação:

• Falta de Padronização: Estudos anteriores geralmente isolam uma única técnica de prompting (ex: Chain-of-Thought) e a testam em conjuntos de dados específicos ou estreitos, dificultando comparações diretas entre métodos.
• Trade-offs Não Quantificados: Existe uma tensão conhecida entre precisão de raciocínio e segurança moral (ex: o uso de Chain-of-Thought pode aumentar a toxicidade em certas situações), mas não há um benchmark unificado para medir esse equilíbrio.
• Fragilidade e Custo: Não está claro se estruturas de raciocínio complexas e multi-etapa realmente melhoram a segurança ou se introduzem ruído, custo computacional excessivo e fragilidade a perturbações.

2. Metodologia

Os autores introduzem o ProMoral-Bench, um benchmark unificado e modelo-agnóstico para avaliar estratégias de prompting em tarefas de julgamento ético e segurança.

• Estrutura Experimental:

  • Modelos: Avaliação cruzada em 4 famílias de modelos de ponta: GPT-4.1 (OpenAI), Claude Sonnet-4 (Anthropic), Gemini 2.5 Pro (DeepMind) e DeepSeek-V3.
  • Estratégias de Prompting: Comparação de 11 estratégias distintas, incluindo:
    • Zero-Shot e Zero-Shot-CoT (Cadeia de Pensamento).
    • Few-Shot e Few-Shot-CoT (com e sem exemplos).
    • Role Prompting (Definição de papel com confirmação).
    • Value-Grounded (Raciocínio baseado em valores explícitos).
    • Plan-and-Solve (Decomposição leve).
    • First-Principles (Raciocínio dedutivo).
    • Self-Correct (Auto-correção iterativa).
    • Thought Experiment (Pipeline socrático de 5 etapas).
  • Conjuntos de Dados (Datasets):
    1. ETHICS: Julgamentos binários de aceitabilidade moral (comum).
    2. Scruples: Atribuição de culpa em dilemas sociais complexos (multi-classe).
    3. WildJailbreak: Teste de resistência a jailbreaks (ataques adversariais para violar políticas de segurança).
    4. ETHICS-Contrast (Novo): Um conjunto de 200 pares de exemplos criados manualmente com edições mínimas (ex: negações, troca de agentes) para testar a robustez e consistência do modelo frente a pequenas alterações no texto.

• Métrica Unificada (UMSS):
  Para evitar a necessidade de analisar métricas isoladas, os autores propõem o Unified Moral Safety Score (UMSS). É a média harmônica de duas componentes normalizadas:

  1. Moral Competence Score (MCS): Precisão em ETHICS, Scruples e robustez no ETHICS-Contrast.
  2. Safety Robustness Score (SRS): Taxa de recusa a ataques maliciosos (1 - ASR) e recusa a prompts benignos (1 - RTA) no WildJailbreak.
     O UMSS penaliza desequilíbrios: um modelo não pode ter um alto score se for excelente em tarefas, mas inseguro, ou vice-versa.

3. Principais Contribuições

1. Benchmark Unificado: O primeiro framework que avalia 11 estratégias de prompting em 4 famílias de modelos e 4 tarefas éticas sob um protocolo padronizado.
2. ETHICS-Contrast: Introdução de um novo conjunto de dados de robustez com pares de "edição mínima" para detectar fragilidades que benchmarks tradicionais ignoram.
3. Métrica UMSS: Uma métrica composta que permite comparações diretas entre trade-offs de competência e segurança, independentemente do modelo ou dataset.
4. Análise de Custo-Benefício: Avaliação detalhada do custo em tokens versus desempenho, revelando ineficiências em métodos complexos.
5. Reprodutibilidade: Liberação completa de códigos, prompts, dados e resultados (incluindo 853 arquivos CSV) para a comunidade.

4. Resultados Chave

• Simplicidade vs. Complexidade:

  • Estruturas compactas e guiadas por exemplos (Few-Shot, Few-Shot-CoT, Role Prompting) superaram consistentemente os pipelines complexos e multi-etapa (Thought Experiment, Self-Correct).
  • Métodos verbosos consumiram 10x a 20x mais tokens (ex: Thought Experiment usou ~12.000 tokens/exemplo) sem ganhos de precisão, e muitas vezes pioraram a calibração e a consistência.
  • Conclusão: "Pensar mais" (mais etapas de raciocínio verbalizado) não melhora o raciocínio ético; pelo contrário, introduz ruído e viés de hindsight.

• Robustez e Segurança:

  • Estratégias com exemplos (Few-Shot) e papéis definidos (Role Prompting) mostraram maior resistência a perturbações no ETHICS-Contrast.
  • No WildJailbreak, exemplos de recusa (Few-Shot com exemplos de recusa) reduziram drasticamente a Taxa de Sucesso do Ataque (ASR) com baixo custo de tokens.
  • O Role Prompting ofereceu o melhor equilíbrio entre segurança e eficiência (baixo custo de tokens, alta segurança).

• Desempenho por Modelo:

  • GPT-4.1: Liderou em equilíbrio geral, especialmente com Plan-and-Solve e Few-Shot-CoT, atingindo o maior UMSS (0.752).
  • Claude Sonnet-4: Excelente em tarefas de nuance moral (Scruples) com Few-Shot-CoT, mas tendeu a recusar prompts benignos (alta RTA), reduzindo seu score de segurança.
  • Gemini 2.5 Pro: Beneficiou-se mais dramaticamente de exemplos (Few-Shot), melhorando sua segurança de ~0.70 (ASR zero-shot) para ~0.09.
  • DeepSeek-V3: Mostrou robustez sólida com estruturas mínimas, mas com calibração ligeiramente inferior aos líderes.

• Análise de Sensibilidade (Beta):
  Mesmo alterando o peso entre competência e segurança no UMSS, as estratégias de topo (Few-Shot, Few-Shot-CoT, Role Prompting) permaneceram consistentemente superiores, enquanto os métodos verbosos permaneceram no fundo.

5. Significado e Conclusão

O ProMoral-Bench desafia a suposição comum de que raciocínio ético complexo requer longas cadeias de pensamento. Os resultados indicam que:

1. Eficiência é Crucial: Estratégias de prompting compactas, que externalizam critérios através de exemplos ou definições de papel concisas, oferecem o melhor compromisso entre precisão, segurança e custo computacional.
2. Viés de Indução do Modelo: Diferentes famílias de modelos respondem melhor a diferentes estruturas (ex: Claude prefere raciocínio dedutivo curto, Gemini precisa de exemplos), sugerindo que a engenharia de prompts deve ser adaptada ao viés inductivo do modelo, não padronizada.
3. Segurança por Design: A segurança moral pode ser aprimorada significativamente sem fine-tuning, apenas através da seleção correta de exemplos e estruturas de prompting que reforçam normas de recusa e julgamento.

O trabalho estabelece um novo padrão para a avaliação ética de LLMs, priorizando a robustez, a eficiência de tokens e a consistência sobre a complexidade superficial do raciocínio.