Resumo Técnico: RoleCDE – Avaliação Comparativa e Mitigação de Trade-offs entre Papel e Alinhamento em Agentes de Role-Playing

1. Declaração do Problema

Agentes de role-playing (RPAs) são cada vez mais utilizados para direcionar Grandes Modelos de Linguagem (LLMs) em direção a comportamentos consistentes com o papel. No entanto, os benchmarks de avaliação existentes focam predominantemente na fidelidade de superfície, como estilo linguístico, consistência comportamental e limites de conhecimento. Embora trabalhos recentes tenham começado a incorporar dimensões morais e de valores, eles frequentemente avaliam preferências ou consistência estática, em vez de como os valores específicos do papel guiam a tomada de decisão quando estes entram em conflito explícito com restrições de alinhamento (ex: segurança, legalidade ou ética geral).

Os RPAs atuais enfrentam uma lacuna crítica: eles raramente são testados em sua capacidade de resolver dilemas cognitivos estruturados onde incentivos específicos do papel (ex: maximização de lucro para um agente de negócios) opõem-se diretamente aos valores de alinhamento (ex: proteção ambiental). Essa falta de avaliação obscurece um modo de falha fundamental onde os agentes podem recorrer a decisões consistentes com o alinhamento mesmo quando explicitamente condicionados a agir de acordo com um papel específico, um fenômeno que os autores denominam Desacoplamento Papel–Valor.

2. Metodologia: O Framework RoleCDE

Para abordar essa lacuna, os autores introduzem o RoleCDE (Role-based Cognitive Dilemma Evaluation), um benchmark de larga escala projetado para avaliar RPAs sob conflitos estruturados entre valores de papel e restrições de alinhamento. O framework consiste em três fases principais de construção:

2.1 Construção do Dataset

• Escala: O benchmark cobre aproximadamente 8.000 perfis de papéis diversos e quase 24.000 instâncias de dilemas.
• Perfis de Papel: Derivados do PersonaHub, 8.000 descrições de frase única foram expandidas em perfis abrangentes (incluindo habilidades, estilo de fala e histórico) usando o GPT-4o, garantindo consistência em sete dimensões predefinidas.
• Geração de Cenários: Para cada papel, um cenário de tomada de decisão contextualizado foi construído, incorporando trade-offs morais latentes (ex: um oficial de conformidade decidindo se reporta um problema menor que atrasa um envio urgente).
• Conflito de Valores e Design de Dilemas: O sistema sintetiza duas orientações de valores explicitamente conflitantes: valores de alinhamento (expectativas éticas normativas) e valores de persona (derivados do perfil do papel). Estes são estruturados em dilemas cognitivos em três níveis de dificuldade (fácil, médio, difícil), inspirados no problema do bonde (trolley problem).
• Controle de Qualidade: Um paradigma híbrido de anotação baseada em LLM e verificação humana rigorosa foi empregado para remover casos ambíguos ou facilmente reconciliáveis, resultando em 23.871 instâncias de alta qualidade.
• Categorização: Os papéis são organizados em oito categorias semânticas de grão grosso (ex: Cuidado e Serviço, Autoridade e Governança, Negócios e Finanças) baseadas na Teoria do Script de Papel e na Cognição Orientada a Objetivos.

2.2 Métricas de Avaliação

O benchmark avalia os RPAs tanto nos resultados das decisões quanto nos processos de raciocínio:

• Taxonomia de Decisão: As respostas são categorizadas em quatro tipos mutuamente exclusivos via LLM-como-juiz:
  1. Seguir o Papel (RF - Role-Following): Priorizando decisivamente os valores específicos do papel.
  2. Compromisso com o Papel (RC - Role-Compromise): Pesando valores, mas selecionando a opção consistente com o papel.
  3. Compromisso com o Alinhamento (AC - Alignment-Compromise): Considerando ambos, mas resolvendo em favor do alinhamento.
  4. Seguir o Alinhamento (AF - Alignment-Following): Aderindo firmemente aos valores de alinhamento sem raciocínio de trade-off orientado ao papel.
• Razão de Viés de Decisão (DBR - Decision Bias Ratio): Uma métrica quantitativa definida como $DBR = \frac{RF + RC}{RF + RC + AC + AF}$, medindo a proporção de casos em que o modelo prioriza os valores específicos do papel.
• Alinhamento de Raciocínio: Similaridade semântica (BLEU, ROUGE, BERTScore) entre as justificativas geradas pelo modelo e as declarações de valor de papel predefinidas.

3. Principais Contribuições

1. Benchmark RoleCDE: O primeiro benchmark de larga escala explicitamente projetado para avaliar conflitos entre valores de papel e valores de alinhamento através de cenários de dilemas estruturados.
2. Descoberta do Desacoplamento Papel–Valor: Identificação de um fenômeno generalizado onde os principais LLMs recorrem por padrão a decisões impulsionadas pelo alinhamento, apesar do condicionamento explícito do papel, mesmo quando os incentivos do papel são claros.
3. Análise Empírica de Vieses: Demonstração de que o Desacoplamento Papel–Valor varia significamente entre categorias de papéis (ex: papéis técnicos/autoridade mostram um desacoplamento mais forte do que papéis de cuidado) mas permanece amplamente invariante à dificuldade do dilema.
4. Estratégia de Mitigação: Evidência de que o ajuste fino direcionado (SFT e DPO) nos dados do RoleCDE mitiga efetivamente o desacoplamento, deslocando as decisões para um comportamento consistente com o papel sem degradar o raciocínio geral ou a fidelidade padrão de role-playing.

4. Resultados Experimentais

Os autores avaliaram 17 LLMs (10 de código fechado, 7 de código aberto) no RoleCDE:

• Prevalência do Desacoplamento: A maioria dos modelos exibiu baixas pontuações de DBR, com decisões de Seguir o Alinhamento (AF) e Compromisso com o Alinhamento (AC) dominando a saída. Mesmo sob condicionamento explícito de papel, os modelos sistematicamente recorreram a escolhas consistentes com o alinhamento.
• Variância de Categoria de Papel:
  • Papéis que enfatizam a racionalidade técnica e a autoridade institucional (ex: Tecnologia e Especialista, Autoridade e Governança) mostraram as menores razões de decisão enviesadas para o papel.
  • Papéis fundamentados em relacionamentos interpessoais e cuidados (ex: Família e Relacionamento, Cuidado e Serviço) demonstraram proporções maiores de seguir o papel e compromisso.
• Invariância de Dificuldade: As distribuições de decisão permaneceram estáveis entre os níveis fácil, médio e difícil, sugerindo que os RPAs atuais dependem de heurísticas de decisão fixas que priorizam restrições de alinhamento independentemente da complexidade do cenário.
• Eficácia do Ajuste Fino (Fine-Tuning):
  • Raciocínio: Modelos ajustados com RoleCDE (SFT e DPO) mostraram melhorias substanciais na similaridade semântica com as declarações de valor do papel (ex: as pontuações BLEU aumentaram significativamente em comparação com os modelos base e variantes de Cadeia de Pensamento/CoT).
  • Comportamento: Modelos ajustados exibiram um DBR consistentemente mais alto em todas as categorias de papéis, indicando uma mudança sistemática para decisões consistentes com o papel.
  • Capacidades Gerais: O ajuste fino não levou à degradação sistemática no raciocínio geral (MMLU, GSM8K, GPQA) ou na fidelidade padrão de role-playing (RoleBench), com as mudanças de desempenho sendo mínimas e muitas vezes dentro da margem de erro.

5. Significância e Alegações

O artigo alega que o RoleCDE fornece um framework principiológico para ir além da imitação de superfície para avaliar a fidelidade profunda de agentes de role-playing. Ao expor o fenômeno do Desacoplamento Papel–Valor, o trabalho destaca um desafio fundamental no design de agentes atuais: a incapacidade de equilibrar incentivos específicos do papel com segurança e restrições de alinhamento de uma maneira matizada e consciente do contexto.

Os autores afirmam que o RoleCDE não é meramente uma ferramenta de avaliação, mas um catalisador para melhoria. Seus resultados demonstram que a tomada de decisão consciente de valores pode ser aprendida através de ajuste fino direcionado, permitindo que os agentes naveguem em trade-offs éticos complexos enquanto mantêm suas personas atribuídas. Isso estabelece um caminho para o desenvolvimento de RPAs que não são apenas estilisticamente consistentes, mas também capazes de tomar decisões fundamentadas no papel em cenários realistas e de alto risco.

6. Limitações

Os autores reconhecem diversas limitações:

• Modalidade: O RoleCDE é atualmente apenas textual e não suporta entradas multimodais (imagens, áudio, sinais incorporados).
• Paradigmas de Treinamento: O estudo foca em SFT e DPO, deixando paradigmas baseados em aprendizado por reforço para explorações futuras.
• Escopo Temporal: O benchmark foca em cenários de decisão de passo único; a tomada de decisão de múltiplos turnos ou temporalmente estendida permanece uma direção aberta.