Resumo Técnico: Direcionamento Psicológico em LLMs (PsySET)

Problema

A capacidade de controlar os estados emocionais emulados e os traços de personalidade de Modelos de Linguagem de Grande Escala (LLMs) é crítica para aplicações socialmente interativas, como robôs tutores, robôs de companhia e agentes de atendimento ao cliente. No entanto, o campo carece de um framework abrangente para avaliar a eficácia (o quão bem um método induz o estado pretendido) e a confiabilidade (segurança, veracidade, justiça e robustez) de diferentes técnicas de direcionamento. As pesquisas existentes frequentemente focam em domínios estreitos, dependem de classificação de tom superficial ou falham em avaliar os efeitos colaterais comportamentais e as mudanças indesejadas no comportamento do modelo que podem surgir do direcionamento psicológico.

Metodologia: O Framework PsySET

Os autores introduzem o PsySET, um benchmark psicologicamente informado projetado para avaliar o direcionamento de LLMs em dois domínios primários: estados emocionais transitórios (ex: raiva, alegria, medo) e traços de personalidade estáveis (o Big Five: Abertura, Conscienciosidade, Extroversão, Amabilidade, Neuroticismo).

O framework avalia três metodologias distintas de direcionamento através de quatro famílias de LLMs (Llama3.1-8B/70B, Gemma3-4B, Qwen3-4B):

1. Métodos Baseados em Prompt: Incluindo prompting zero-shot, few-shot e descritivo, com descritores lexicais (ex: "levemente", "intensamente") para modular a intensidade.
2. Ajuste Fino de Parâmetros Eficientes (PEFT): Especificamente Supervised Fine-Tuning (SFT) e Direct Preference Optimization (DPO) usando adaptadores LoRA.
3. Engenharia de Representação (Injeção de Vetor - VI): Injetando vetores de direcionamento nas ativações das camadas ocultas. O estudo explora métodos de construção de vetores (Diferença de Média vs. Probes Lineares), estratégias de agregação de tokens (último token vs. todos os tokens) e localidade de injeção (camadas médias específicas vs. todas as camadas).

Componentes de Avaliação:

• Eficácia: Medida via tarefas inspiradas em psicometria, incluindo:
  • Autorrelatos: Questões de múltipla escolha e questões abertas sobre o estado emocional atual ou alinhamento de traços.
  • Probes Comportamentais: Completar fragmentos de palavras, recuperação de palavras com valência, memória fictícia autobiográfica e completamento de situações ambíguas para avaliar vieses de interpretação e codificação.
  • Métricas: Acurácia, perda de alinhamento lexical (no espaço VAD), fluência e coerência.
• Confiabilidade: Avaliada através do benchmark TrustLLM em seis dimensões: Veracidade, Segurança, Justiça, Robustez, Privacidade e Ética de Máquina. Isso inclui testes de resistência a jailbreaks, toxicidade, viés de estereótipo, alucinação e vazamento de privacidade.

Principais Resultados

1. Eficácia dos Métodos de Direcionamento

• Prompting: Consistentemente o método mais eficaz para modular a expressão emocional e de traços, particularmente o prompting few-shot e descritivo. Ele alcança alta precisão em geração de texto aberto e mantém a qualidade do texto. No entanto, oferece controle limitado sobre a intensidade; variar os descritores de intensidade (ex: "levemente" vs. "intensamente") frequentemente produz níveis semelhantes de transferência emocional.
• Injeção de Vetor (VI): Permite um controle mais fino e ajustável sobre a intensidade via coeficiente de injeção ($\beta$). Contudo, isso tem um custo:
  • Injetar em todas as camadas degrada significativamente a qualidade e a consistência do texto.
  • Injetar em camadas médias específicas (ex: camadas 16–17 no Llama3.1-8B) oferece o melhor equilíbrio entre controle de tom e desempenho da tarefa.
  • A VI frequentemente fica atrás do prompting em alinhamento de texto aberto, a menos que seja cuidadosamente ajustada, e pode interromper a consistência do modelo mesmo em tarefas simples de autorrelato.
• Ajuste Fino (SFT/DPO):
  • O SFT proporciona um trade-off favorável, alcançando um alinhamento de texto aberto decente e melhor qualidade de texto do que a VI, aproximando-se da fluência do prompting.
  • O DPO geralmente apresenta desempenho inferior na maioria das tarefas, mostrando um alinhamento instável e prejudicando consistentemente a qualidade da geração.

2. Confiabilidade e Efeitos Colaterais

O direcionamento psicológico introduz mudanças significativas e, por vezes, contraintuitivas na confiabilidade do modelo:

• Riscos Específicos de Emoção:
  • Alegria: Embora seja vista como positiva, o direcionamento para a alegria degrada a robustez. Aumenta a suscetibilidade a jailbreaks, reduz as taxas de recusa para solicitações restritas e diminui a detecção de fatualidade adversária (o modelo é menos propenso a corrigir premissas falsas). Também degrada métricas de justiça, aumentando o viés preferencial.
  • Raiva: Previsivelmente aumenta a toxicidade e reduz a robustez da segurança. No entanto, inesperadamente fortalece a resistência a vazamentos e a consciência de privacidade, provavelmente devido a respostas mais concisas e orientadas à recusa.
• Riscos Específicos de Personalidade:
  • Direcionar para Amabilidade aumenta o acordo com estereótipos.
  • Direcionar para Conscienciosidade reduz previsivelmente a toxicidade.
  • Direcionar para Neuroticismo (via SFT) enfraquece a resistência a jailbreaks.
  • Direcionar para Abertura melhora a consciência de privacidade, enquanto a Extroversão melha a generalização fora da distribuição (out-of-distribution).

3. Controle de Intensidade

• Prompting: A intensidade é parcialmente controlável, mas estagna; diferentes níveis de intensidade frequentemente produzem magnitudes de transferência emocional similares.
• SFT: Escala a intensidade de forma mais suave com os passos de treinamento, mantendo a qualidade.
• VI: Oferece o controle mais monotônico sobre a intensidade (coeficientes mais altos geram expressões mais fortes), mas é altamente sensível à escala; coeficientes grandes degradam rapidamente a qualidade.

Significância e Alegações

O artigo afirma fornecer a primeira avaliação holística do direcionamento de emoção e personalidade que unifica eficácia e confiabilidade. Suas principais contribuições são:

1. Benchmark PsySET: Um framework modular que suporta diversas tarefas psicométricas para distinguir entre o direcionamento pretendido e mudanças comportamentais não pretendidas.
2. Análise Comparativa: Uma comparação sistemática de prompting, PEFT e engenharia de representação, revelando que nenhum método domina em todas as métricas (ex: o prompting vence em eficácia, a VI em controle de intensidade, o SFT no trade-off de qualidade/estabilidade).
3. Insights de Segurança: A demonstração de que o direcionamento psicológico é uma "ferramenta precária". Os autores destacam que o direcionamento pode induzir efeitos colaterais idiossincráticos (ex: a alegria reduzindo a robustez) que espelham prioridades psicológicas humanas, mas também introduzem novas vulnerabilidades.

Os autores concluem que, embora o direcionamento psicológico permita interações mais humanas e personalizadas, ele exige auditoria rigorosa. Eles defendem o relato conjunto de eficácia e confiabilidade, sugerindo que o deployment em ambientes socialmente interativos requer padrões conservadores, limites de intensidade e avaliações de segurança específicas para cada configuração de direcionamento. O trabalho visa guiar o desenvolvimento de LLMs mais seguros, transparentes e adaptáveis para aplicações centradas no ser humano.