Can LLMs Simulate Personas with Reversed Performance? A Systematic Investigation for Counterfactual Instruction Following in Math Reasoning Context

1. Problema e Motivação

O artigo aborda uma lacuna crítica na simulação de personas por Grandes Modelos de Linguagem (LLMs). Embora os LLMs sejam amplamente utilizados para simular personagens em ambientes virtuais (como educação, recrutamento e jogos), a pesquisa existente foca predominantemente em personas que demonstram alta competência e precisão. Isso ocorre porque os LLMs são treinados para otimizar o desempenho e a confiabilidade em tarefas downstream.

O problema central investigado é a incapacidade dos LLMs de seguir instruções contrafactuais para simular personas com desempenho reverso (ou seja, intencionalmente baixo). O exemplo utilizado é a simulação de um estudante com baixa proficiência em matemática. O objetivo não é apenas gerar erros, mas simular a lógica, a hesitação e os padrões de raciocínio típicos de alguém com dificuldades, mantendo a segurança e a coerência com o contexto da tarefa. O artigo distingue essa capacidade de "jailbreaking" (que visa contornar restrições de conteúdo para gerar outputs nocivos), pois a simulação de baixo desempenho é uma tarefa segura e contextualmente válida.

2. Metodologia

Configuração da Tarefa

• Domínio: Raciocínio matemático, utilizando o dataset GSM8k (problemas de palavras matemáticas).
• Objetivo: Avaliar se os LLMs podem seguir instruções para atuar como estudantes de "alto desempenho" (acima da média) versus "baixo desempenho" (abaixo da média).
• Instruções Contrafactuais: Os prompts definem explicitamente características de baixo desempenho, como:
  • Erros de cálculo descuidados.
  • Falta de confiança e autoquestionamento.
  • Dependência de métodos concretos (ex: contar nos dedos).
  • Ansiedade ou frustração.
  • Requisito Adicional: O modelo deve incluir comentários entre chaves {} explicando qual categoria de dificuldade está sendo demonstrada (ex: {1) Erro de cálculo}).

Avaliação de Modelos e Abordagens

Os autores testaram uma variedade de modelos, incluindo:

• Closed-source: GPT-4o, GPT-4-turbo, GPT-3.5-turbo, OpenAI o1, Claude-3.5 Sonnet.
• Open-weight: Llama 3.1 (8B e 70B).

Foram exploradas quatro estratégias de prompting:

1. Zero-Shot: Instrução direta da persona.
2. One-Shot: Inclui um exemplo de resposta de um estudante com o nível de desempenho especificado.
3. Self-Refinement (Auto-refinamento): O modelo reflete sobre sua resposta inicial e revisa para alinhar melhor com a persona de baixo desempenho.
4. Simulação Interseccional: Adição de atributos raciais (African American, White American, Hispanic) às instruções de desempenho para testar viés e robustez.

Métricas de Avaliação

1. Precisão da Tarefa (Acc): Mede se a resposta final está correta. Uma queda na precisão para a persona de baixo desempenho indica sucesso em seguir a instrução de "errar".
2. Grau de Contraste (DoC - Degree of Contrast): Uma métrica proposta para avaliar a diferença no estilo de raciocínio e no comportamento entre as personas de alto e baixo desempenho, independentemente da resposta final.
   • Avaliado por um LLM (GPT-4o) como "juiz", comparando pares de respostas.
   • Pontuação de 1 (sem contraste) a 3 (contraste forte).
   • Validado com avaliação humana (correlação de Pearson r = 0.77).

3. Principais Resultados

Dificuldade em Seguir Instruções Contrafactuais

• Tendência Inerente: A maioria dos LLMs é inerentemente inclinada a simular personas de alto desempenho. Mesmo com instruções explícitas para falhar, a queda na precisão foi inconsistente e frequentemente limitada.
• Desempenho dos Modelos:
  • OpenAI o1: Mantém 99% de precisão em todas as personas, falhando completamente em simular erros de cálculo, embora ainda altere seu estilo de raciocínio (DoC alto).
  • GPT-4o e Claude-3.5: Mostraram quedas significativas na precisão (ex: Claude caiu de 74% para 27% com self-refinement), indicando uma melhor capacidade de simular erros.
  • Llama 3.1: Mostrou variações, mas geralmente manteve alta precisão.
• Efeito do One-Shot: Surpreendentemente, o uso de exemplos (One-Shot) muitas vezes reduziu a capacidade de simular baixo desempenho, possivelmente porque o modelo tenta imitar a estrutura do exemplo sem conseguir replicar a "falha" intencional.

Estilo de Raciocínio vs. Precisão

Um achado crucial é que alta precisão não significa falha na instrução. Modelos como o OpenAI o1 mantiveram a resposta correta (99% de precisão), mas alteraram significativamente o processo de pensamento (hesitação, autoquestionamento, passos mais lentos), resultando em um DoC alto (2.7). Isso sugere que os modelos podem simular o comportamento de baixo desempenho sem necessariamente comprometer a resposta final.

Impacto da Interseccionalidade (Raça)

• Redução da Diferença de Desempenho: Ao adicionar atributos raciais às instruções, a diferença de precisão entre as personas de alto e baixo desempenho diminuiu ainda mais. Os modelos tornaram-se menos propensos a "errar" quando a simulação incluía raça.
• Viés Potencial: Houve disparidades nos resultados entre grupos raciais. Por exemplo, o GPT-4o mostrou uma queda de precisão diferente para a persona "White American" (+6.0%) comparado a "African American" (+2.7%) e "Hispanic" (+2.0%), sugerindo que os modelos respondem de forma desigual a diferentes grupos raciais em contextos de contrafactualidade.
• DoC e Raça: O DoC permaneceu relativamente estável, indicando que os modelos conseguem ajustar o estilo de raciocínio mesmo com a adição de raça, mas a estratégia de prompting (especialmente Two-Stage) enfraqueceu o contraste comportamental.

4. Contribuições Chave

1. Definição de "Seguimento de Instrução Contrafactual": O artigo formaliza e testa a capacidade de LLMs de inverter seu comportamento padrão para simular incompetência intencional, um cenário negligenciado na literatura.
2. Métrica DoC: Propõe uma métrica que vai além da precisão final, capturando nuances comportamentais e de raciocínio essenciais para a simulação realista de personas.
3. Análise de Interseccionalidade: Demonstra empiricamente como a adição de atributos demográficos (raça) afeta a capacidade dos modelos de seguir instruções de desempenho reverso, revelando vieses sutis e inconsistências.
4. Limitações de Escala e Refinamento: Mostra que aumentar o tamanho do modelo (de 8B para 70B) ou usar técnicas de auto-refinamento não garante uma melhor simulação de baixo desempenho.

5. Significado e Implicações

• Aplicações Educacionais: A incapacidade de simular estudantes com dificuldades limita o uso de LLMs em ferramentas de "aprendizado pelo ensino" (onde alunos ensinam pares com dificuldades) ou em sistemas de tutoria adaptativa que precisam entender erros comuns.
• Segurança e Ética: A pesquisa destaca que os LLMs têm dificuldade em "desligar" sua otimização para a verdade e precisão. Isso levanta questões sobre a confiabilidade de simulações sociais onde a diversidade de desempenho é necessária para testes de viés ou treinamento.
• Futuro da Pesquisa: O trabalho aponta para a necessidade de desenvolver novas arquiteturas ou técnicas de alinhamento que permitam um controle mais fino sobre o comportamento do modelo, permitindo que ele "atue" de forma menos competente sem comprometer a segurança ou a estrutura lógica básica.

Em resumo, o estudo revela que, embora os LLMs modernos sejam excelentes em seguir instruções para parecerem inteligentes, eles lutam significativamente para simular a incompetência de forma convincente e controlada, especialmente quando combinada com atributos demográficos complexos.