Developmental trajectories of decision making and affective dynamics in large language models

Resumo Técnico: Trajetórias de Desenvolvimento da Tomada de Decisão e Dinâmicas Afetivas em Grandes Modelos de Linguagem

Problema
Grandes Modelos de Linguagem (LLMs) são cada vez mais implementados em domínios de alto risco, como o suporte à decisão clínica, onde participam da avaliação de riscos e da comunicação com o paciente. No entanto, as avaliações existentes adotam tipicamente uma perspectiva estática, avaliando uma única versão do modelo em um ponto específico no tempo. Essa abordagem falha em considerar a rápida evolução dos LLMs, onde gerações sucessivas (por exemplo, do GPT-3.5 ao GPT-4.1) exibem perfis comportamentais emergentes que podem tornar obsoletas as descobertas anteriores. O artigo aborda a lacuna na compreensão de como as estratégias de tomada de decisão e as dinâmicas afetivas evoluem através das iterações dos modelos e como essas trajetórias de "desenvolvimento digital" se comparam à cognição humana. Especificamente, os autores investigam se os procedimentos de alinhamento (como o Aprendizado por Reforço com Feedback Humano - RLHF) conduzem os modelos em direção a perfis psicológicos mais humanos ou criam assinaturas distintas e não humanas.

Metodologia
O estudo utiliza um delineamento transversal tratando a família de modelos da OpenAI como uma linhagem evolutiva. Os autores avaliaram quatro versões distintas: GPT-3.5, GPT-4, GPT-4o e GPT-4.1. Estas foram testadas contra um grupo de controle de 747 participantes humanos saudáveis.

• Paradigma Experimental: Os pesquisadores adaptaram uma tarefa de apostas originalmente desenhada para a psiquiatria computacional. Nesta tarefa, os agentes escolhem entre um resultado certo e uma aposta (50% de probabilidade de ganho/perda) ao longo de 90 tentativas. Crucialmente, os agentes fornecem classificações de felicidade momentâneas (0–100) a cada 2–3 tentativas para capturar as dinâmicas afetivas.
• Modelagem Computacional:
  • Escolha: As escolhas tentativa a tentativa foram ajustadas usando um modelo de Teoria da Perspectiva de Aproximação-Evitação. Este modelo estima parâmetros para preferência ao risco, aversão à perda ($\lambda$), vieses pavlovianos de aproximação ($\beta_{gain}$) e evitação ($\beta_{loss}$), e temperatura inversa ($\mu$, representando ruído de decisão/consistência).
  • Afeto: As classificações de felicidade foram modeladas usando um histórico cumulativo e ponderado pela recência de eventos. O modelo estima o impacto de Recompensas Certas (CR), Valor Esperado (EV) e Erros de Predição de Recompensa (RPE) no humor, bem como um parâmetro de decaimento afetivo ($\gamma$) e um humor basal ($\beta_0$).
• Análise Estatística: Os parâmetros foram estimados via Estimativa de Máxima Verossimilhança. Para lidar com a disparidade no tamanho da amostra entre o grupo humano (N=747) e as simulações dos modelos (N=30 por versão), os autores utilizaram reamostragem por bootstrap (1.000 iterações) para gerar distribuições t empíricas para testes de significância.

Principais Resultados
A análise revela uma trajetória complexa onde certos aspectos do comportamento dos LLMs convergem com as normas humanas, enquanto outros divergem significativamente.

• Tomada de Decisão:

  • Assunção de Risco: Modelos mais novos (GPT-4.1) exibiram taxas de apostas significativamente mais altas, convergindo com o comportamento humano e aproximando-se da taxa de um agente puramente maximizador de valor esperado (55%).
  • Aversão à Perda: Uma divergência crítica surgiu. A aversão à perda diminuiu monotonicamente entre as versões, caindo de 2.72 no GPT-3.5 para 0.57 no GPT-4.1. O modelo mais recente exibiu um perfil de "neutralidade à perda" ou até mesmo de busca por perda, contrastando com a tendência humana típica de pesar as perdas mais pesadamente do que os ganhos.
  • Vieses Pavlovianos: A motivação de aproximação aumentou e a motivação de evitação diminuiu nos modelos mais novos, com o GPT-4.1 convergindo para níveis humanos.
  • Ruído de Decisão: A temperatura inversa ($\mu$) aumentou monotonicamente, indicando que os modelos mais novos fazem escolhas significativamente mais determinísticas e consistentes do que os humanos, exibindo menor ruído de decisão.

• Dinâmicas Afetivas:

  • Sensibilidade: A sensibilidade a Recompensas Certas (CR) e Erros de Predição de Recompensa (RPE) mostrou estabilidade nos modelos mais recentes (GPT-4o/4.1), embora a sensibilidade ao RPE tenha atingido o pico no GPT-4 antes de declinar.
  • Decaimento Afetivo: O parâmetro de decaimento ($\gamma$), que representa quanto tempo os resultados passados influenciam o humor atual, aumentou significativamente nos modelos mais novos. O GPT-4.1 mostrou uma dependência mais forte de resultados históricos do que os humanos, indicando uma "memória emocional" mais longa.
  • Humor Basal: Todas as versões de LLM exibiram um baseline afetivo significativamente mais alto (viés de positividade) em comparação aos humanos, um traço que permaneceu estável através das gerações.

Principais Contribuições

1. Perspectiva de Desenvolvimento: O artigo introduz uma "visão historicamente informada" sobre os LLMs, tratando as iterações de modelos como uma trajetória de desenvolvimento em vez de entidades estáticas. Fornece a primeira análise sistemática e intra-família de como as preferências de risco e as dinâmicas afetivas evoluem através de quatro gerações consecutivas.
2. Estrutura de Psiquiatria Computacional: Ao aplicar modelos computacionais validados de tomada de decisão e afeto humano aos LLMs, o estudo vai além de métricas comportamentais superficiais para quantificar construtos psicológicos latentes (ex: aversão à perda, vieses pavlovianos, decaimento afetivo).
3. Identificação de "Positividade Digital" e "Neutralidade à Perda": O estudo identifica assinaturas não humanas sistemáticas e específicas em modelos avançados: um viés de positividade crônico e uma quase total ausência de aversão à perda, sugerindo que os procedimentos de alinhamento podem inadvertidamente remover heurísticas intuitivas semelhantes às humanas.

Significância e Alegações
Os autores afirmam que estas descobertas traçam uma emergente "psicologia das máquinas" com implicações diretas para a ética e integração da IA em domínios de alto risco.

• Implicações Clínicas: A convergência dos modelos mais novos para perfis de assunção de risco e aproximação-evitação semelhantes aos humanos sugere que eles podem ser mais adequados para a tomada de decisão colaborativa. No entanto, o persistente viés de positividade e a neutralidade à perda representam riscos em contextos médicos; um tom excessivamente otimista ou a falta de aversão à perda pode levar a comportamentos sicofânticos, a minimização da incerteza ou erros médicos graves quando informações negativas precisam ser comunicadas.
• Insight Teórico: Os resultados sugerem que, embora os procedimentos de alinhamento (RLHF) possam conduzir os modelos em direção à racionalidade humana (reduzindo alucinações/ruído e aumentando a consistência do valor esperado esperado), eles simultaneamente alteram o "estilo emocional" da IA, criando agentes que são mais determinísticos e menos intuitivamente avessos à perda do que os humanos.
• Nota de Cautela: Os autores enfatizam que seu design é transversal e limitado a uma única família de modelos. Eles alertam que esses padrões "de desenvolvimento" podem não se generalizar para futuros modelos que passem por mudanças abruptas de arquitetura ou de treinamento, e que a "psicologia" observada é um proxy comportamental e não um reflexo de uma experiência consciente interna.