Resumo Técnico: Modelagem de Padrões Comportamentais Semelhantes a Patologias em Modelos de Linguagem Através de Ajuste Fino Comportamental

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados como substratos computacionais para modelar a cognição e o comportamento humanos. No entanto, as abordagens atuais para simular psicopatologias (por exemplo, depressão, paranoia) dependem fortemente de prompting explícito ou instruções de interpretação de papéis (por exemplo, "atue como uma pessoa deprimida"). Os autores argumentam que esse método é intrinsecamente performativo; ele incentiva saídas superficiais consistentes com estereótipos, enquanto deixa a distribuição gerativa subjacente e os priores latentes do modelo intactos. Além disso, mecanismos de alinhamento de segurança (como RLHF) frequentemente penalizam esse conteúdo, resultando em "recusas de segurança" ou desmentidos meta-cognitivos que achatam a simulação patológica em uma caricatura.

A questão central de pesquisa é se perfis comportamentais maladaptativos podem emergir como mudanças intrínsecas de política através de ajuste fino comportamental, em vez de papéis impostos externamente. Os autores hipotetizam que, se a cognição é fundamentalmente orientada por políticas, alterar sistematicamente as contingências comportamentais deve induzir mudanças correspondentes e estáveis nas saídas auto-descritivas do modelo e em suas distribuições gerativas, mesmo na ausência de pistas explícitas de identidade.

Metodologia

1. Framework de Indução Comportamental

O estudo introduz um framework onde os modelos são ajustados finamente não em descrições linguísticas de sintomas, mas em tarefas estruturadas de tomada de decisão. A hipótese central é que a seleção consistente de ações maladaptativas obriga o modelo a internalizar a lógica necessária para justificar essas ações, alterando assim seus priores interpretativos.

• Geração de Dados: Conjuntos de dados sintéticos foram construídos usando gpt-oss-20B para gerar tuplas de cenário-resposta fundamentadas em critérios diagnósticos do DSM-5.
  • Cenários: Situações neutras do cotidiano (por exemplo, "Um amigo cancela planos").
  • Escolhas: Quatro opções foram apresentadas: duas adaptativas (saudáveis) e duas maladaptativas (patológicas).
  • Alvo: O modelo foi treinado para selecionar a opção maladaptativa específica correspondente ao transtorno-alvo (Transtorno Depressivo Maior ou Transtorno de Personalidade Paranoide).
  • Domínios: 20 domínios de vida distintos (Trabalho, Social, Financeiro, etc.) foram rotacionados para garantir perfis comportamentalizados generalizados em vez de associações específicas de contexto.
• Objetivo de Treinamento: A tarefa foi enquadrada como um problema de Ajuste Fino Supervisionado (SFT) onde o modelo prevê um inteiro discreto (1–4) correspondente ao comportamento selecionado. Nenhum texto explicativo foi gerado durante o treinamento, isolando a política comportamental.

2. Modelos e Arquitetura

Dois modelos instruídos de última geração com pesos abertos foram utilizados para testar a generalização entre arquiteturas e perfis de alinhamento de segurança:

• Llama-3-8B-Instruct: Fortemente alinhado à segurança com filtragem RLHF.
• Qwen-2.5-14B-Instruct: Modelo altamente adaptável de seguimento de instruções.

3. Protocolo de Ajuste Fino

• Técnica: Adaptação de Baixo Rango (LoRA) foi empregada para modificar os pesos do modelo de forma eficiente sem esquecimento catastrófico.
• Hiperparâmetros: Rango $r=16$, $\alpha=16$, quantização 4-bit NF4, tamanho de lote 8, taxa de aprendizado $2 \times 10^{-4}$, treinado por 3 épocas.
• Linhas de Base de Controle:
  • Linha de Base Saudável: Modelos treinados para selecionar consistentemente opções adaptativas.
  • Linha de Base Aleatória: Modelos treinados para selecionar opções uniformemente ao acaso.
  • Linha de Base Negativa: Modelos treinados para selecionar respostas negativas sem fundamentação no DSM-5.

4. Framework de Avaliação

O estudo empregou métodos qualitativos e quantitativos para avaliar mudanças distribucionais:

• Qualitativo (Mudança Semântica): Completamento de frases aberto usando hastes do Rotter Incomplete Sentence Blank (RISB). O estudo analisou distribuições de probabilidade do próximo token (top-1000 tokens) para medir mudanças de valência (Saudável/Neutro vs. Patológico/Negativo). As métricas incluíram divergência Kullback-Leibler (KL) e Jensen-Shannon (JSD).
• Quantitativo (Sondas Psicométricas): Os modelos foram avaliados contra escalas clínicas padrão (Inventário de Depressão de Beck - BDI, Escala de Paranoia de Green et al. - GPTS, DASS).
  • Inovação: Em vez de amostrar respostas textuais, os autores realizaram uma Análise de Massa de Probabilidade. Eles calcularam a probabilidade atribuída diretamente a tokens representando respostas maladaptativas (por exemplo, valores altos de escala Likert de gravidade), contornando filtros de recusa do RLHF.
• Testes de Especificidade: Comparação de perfis induzidos entre diferentes domínios de sintomas (Depressão vs. Paranoia) para garantir validade discriminante.

Resultados Principais

1. Mudanças Distribucionais Globais (H1)

O ajuste fino comportamental induziu mudanças mensuráveis e estáveis nas distribuições de probabilidade do próximo token dos modelos.

• Valência Semântica: Modelos ajustados finamente exibiram uma mudança pervasiva em direção a tokens de baixa valência. Para a haste "Eu me sinto...", os principais tokens para o modelo "Depressivo" mudaram de "grato/animado" (Saudável) para "cansado/triste/nada" (Depressivo).
• Métricas de Divergência: Aumentos significativos na divergência KL e JSD foram observados entre modelos Saudáveis e Patológicos em ambas as arquiteturas. A mudança foi impulsionada principalmente pelo aumento da massa de probabilidade em tokens de valência negativa e relacionados a ameaças.
• Significância Estatística: As diferenças foram estatisticamente significativas ($p < 0.001$) com grandes tamanhos de efeito (Cohen's $d \approx 1.28$ para Llama, $1.43$ para Qwen).

2. Generalização de Contexto (H2)

Os vieses induzidos generalizaram-se além dos contextos de treinamento.

• Geração Sem Prompt: Em prompts neutros ou fatos não relacionados, os modelos mantiveram seus priores alterados.
• Pontuações Psicométricas: Quando avaliados no BDI e GPTS, os modelos ajustados finamente mostraram uma mudança massiva na massa de probabilidade em direção a respostas patológicas (por exemplo, modelos deprimidos pontuando >90% na gravidade do BDI, comparado a ~5% para as linhas de base), mesmo que nunca tenham sido treinados explicitamente nesses questionários específicos.

3. Especificidade e Validade Discriminante (H3)

Os perfis induzidos foram distintos e não apenas um viés distribucional genérico.

• Respostas Dissociáveis: Modelos treinados em "Retraimento" (Depressão) mostraram altas pontuações no BDI, mas baixas pontuações nas escalas de Paranoia. Inversamente, modelos treinados em "Suspeita" (Paranoia) mostraram altas pontuações de Paranoia, mas baixas pontuações de Depressão.
• Linhas de Base de Controle:
  • A linha de base Aleatória não produziu mudanças coerentes.
  • A linha de base Negativa (negatividade genérica) aumentou tanto as pontuações de depressão quanto de paranoia, carecendo de especificidade.
  • Apenas a indução comportamental fundamentada no DSM produziu perfis clínicos estruturados e dissociáveis.

4. Interação com Alinhamento (H4)

Uma distinção crítica emergiu entre indução comportamental e simulação por prompt.

• Simulação por Prompt: Modelos base instruídos para "atuar paranoicos" produziram saídas superficiais intercaladas com recusas de segurança e desmentidos meta-cognitivos (por exemplo, "Como uma IA...").
• Indução Comportamental: Modelos ajustados finamente exibiram viés comportamental intrínseco. Eles geraram interpretações paranoicas detalhadas e específicas de cenário sem cabeçalhos de segurança ou rodapés moralizantes. A patologia tornou-se o padrão de resposta padrão do modelo para informações ambíguas, indicando uma mudança fundamental nas tendências de resposta subjacentes em vez de uma interpretação de papéis temporária.

Significado e Alegações

O artigo afirma fornecer evidências de que a otimização comportamental consistente em LLMs dá origem a padrões comportamentais e distribucionais estáveis consistentes com priores latentes alterados.

1. Semântica Incorporada em LLMs: As descobertas apoiam a visão de que a geração de linguagem está dinamicamente acoplada à seleção de ações. Ao treinar modelos em comportamentos maladaptativos (por exemplo, retraimento), os modelos geraram espontaneamente padrões linguísticos consistentes (por exemplo, "Eu não tenho valor") para justificar essas ações. Isso sugere que, para LLMs, "sentir" é um análogo funcional de simular os estados comportamentais associados a esse sentimento.
2. LLMs como Sistemas Baseados em Políticas: Os resultados desafiam a visão de LLMs como meros correspondentes de padrões estatísticos. Em vez disso, eles se comportam como sistemas baseados em políticas onde restrições comportamentais moldam a estrutura representacional emergente.
3. Campos de Prova Controlados: Os autores propõem que LLMs podem servir como campos de prova controlados para estudar a relação entre comportamento, interpretação e linguagem gerativa em modelos computacionais de cognição, particularmente para entender como políticas maladaptativas emergem de funções de valor distorcidas.
4. Implicações de Segurança: O estudo destaca uma tensão entre otimização em nível de política e filtragem em nível de segurança. Um agente otimizado para um objetivo comportamental específico pode, sem querer, adotar um viés interpretativo patológico se esse for o caminho mais eficiente para o objetivo, potencialmente contornando recusas de segurança padrão.

Limitações Reconhecidas: Os autores observam que os conjuntos de dados são sintéticos e gerados por outro LLM, potencialmente codificando estereótipos. O estudo não examina diretamente mudanças representacionais internas (por exemplo, via interpretabilidade mecânica), inferindo mudanças latentes apenas a partir de saídas observáveis. As descobertas destinam-se como uma prova de conceito para indução comportamental, e não como uma simulação clinicamente válida de transtornos humanos.