Resumo Técnico: Usando Aprendizado por Reforço para Treinar Grandes Modelos de Linguagem a Explicar Decisões Humanas

Problema

Um desafio central na modelagem cognitiva é desenvolver sistemas que não apenas predigam o comportamento humano com alta precisão, mas também forneçam insights interpretáveis sobre os mecanismos cognitivos subjacentes. Embora modelos de redes neurais treinados em dados comportamentais de larga escala frequentemente alcancem um forte desempenho preditivo, eles tipicamente funcionam como "caixas pretas", oferecendo uma compreensão teórica limitada dos processos cognitivos que capturam. Embora trabalhos recentes (ex: o modelo Centaur) tenham demonstrado que Grandes Modelos de Linguagem (LLMs) podem ser ajustados para prever o comportamento humano de forma eficaz, esses modelos carecem da capacidade de gerar explicações explícitas em linguagem natural sobre o porquê de essas previsões serem feitas. Este artigo aborda o dilema de equilibrar a precisão preditiva com a interpretabilidade, explorando se os LLMs podem servir como modelos cognitivos de duplo propósito, capazes tanto de predição quanto de explicação.

Metodologia

Os autores propõem um framework para treinar LLMs a gerar traços de raciocínio explícitos (Cadeia de Pensamento, ou Chain-of-Thought, CoT) que explicam escolhas arriscadas humanas. O estudo foca no domínio da escolha arriscada humana (decisões entre opções seguras e arriscadas) utilizando o conjunto de dados choices13k (Peterson et al., 2021).

Configuração Experimental

O modelo base utilizado é o Qwen-2.5-7B-Instruct. Os autores comparam três estratégias distintas de pós-treinamento aplicadas a módulos de Adaptação de Baixo Posto (LoRA):

1. Ajuste Fino Supervisionado (SFT): Treinamento autorregressivo padrão nos dados de escolha humana formatados como JSON.
2. SFT estilo Centaur: Uma variante onde apenas os tokens correspondentes às proporções de escolha humana (envoltos em colchetes especiais) contribuem para a perda (loss), mascarando os tokens de raciocínio durante o treinamento.
3. Aprendizado por Reforço (RL): Os autores empregam a Otimização de Política Relativa de Grupo (GRPO) com recompensas baseadas em resultados.

A Abordagem de RL

No cenário de RL, o modelo gera múltiplas conclusões candidatas (incluindo o raciocínio CoT e uma previsão final em JSON) para um determinado problema. A função de recompensa é estritamente baseada no resultado e vinculada à verdade fundamental (ground truth) do comportamento humano:

• Recompensa de Correção: Definida como $1 - |o_B - p_B|$, onde $o_B$ é a probabilidade prevista pelo modelo para a Opção B e $p_B$ é a proporção empírica de humanos escolhendo a Opção B.
• Recompensa de Formato: Um bônus (até 0.5) por gerar uma saída JSON estruturalmente válida onde a previsão segue o raciocínio.
• Restrições de Coerência: O modelo é penalizado se suas probabilidades previstas não somarem 1 ou caírem fora do intervalo [0, 1].

O treinamento de RL utiliza um tamanho de grupo de 12 candidatos por prompt e emprega o algoritmo "GRPO Done Right", que omite a normalização da recompensa pela desvio padrão para evitar o viés em relação à dificuldade da questão.

Experimentos de Controle

Para validar a adaptabilidade dos traços de raciocínio, os autores realizaram:

• Controle de Dados: Substituição de dados humanos por dados sintéticos gerados por um modelo de maximização de valor esperado para verificar se o CoT se adapta à nova estrutura de dados.
• Controle de Modelo: Replicação do experimento com um modelo base menor e mais fraco (Gemma-2-2B-Instruct) para testar a dependência da capacidade do modelo.

Principais Resultados

Desempenho Preditivo

• Acurácia Comparável: Nos checkpoints finais, o modelo treinado via RL alcançou uma acurácia preditiva (Erro Quadrático Médio no conjunto de teste) comparável tanto ao SFT padrão quanto ao SFT estilo Centaur ($M \approx 0.0148$ para RL vs. $0.0144$ para SFT). Testes estatísticos revelaram que não houve diferenças significativas entre os métodos.
• Eficiência de Aprendizado: O RL alcançou uma redução mais rápida no erro de previsão em relação ao número de exemplos de treinamento processados em comparação ao SFT, embora tenha incorrido em custos computacionais mais elevados devido à geração de múltiplos candidatos por etapa.
• Dependência da Capacidade do Modelo: Quando aplicado ao modelo mais fraco Gemma-2-2B, o RL teve um desempenho significativamente inferior aos métodos SFT. O modelo mais fraco falhou em gerar o mecanismo cognitivo crítico de "cálculo de valor esperado", levando a um baixo desempenho preditivo.

Qualidade do Raciocínio (CoT)

• Emergência do Raciocínio: Diferente dos modelos SFT e Centaur (que não foram explicitamente treinados para gerar raciocínio), o modelo de RL produziu consistentemente um raciocínio CoT detalhado antes de sua previsão final.
• Mecanismos Cognitivos: A análise dos CoTs gerados pelo RL revelou a emergência de mecanismos cognitivos específicos, notadamente o Cálculo de Valor Esperado e a Aversão ao Risco, que representaram cerca de 29–36% dos tokens de raciocínio. Outros mecanismos identificados incluíram Aversão à Perda, Efeito de Certeza e Ponderação de Probabilidade.
• Adaptabilidade: No experimento de controle de dados, ao ser treinado em dados sintéticos de valor esperado, o modelo de RL mudou seu raciocínio para focar pesadamente em cálculos de valor esperado, demonstrando que o CoT se adapta à estrutura dos dados de treinamento em vez de permanecer estático.
• Influência Causal: Um experimento de "troca de CoT" (CoT swapping) demonstrou que usar o CoT do modelo de RL para guiar o modelo base reduziu significativamente o erro de previsão, enquanto usar o CoT original do modelo base com o modelo de RL aumentou o erro. Isso sugere que o raciocínio gerado pelo RL está causalmente ligado às melhorias nas previsões.
• Avaliação Humana: Em uma avaliação humana de pequena escala, especialistas classificaram os CoTs do modelo de RL como mais razoáveis do que os do modelo base em 61,5% dos testes.

Significância e Alegações

O artigo afirma demonstrar que o Aprendizado por Reforço com recompensas baseadas em resultados (RLVR) pode elicitar traços de raciocínio de alta qualidade e interpretáveis de LLMs, que servem como teorias verbais da tomada de decisão humana.

• Modelagem de Duplo Propósito: O trabalho estabelece que LLMs podem funcionar como modelos cognitivos que simultaneamente predizem o comportamento humano e fornecem explicações em linguagem natural dos mecanismos cognitivos que impulsionam esses comportamentos.
• Racionalidade vs. Heurísticas: As descobertas sugerem que, contrariamente a alguma literatura que enfatiza heurísticas e vieses, caracterizações racionais (especificamente o cálculo de valor esperado e a aversão ao risco) podem ser forças dominantes na explicação das escolhas arriscadas humanas quando vistas através da lente destes modelos.
• Hipótese da Elicitação: Os resultados apoiam a "hipótese da elicitação", sugerindo que o RL não necessariamente ensina novas capacidades, mas sim traz à tona e amplifica o conhecimento teórico latente já presente no LLM pré-treinado. Consequentemente, o sucesso desta abordagem depende fortemente da capacidade do modelo base; modelos mais fracos falham em elicitar os mecanismos de raciocínio necessários.
• Escalabilidade: O método oferece uma alternativa escalável à modelagem cognitiva manual ou à descoberta de modelos dirigida por especialistas, gerando automaticamente teorias interpretáveis a partir de dados comportamentais de larga escala sem exigir programação simbólica explícita ou feedback humano em cada decisão.

Os autores concluem que, embora o pós-treinamento por RL seja computacionalmente mais caro que o SFT, ele fornece um caminho único para o desenvolvimento de modelos cognitivos que são quantitativamente precisos e qualitativamente interpretáveis.