Resumo Técnico: Brincando com Palavras, Melhorando com Recompensas

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) estão cada vez mais encarregados de resolver problemas complexos que exigem criatividade, definida como a capacidade de navegar por vastos espaços de soluções e gerar soluções não convencionais, porém eficazes. No entanto, o treinamento de LLMs para criatividade é dificultado pela natureza subjetiva do conceito; o julgamento humano sobre o que constitui trabalho "criativo" é inconsistente, tornando o Aprendizado por Reforço com Feedback Humano (RLHF) padrão difícil de escalar e ruidoso. O desafio central é como treinar explicitamente LLMs para serem genuinamente criativos sem depender de anotação de preferência humana cara e subjetiva.

Metodologia

Os autores propõem um quadro que reformula a criatividade como um jogo com resultados objetivamente verificáveis, contornando a necessidade de julgamento humano.

1. Ambiente de Treinamento: Codenames
O estudo utiliza Codenames, um jogo de associação de palavras, como ambiente de treinamento. O jogo exercita inerentemente os dois eixos centrais da cognição criativa:

• Pensamento Divergente: Gerar associações remotas que abrangem múltiplos conceitos.
• Pensamento Convergente: Selecionar a única melhor associação que identifica unicamente os alvos, evitando não-alvos.

A configuração de treinamento simplifica o jogo completo em um Processo de Decisão de Markov (MDP) consistindo em duas tarefas de turno único:

• Geração de Pistas: Dado um conjunto de palavras-alvo ($T$) e palavras não-alvo ($N$), o modelo gera uma única palavra-pista ($w_{clue}$) que se conecta ao maior número possível de alvos, evitando associações com não-alvos.
• Geração de Adivinhações: Dado um tabuleiro de palavras ($B = T \cup N$) e uma pista pré-calculada, o modelo adivinha quais palavras a pista se refere.

2. Síntese de Dados e Currículo
Para garantir tratabilidade e variedade, os autores geraram um conjunto de dados de 3.680 exemplos de treinamento. Eles criaram um conjunto de 1.000 tópicos diversos e palavras associadas (estratificados por frequência em comuns e raras). Os dados de treinamento seguem um currículo de dificuldade crescente:

• Simples: Alvos retirados de palavras comuns.
• Moderado/Avançado: Proporção crescente de palavras raras.
• Especialista: Alvos retirados de palavras raras misturadas com distratores do tópico não-alvo.

3. Aprendizado por Reforço com Recompensas Verificáveis (RLVR)
Em vez de feedback humano, os modelos são treinados usando RLVR. Uma política "juíza" congelada (Google Gemini Flash-2.5) avalia a saída do modelo.

• Função de Recompensa: A recompensa é calculada com base na precisão do loop de geração de adivinhações. Ela recompensa acertos corretos de alvos e penaliza acertos de não-alvos ou adivinhações fora do tabuleiro. A recompensa é limitada em $[-2, 1]$.
• Algoritmo: Os autores empregam o objetivo DAPO (Deepseek-Adaptive Policy Optimization) com o estimador de vantagem GRPO. Eles ajustam finamente três modelos Qwen3 (1.7B, 4B e 8B) usando ajuste fino de parâmetros completos ao longo de 2 épocas (230 etapas de atualização). Não é utilizada regularização de divergência KL.

Principais Contribuições

1. Treinamento de Criatividade via Recompensas Verificáveis: O artigo demonstra que a criatividade pode ser treinada efetivamente usando um ambiente de jogo estruturado com recompensas objetivas, eliminando a necessidade de anotação de preferência humana.
2. Compromisso Precisão-Diversidade Dependente da Escala: O estudo revela uma descoberta crítica: o efeito do treinamento associativo nas capacidades do modelo depende da escala do modelo.
   • Modelos Menores (1.7B, 4B): Ganham melhorias substanciais na precisão de raciocínio (tarefas de matemática e ciência), mas frequentemente experimentam um colapso na diversidade criativa (tamanho de vocabulário e diversidade semântica).
   • Modelo Maior (8B): Ganha melhorias consistentes em métricas de criatividade (pensamento divergente, geração narrativa) com apenas degradação menor na precisão de raciocínio.
3. Solução Escalável: A abordagem fornece uma alavanca prática para fortalecer LLMs de diferentes tamanhos, entregando ganhos de raciocínio para modelos menores e ganhos de criatividade para modelos maiores usando uma única receita de treinamento unificada.

Resultados

Os modelos foram avaliados em 10 benchmarks de criatividade (cobrindo pensamento divergente/convergente, humor, metáfora e escrita criativa) e 4 benchmarks de raciocínio (aritmética, matemática competitiva, ciências de pós-graduação).

• Ganhos de Criatividade: O modelo 8B mostrou ganhos modestos, porém consistentes, em 8 dos 10 benchmarks de criatividade. Foi o único modelo a melhorar na diversidade divergente (DAT DSI e tamanho de vocabulário). No entanto, regrediu no NYT Connections, atribuído a uma tendência de "superpensamento", onde o modelo violou restrições da tarefa devido a traços de raciocínio estendidos.
• Ganhos de Raciocínio: Os modelos menores (1.7B e 4B) mostraram melhorias substanciais em tarefas de raciocínio. O modelo 1.7B melhorou em todos os quatro benchmarks de raciocínio (por exemplo, a precisão do AIME24 subiu de 0,43 para 0,57). O modelo 4B melhorou em três. Por outro lado, o modelo 8B viu declínios no desempenho de raciocínio (por exemplo, o AIME24 caiu de 0,80 para 0,67).
• Mecanismo: Os autores atribuem essa divisão à interação entre aprendizado associativo e RLVR. Modelos menores, que anteriormente lutavam com problemas difíceis, aprendem a resolver os problemas "mais fáceis" ao alcance com alta precisão. Modelos maiores, já capazes de resolver esses, são impulsionados pelo sinal de recompensa a explorar associações diversas e mais difíceis, aprimorando assim a criatividade à custa da precisão estrita.

Significado e Afirmações

O artigo afirma apresentar uma solução escalável e eficaz para treinar LLMs para criatividade sem julgamento humano. Ao enquadrar a criatividade como um jogo de recompensa verificável, os autores demonstram que um único paradigma de treinamento pode produzir resultados distintos e benéficos dependendo da escala do modelo:

• Para modelos menores, o método atua como um motor de precisão, afiando as capacidades de raciocínio.
• Para modelos maiores, o método atua como um motor de diversidade, ampliando associações criativas.

Os autores concluem que esse compromisso dependente da escala é uma propriedade chave do treinamento RLVR associativo. Eles enfatizam que sua abordagem reduz a barreira de recursos para pesquisa em criatividade ao depender de dados sintéticos e recompensas verificáveis em vez de anotação humana custosa, tornando-a acessível para modelos tão pequenos quanto 1,7B de parâmetros. O estudo alerta que, embora a diversidade criativa melhore, a precisão pode ser comprometida, sugerindo que esses modelos não devem ser usados em contextos que exigem precisão factual estrita (por exemplo, aconselhamento médico ou jurídico).