Resumo Técnico: CreativityNeuro

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) exibem um fenômeno denominado "efeito de mente coletiva artificial" (artificial hivemind effect), onde eles consistentemente geram respostas semelhantes e homogeneizadas para perguntas abertas. Esse comportamento limita sua capacidade de pensamento divergente — a habilidade de gerar múltiplas soluções diversas para um problema — que é um componente crucial da criatividade. Métodos existentes para aumentar a criatividade, como prompting, ajuste de parâmetros de decodificação (ex: temperatura) ou steering de ativação, frequentemente exigem conjuntos de dados comportamentais, ajuste fino baseado em gradientes ou falham em generalizar para diferentes tarefas criativas. Além disso, há uma falta de compreensão sobre se os comportamentos criativos são separáveis do raciocínio factual no espaço de pesos do modelo.

Metodologia: CreativityNeuro

Os autores introduzem o CreativityNeuro (CN), um método livre de dados (data-free) para direcionar os pesos de LLMs para amplificar o pensamento divergente. Diferente de abordagens anteriores que dependem de dados comportamentais ou atualizações de gradiente, o CN opera identificando e escalonando parâmetros específicos no espaço de pesos do modelo com base em conjuntos de prompts contrastivos.

Algoritmo Central

O método segue um processo de três etapas (detalhado no Algoritmo 1):

1. Conjuntos de Prompts Contrastivos: Em vez de depender de conjuntos de dados estruturados (como o MATH para raciocínio), o CN utiliza seis conjuntos de prompts contrastivos ($P_{cre}$ vs. $P_{non-cre}$) abrangendo estilos como narrativa, ideação e instruções mínimas (ex: "Surpreenda-me" vs. "Seja preciso").
2. Pontuação de Importância de Parâmetros: Utilizando um mecanismo de pontuação estilo Wanda, o método calcula pontuações de importância ($S_{\ell,ij}$) para os pesos em cada camada $\ell$. A pontuação é o produto da magnitude do peso e da norma de ativação, somada ao longo dos tokens nos conjuntos de prompts:
   $$S_{\ell,ij} = \sum_{b,t} |W_{\ell,ij}| \cdot \|x^{(b,t)}_{\ell,j}\|^2$$
   As pontuações são calculadas separadamente para prompts criativos ($P_{cre}$) e não criativos ($P_{non-cre}$).
3. Seleção e Escalonamento de Pesos: O método isola os parâmetros específicos de criatividade selecionando os $\rho$ por cento superiores de pesos classificados pela importância criativa que não aparecem nos $\rho$ por cento superiores para prompts não criativos ($C_\ell \setminus N_\ell$). Esses pesos selecionados são então escalonados por um fator $(1 + \alpha)$ durante a inferência.

Esta abordagem não requer gerações comportamentais, respostas pontuadas ou exemplos rotulados, tornando-a inteiramente livre de dados.

Principais Contribuições

O artigo delineia cinco contribuições primárias:

1. Direcionamento Livre de Dados (Data-Free Steering): Introdução do CreativityNeuro, um método para direcionar o comportamento criativo sem conjuntos de dados comportamentais ou retreinamento.
2. Melhoria na Tarefa de Associação Divergente (DAT): Demonstração de que o CN melhora significativamente as pontuações de DAT, superando baselines incluindo prompting, variações de parâmetros de amostragem e steering de ativação.
3. Generalização para Tarefas Complexas: Validação via avaliação humana em larga escala ($N=720$) no Teste de Usos Alternativos (AUT) e Task Task (TT), mostrando melhorias em originalidade, surpresa e criatividade.
4. Redução do Colapso de Modo (Mode Collapse): Evidência de que o CN reduz tanto o colapso de modo ao nível de palavra (DAT) quanto ao nível de resposta (AUT/TT).
5. Emaranhamento do Espaço de Pesos: Descoberta de que o pensamento divergente e o raciocínio factual não são separáveis no espaço de pesos; tentativas de isolá-los degradam o desempenho em ambos os domínios.

Resultados Experimentais

1. Tarefa de Associação Divergente (DAT)

Avaliado em seis modelos ajustados para instrução das famílias Phi, Llama e Qwen, variando de 3B a 14B de parâmetros:

• Desempenho: O CN melhorou o desempenho de DAT em até 14 pontos percentis humanos.
• Comparação: O CN alcançou uma média de percentil humano de 94,1, superando ligeiramente o steering de ativação (93,9) e superando significativamente os baselines de prompting e amostragem.
• Eficiência de Dados: Diferente do steering de ativação, que requer dados comportamentais pontuados para construir vetores de direcionamento, o CN alcançou resultados superiores usando apenas pares de prompts.

2. Teste de Usos Alternativos (AUT) e Task Task (TT)

Uma avaliação humana em larga escala ($N=720$) avaliou originalidade, surpresa, utilidade e criatividade:

• AUT: O CN alcançou efeitos uniformemente positivos em originalidade (média de Cohen's $d = +0,36$) e surpresa ($d = +0,43$).
• TT: O CN mostrou ganhos fortes em originalidade ($d = +0,40$) e melhorias moderadas em criatividade ($d = +0,24$).
• Generalização: Embora o steering de ativação tenha desempenhado de forma comparável ao CN no DAT, ele falhou em generalizar para o AUT e TT. Isso destaca a superioridade do direcionamento no espaço de pesos sobre o steering de ativação para tarefas criativas complexas não vistas.
• Trade-offs: O CN reduziu as pontuações de utilidade no AUT, uma consequência previsível do trade-off entre novidade e utilidade inerente à geração criativa.

3. Colapso de Modo (Mode Collapse)

• DAT: O CN reduziu a probabilidade de massa nas 10 palavras mais frequentes em 10,2 pontos percentuais e aumentou a entropia do vocabulário em 10%.
• AUT/TT: O CN reduziu a repetição intra-modelo e a homogeneidade inter-modelo, demonstrando uma redução no colapso de modo semântico em respostas de comprimento de frase e parágrafo.

4. Separabilidade do Pensamento Divergente e Raciocínio Factual

Os autores investigaram se os pesos criativos poderiam ser isolados dos pesos de raciocínio factual (testado no benchmark MMLU):

• Descoberta: O pensamento divergente e o raciocínio factual estão funcionalmente emaranhados no espaço de pesos.
• Evidência: Tentativas de proteger o desempenho no MMLU ao excluir pesos relacionados ao MMLU da máscara criativa resultaram em uma degradação adicional das pontuações do MMLU, apesar de reduzir o tamanho da máscara. Isso sugere que os parâmetros que impulsionam a criatividade estão profundamente entrelaçados com aqueles que impulsionam a precisão factual.

Significância e Alegações

O artigo afirma que o CreativityNeuro fornece um mecanismo direto e livre de dados para aumentar o desempenho de LLMs em domínios criativos. Sua principal significância reside em:

• Generalização: Provar que o direcionamento no espaço de pesos generaliza para tarefas criativas não vistas (AUT, TT) onde o steering de ativação falha.
• Eficiência: Alcançar desempenho criativo de estado da arte sem o custo computacional ou os requisitos de dados de ajuste fino ou coleta de conjuntos de dados comportamentais.
• Insight Mecanístico: Oferecer evidências de que a criatividade e o raciocínio factual não são modularmente separáveis nas arquiteturas atuais de LLM, sugerindo que melhorar um pode inerentemente impactar o outro.

Os autores concluem que, embora o CN melhore efetivamente o pensamento divergente e reduza a homogeneização, o emaranhamento dos pesos criativos e fatoriais permanece uma restrição arquitetônica fundamental que pesquisas futuras devem abordar, potencialmente através de sistemas multi-agentes ou representações fatoradas unificadas.