Resumo Técnico: IDEAFix: Estrutura de Avaliação para o Prompting de Desfixação Criativa em LLMs

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados para tarefas criativas, como escrita de histórias, design de produtos e descoberta científica. No entanto, não há consenso em relação às suas capacidades criativas. Enquanto alguns estudos sugerem que os LLMs igualam ou até superam o desempenho humano na geração de ideias novas e úteis, outros destacam limitações estruturais, especificamente a fixação (restringir a ideação a padrões familiares) e a homogeneização de saída (respostas convergentes entre diferentes modelos e contextos).

As abordagens de avaliação existentes sofrem de duas limitações principais:

1. Tarefas estreitas e descontextualizadas: Testes psicológicos padrão como a Tarefa de Usos Alternativos (AUT) ou os Testes de Torrance (TTCT) frequentemente carecem de contextos de geração orientados por objetivos, capturando diversidade, mas falhando em avaliar profundamente a utilidade contextual ou a originalidade.
2. Configurações mais amplas confundidas: Configurações de avaliação mais amplas costumam misturar formulação de tarefa, estratégias de prompting e design de avaliação, tornando difícil isolar os efeitos específicos da orientação estruturada na geração de ideias.

Além disso, o papel das estratégias de prompting estruturado — inspiradas em métodos estabelecidos de criatividade e desfixação humana (ex: TRIZ, Design Thinking, teoria C-K) — na moldagem da geração de ideias pelos LLMs permanece subexplorado. Não está claro se esses métodos mitigam efetivamente a fixação nos LLMs ou se os LLMs dependem meramente de manipulação semântica e padrões de dados em vez de um raciocínio criativo genuíno.

Metodologia: A Estrutura IDEAFix

Os autores introduzem o IDEAFix, uma estrutura de avaliação controlada e extensível projetada para analisar o pensamento divergente em tarefas de geração de ideias abertas. A estrutura segue um pipeline de quatro etapas:

1. Construção do Briefing

Um corpus de 81 briefings de design foi construído, cobrindo quatro categorias: Produtos (26), Serviços (15), Estratégias (27) e Procedimentos (14). Estes incluem tarefas de design padrão, cenários complexos (ex: dilemas éticos) e tarefas de criatividade fundamental da literatura de ciências sociais.

2. Expansão de Atributos

Para investigar o efeito da variação semântica, cada briefing foi expandido em 567 condições experimentais. Isso foi alcançado manipulando a tipicidade dos atributos adjetivais associados ao briefing em três níveis:

• Tradicional: Frequentemente associado ao domínio.
• Atípico: Raramente associado ao domínio.
• Surpreendente: Associações inesperadas.
  Os atributos foram gerados com valência positiva e negativa, guiados pelo julgamento de especialistas para garantir consistência sintática e relevância contextual.

3. Design de Prompt Estruturado

A estrutura utiliza 25 prompts estruturados divididos em:

• Prompts de Controle (2): Variações semânticas simples que servem como linhas de base.
• Prompts Baseados em Métodos (21): Fundamentados em seis métodos estabelecidos de criatividade/design: Brainstorming (3 variantes), Teoria C-K (4), TRIZ (4), Design Thinking (4), Cenários Prospectivos (3) e SCAMPER (1).
• Estratégias Específicas de IA (4): Prompts inovadores desenhados especificamente para LLMs, focando em negação de categoria e forçando os modelos a evitar seus caminhos exploratórios mais simples (ex: "pense fora da caixa", "selvagem", "não convencional").

Todos os prompts compartilham um template estrutural padronizado para garantir a comparabilidade, incluindo descrições de método, instruções de raciocínio passo a passo, o briefing expandido e formatação de saída compartilhada.

4. Métricas para Pensamento Divergente

As ideias geradas foram avaliadas usando seis métricas automatizadas baseadas em distâncias semânticas no espaço de embeddings (similaridade de cosseno):

• Fluência: Número de ideias geradas.
• Diversidade: Distância média entre pares de ideias dentro de uma única saída.
• Novidade: Distância de uma ideia em relação a um conjunto de ideias "comuns" (geradas por prompts de controle).
• Raridade: Distância de uma ideia em relação ao conjunto de todas as ideias geradas por um modelo através de todas as estratégias.
• Sobreposição: Extensão da sobreposição de palavras-chave entre o briefing e a saída.
• Perplexidade: Medida de previsibilidade de sequência (coerência).

Configuração Experimental

O estudo avaliou cinco LLMs: Meta-Llama-3.1-70B, Qwen3-30B, Gemini-2.5-Flash, GPT-4o e Grok-4.1-fast-reasoning. Os modelos foram executados com temperaturas otimizadas para saídas criativas (0.7–1.0) e geraram três iterações independentes por prompt para considerar a variabilidade estocástica. O conjunto de dados compreende 14.350 prompts de entrada.

Principais Resultados

Variabilidade de Desempenho dos Modelos

O desempenho variou significativamente entre os modelos. Grok e Llama geralmente produziram saídas com maior novidade, raridade e diversidade em comparação ao GPT-4o e Gemini. No entanto, todos os modelos exibiram uma tendência à homogeneização de saída.

Impacto de Briefings e Atributos

• Tipo de Briefing: Briefings de produtos elicitaram a maior novidade e raridade, mas menor fluência. Briefings de procedimentos geraram saídas mais amplas e variadas, enquanto briefings de serviços produziram consistentemente as respostas mais convencionais.
• Atributos: Palavras-chave surpreendentes e negativas aumentaram consistentemente a novidade e a raridade, muitas vezes em detrimento da diversidade. Isso sugere que os modelos podem ser direcionados para associações menos típicas através de enquadramento semântico específico.

Eficácia das Estratégias de Prompting

• Melhoria Geral: Todos os prompts inspirados em métodos superaram os prompts de controle em novidade e raridade, com diferenças estatisticamente significativas.
• Simplicidade vs. Complexidade: Contrariando o esperado, prompts mais simples (especificamente as estratégias específicas de IA e certas variantes de Brainstorming) que enfatizam pistas de divergência explícitas (ex: "selvagem", "não convencional") superaram prompts complexos e densos em métodos (como implementações completas de C-K ou SCAMPER) na geração de ideias originais de alto nível.
• Limitações de Métodos: Métodos complexos como TRIZ e C-K não necessariamente maximizaram a novidade em comparação com instruções de divergência mais simples, sugerindo que os LLMs respondem mais fortemente a pistas de divergência explícitas do que à complexidade estrutural de frameworks de criatividade humana.

Homogeneização e Fixação

Apesar das melhorias na novidade das ideias individuais, o estudo observou uma homogeneização de saída persistente entre os modelos. As soluções permaneceram vinculadas a um espaço semântico compartilhado fortemente orientado para a inovação digital e tecnológica. Isso confirma o efeito "mente de colmeia do LLM", onde os modelos convergem para saídas semelhantes mesmo quando guiados por estratégias de desfixação.

Significância e Contribuições

O artigo reivindica as seguintes contribuições:

1. Estrutura IDEAFix: Uma estrutura controlada e extensível para estudar o pensamento divergente em LLMs que isola os efeitos da formulação da tarefa, seleção de atributos e estratégias de prompting.
2. Dataset Estruturado: Um conjunto de dados de 14.350 prompts combinando diversos briefings, expansões de atributos e protocolos de prompting estruturado inspirados em métodos de criatividade humana.
3. Análise Sistemática: Evidência de que, embora estratégias de prompting específicas (particularmente instruções de divergência simples e explícitas) possam impulsionar a originalidade das soluções, elas não eliminam totalmente os limites inerentes de fixação e homogeneização dos LLMs.

Os autores concluem que o IDEAFix fornece uma ferramenta necessária para entender os mecanismos subjacentes à criatividade dos LLMs, destacando que, embora os LLMs possam ser guiados para produzir variações mais novas do conhecimento existente, eles lutam para gerar ideias verdadeiramente transformadoras que rompam além das restrições aprendidas. A estrutura permite experimentos controlados para estudar esses limites sem a suscetibilidade à contaminação de dados encontrada em benchmarks estáticos.