LLMs Exhibit Significantly Lower Uncertainty in Creative Writing Than Professional Writers

1. Problema e Motivação

O artigo identifica uma limitação fundamental e subestudada nos Grandes Modelos de Linguagem (LLMs): a aversion sistemática à incerteza em tarefas de escrita criativa.

• O Conflito: A teoria literária estabelece que a incerteza, a ambiguidade e a indeterminação são condições necessárias para a expressão criativa e a riqueza literária (citação de Keats sobre a capacidade de estar em "incertezas, mistérios e dúvidas"). Por outro lado, as estratégias atuais de alinhamento de LLMs (como RLHF e SFT) são projetadas para minimizar a ambiguidade, priorizar a factualidade e reduzir alucinações.
• A Hipótese: O alinhamento excessivo força os modelos a convergir para um conjunto estreito de estados "seguros" e homogeneizados (colapso de modo), eliminando a "fricção criativa" e a indeterminação que tornam a literatura envolvente. Isso resulta em textos que são triviais, repetitivos e carentes de tensão dramática.
• A Questão Central: A aversão dos LLMs à incerteza é a causa raiz de sua performance inferior na escrita criativa em comparação com autores humanos?

2. Metodologia

Os autores propõem uma estrutura teórica e empírica baseada na teoria da informação para quantificar a "lacuna de incerteza" (uncertainty gap) entre textos humanos e gerados por modelos.

2.1. Configuração Experimental

• Tarefa: Completar histórias (story completion). Dado um prefixo de contexto ($T_1$), compara-se a continuação humana original ($T_2$) com a continuação gerada pelo modelo ($\hat{T}_2$).
• Métrica de Avaliação: O mesmo LLM ($P_\theta$) atua tanto como gerador quanto como avaliador da incerteza do texto humano. Isso elimina viéses de distribuição entre modelos de avaliação e geração.
• Datasets:
  • The New Yorker (2010-2019): Contos de ficção literária de alta qualidade e curadoria rigorosa.
  • Tell-Me-A-Story: Contos de autores profissionais em workshops.
  • Ghostbuster: Usado para generalização em domínios não criativos (notícias, ensaios).

2.2. Métricas de Incerteza (Baseadas em Log-Probabilidades)

Os autores calculam métricas em nível de token e sequência para medir a "surpresa" (surprisal) e a dependência contextual:

1. Entropia do Token (NLL): Média da negação do log-verossimilhança. Mede a imprevisibilidade média dos tokens.
2. Perplexidade (PPL): Exponencial da entropia média.
3. Informação Mútua Ponto a Ponto (PMI): Mede o quanto o contexto $T_1$ prevê a continuação $T_2$, descontando a frequência intrínseca dos tokens. Um PMI alto indica forte dependência do contexto (previsibilidade); um PMI baixo indica que o texto traz nova informação independente do contexto imediato.
4. PMI Condicional (CPMI): Foca em tokens de alta entropia para identificar pontos de decisão narrativa crítica.

2.3. Análise de Qualidade

Utiliza-se um modelo de recompensa (Writing Quality Reward Model) treinado em preferências humanas para correlacionar as métricas de incerteza com a qualidade percebida da escrita, testando se existe uma relação linear ou não linear (curva em U invertido).

3. Principais Contribuições

1. Formalização Teórica: Conecta a teoria literária (indeterminação, ambiguidade, co-criatividade) com a teoria da informação, argumentando que a "alucinação" penalizada em modelos é estruturalmente análoga à "jogo infinito" necessário para a expressão criativa.
2. Quantificação Empírica: É o primeiro estudo a quantificar sistematicamente a lacuna de distribuição entre a ficção humana e a geração de LLMs usando estimativas rigorosas de incerteza.
3. Análise de Alinhamento: Demonstra que o pós-treinamento (instruction tuning e modelos de raciocínio) agrava a lacuna de incerteza, tornando os modelos ainda mais previsíveis e menos criativos do que suas contrapartes base (base models).
4. Correlação com Qualidade: Estabelece que a incerteza é um preditor positivo de qualidade na escrita criativa, identificando um "ponto ideal" (sweet spot) de alta entropia.

4. Resultados Chave

4.1. A Lacuna de Incerteza (Uncertainty Gap)

• Descoberta Principal: Os LLMs geram continuições de histórias com 2x a 4x menos incerteza intrínseca (NLL) e 2,7x a 8,8x menos perplexidade do que os textos humanos.
• Dependência Contextual: Os modelos exibem uma dependência excessiva do contexto imediato (PMI mais negativo), escolhendo tokens estatisticamente prováveis em vez de desvios criativos.
• Efeito do Alinhamento: Modelos instruídos (Instruct) e de raciocínio (Thinking) apresentam lacunas de incerteza significativamente maiores do que os modelos base. Por exemplo, em alguns casos, a razão NLL (Humano/Modelo) dobra ao passar do modelo base para o instruído.

4.2. Especificidade do Domínio

• A lacuna é amplificada na escrita criativa. Embora exista em domínios factuais (notícias, ensaios), a diferença no PMI é 25-30% maior em ficção. Isso sugere que os modelos falham especificamente em introduzir a tensão narrativa e a ambiguidade estrutural que definem a literatura de alta qualidade.

4.3. Correlação com Qualidade de Escrita

• Relação Positiva: Existe uma correlação positiva consistente entre métricas de incerteza (NLL, PPL) e pontuações de qualidade. Textos mais "surpreendentes" (menos previsíveis) tendem a ser avaliados como melhores.
• Curva em U Invertido (Sweet Spot): A análise de regressão quadrática revela que a qualidade ótima ocorre em níveis de incerteza altos, mas não extremos (aproximadamente 1,5 a 2 desvios padrão acima da média).
• O Problema dos LLMs: Os modelos alinhados operam consistentemente à esquerda desse pico ideal (baixa entropia), presos em um regime de baixa variabilidade que impede a geração de narrativa de alta qualidade.

5. Significado e Implicações

O artigo conclui que a busca atual por "alinhamento" em LLMs, focada na eliminação de ambiguidades e na garantia de factualidade, está destruindo a capacidade criativa dos modelos.

• Revisão do Alinhamento: É necessário desenvolver paradigmas de alinhamento "conscientes da incerteza" (uncertainty-aware). O sistema deve ser capaz de distinguir entre:
  • Alucinação destrutiva: Erros factuais em diagnósticos médicos ou dados.
  • Ambiguidade construtiva: A indeterminação necessária para metáforas poéticas, tensão narrativa e riqueza literária.
• Futuro da IA Criativa: Para atingir a paridade com escritores humanos, os modelos não devem apenas evitar erros, mas sim ser treinados para tolerar e gerar formas específicas de incerteza pragmática. A "fricção" e o "erro" podem ser esteticamente desejáveis na literatura, ao contrário do que a engenharia de software tradicional exige.

Em suma, o trabalho argumenta que a segurança excessiva dos modelos é a causa direta de sua mediocridade criativa, e que a próxima geração de IA criativa deve abraçar a incerteza como uma ferramenta fundamental, não como um defeito a ser corrigido.