Resumo Técnico: CASPER na Máquina

Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados para escrita criativa e geração de histórias de ficção, surge uma questão crítica sobre as diferenças qualitativas entre as narrativas geradas por máquinas e as escritas por humanos. Embora pesquisas recentes tenham examinado histórias geradas por LLMs sob a ótica do desenvolvimento do enredo e da estrutura narrativa, há uma lacuna significativa na compreensão de como esses modelos retratam personagens. As análises automatizadas existentes frequentemente dependem de atributos básicos, como demografia ou traços de personalidade, falhando em capturar as nuances artísticas mais profundas da representação de personagens que definem o tom, os temas e a ressonância cultural de uma história. Os autores postulam que os métodos atuais carecem da granularidade necessária para determinar se os LLMs geram personagens com a mesma variedade, profundidade e intenção artística que os escritores humanos.

Metodologia

Para abordar isso, os autores introduzem o CASPER (Character's Portrayal Classifier), um framework fundamentado na teoria da narratologia projetado para analisar automaticamente a representação de personagens em contos.

1. Estrutura Teórica

Em vez de depender da dicotomia vaga e subjetiva de personagem "raso" vs. "redondo", o CASPER utiliza uma taxonomia proposta por Hochman (1985). Este framework avalia os personagens através de oito pares de categorias, onde cada categoria primária é contrastada com seu oposto:

• Estilização vs. Naturalismo: Idealização/artifício deliberado vs. precisão realista.
• Coerência vs. Incoerência: Ações/falas consistentes vs. contradições/fragmentação.
• Totalidade vs. Fragmentação: Ser integrado com personalidade completa vs. aspectos parciais com lacunas.
• Literalidade vs. Simbolismo: Indivíduo dentro do mundo da história vs. representação de ideias abstratas/temas.
• Complexidade vs. Simplicidade: Múltiplos traços conflitantes vs. definido por um ou poucos traços dominantes.
• Transparência vs. Opacidade: Vida interior clara (pensamentos/motivos) vs. vida interior oculta/ambígua.
• Dinamismo vs. Estatismo: Desenvolvimento/transformação perceptível vs. imutabilidade fundamental.
• Fechamento vs. Abertura: Arco narrativo com resolução clara vs. destino/significado não resolvido.

2. Construção do Conjunto de Dados

Os autores construíram um corpus de alta qualidade e comparável:

• Histórias Escritas por Humanos: 200 contos coletados do r/shortstories, filtrados para garantir que não fossem gerados por IA (usando detectores de IA) e mapeados em quatro gêneros: Doméstico, Romance, Ficção Científica/Fantasia e Suspense/Thriller.
• Histórias Geradas por LLM: 4.400 histórias geradas por 8 LLMs diferentes (através de 4 famílias: GPT, Llama, Phi, Mistral) de tamanhos variados (de 3B a 70B de parâmetros).
• Comparabilidade: Para garantir uma comparação justa, os autores utilizaram o Llama-70B para gerar prompts de escrita a partir das histórias humanas, que foram então usados para elicitar histórias dos LLMs alvo, garantindo o alinhamento temático e de gênero.

3. Pipeline de Classificação

• Anotação: Um conjunto de teste de 100 histórias (50 humanas, 50 de LLM) foi anotado manualmente por especialistas literários para estabelecer a verdade fundamental (ground truth). O acordo entre avaliadores (Cohen's $\kappa$) foi moderado (0.56).
• Classificação Automatizada: Os autores empregaram uma abordagem de "LLM-como-juiz" utilizando Llama-70B e GPT4o-mini. Eles testaram sistematicamente várias estratégias de prompting (Zero-shot, Aprendizado em Contexto com diferentes layouts, escalas Likert) para determinar a configuração ideal para cada categoria.
• Melhores Práticas: O estudo descobriu que a classificação binária usando chamadas de inferência separadas para cada categoria produzia os melhores resultados. Templates de prompt específicos (ex: ICL-repetido para Estilização, Zero-shot para Dinamismo) foram selecionados com base no desempenho contra as anotações humanas.

Principais Resultados

A análise de 4.400 histórias geradas por LLM em comparação com as escritas por humanos revelou padrões distintos:

• Fechamento e Segurança: Os LLMs são significativamente mais propensos a gerar personagens com arcos narrativos Fechados (conclusões definitivas) em comparação aos humanos, que frequentemente deixam arcos Abertos. Isso sugere que os LLMs "jogam pelo seguro" ao amarrar pontas soltas, enquanto os escritores humanos estão mais dispostos a usar a ambiguidade.
• Estilização e Dinamismo: Personagens gerados por LLM são estatisticamente mais propensos a serem Estilizados (estereotipados/arquetípicos) e Dinâmicos (passando por crescimento perceptível) do que personagens humanos. Os LLMs tendem a criar personagens que se encaixam em arquétipos e experimentam mudanças emocionais para transmitir lições morais.
• Transparência e Coerência: Tanto humanos quanto LLMs preferem predominantemente personagens Coerentes, Inteiros e Transparentes. Isso indica uma falta de diversidade em mistério ou confusão, embora os autores notem que isso pode ser influenciado pelo foco nos protagonistas.
• Tamanho do Modelo: Contrário à expectativa de que modelos maiores produzem personagens mais nuances, o tamanho do modelo não afeta significativamente a representação do personagem. Modelos menores e maiores produziram distribuições quase idênticas entre as categorias, com apenas pequenas diferenças em estilização.
• Diversidade de Família de Modelos: A família Phi gerou as distribuições de personagens mais diversas, enquanto a família Llama gerou as menos diversas. Os modelos Mistral mostraram uma preferência por personagens mais estilizados e menos coerentes.
• Influência do Gênero: O gênero impacta significativamente os tipos de personagens. Por exemplo, histórias Domésticas apresentam personagens realistas, mas frequentemente simbólicos, enquanto histórias de Ficção Científica/Fantasia exibem as maiores taxas de estilização e simbolismo.
• Variabilidade de Inferência: Quando o mesmo prompt é usado múltiplas vezes, a Literalidade e o Fechamento apresentam a maior variabilidade entre as gerações, sugerindo que os LLMs têm dificuldade em aderir consistentemente às pistas de contexto sobre quão literal ou resolvido um personagem deve ser.

Contribuições e Significância

O artigo apresenta três contribuições principais:

1. Adaptação de Framework: Ele adapta com sucesso métodos de análise automatizada (framework CASPER) baseados em teoria da narratologia (taxonomia de Hochman) para analisar histórias geradas por LLM, fornecendo uma ferramenta para rastrear a evolução da representação de personagens em modelos futuros.
2. Corpus Curado: Ele disponibiliza um conjunto de dados cuidadosamente curado de 4.400 histórias geradas por LLM e 200 escritas por humanos, garantindo a comparabilidade entre gêneros e temas para pesquisas futuras.
3. Análise Empírica: Fornece uma comparação detalhada e refinada entre personagens humanos e de LLM, indo além de traços básicos para analisar como os personagens são retratados dentro da estrutura artística de uma história.

Significância:
Os autores afirmam que seu trabalho desafia a suposição de que modelos maiores produzem inerentemente personagens mais humanos ou diversos. Em vez disso, demonstram que os LLMs atuais exibem vieses específicos para o storytelling "seguro" (fechamento), personagens arquetípicos (estilização) e crescimento moral (dinamismo). Ao identificar esses padrões, o artigo oferece uma compreensão mais profunda das limitações e tendências estilísticas dos atuais modelos generativos em domínios criativos, sugerindo que, embora os LLMs possam mimetizar estruturas narrativas, eles atualmente carecem da liberdade artística para abraçar a ambiguidade e o espectro total da complexidade do personagem humano.