Resumo Técnico: IA como Ferramenta para Experimentos Baseados em Simulação nos Estudos Literários

1. Definição do Problema

Os estudos literários e a história carecem de capacidade para experimentação controlada, do tipo laboratorial. Pesquisadores não podem repetir eventos históricos, isolar variáveis causais específicas (ex: precariedade econômica, padrões de migração) ou testar condições contrafatuais (ex: "Como o modernismo teria se desenvolvido sem James Joyce?") porque os sujeitos estão mortos e os eventos já ocorreram. Embora outros campos, como a ciência climática e a epidemiologia, utilizem simulações computacionais para modelar fenômenos que não podem ser manipulados diretamente, os estudos literários careciam de um método fundamentado e rigoroso para tal investigação.

O problema central abordado é a ausência de um kit de ferramentas experimental rigoroso para testar afirmações sobre influência, contexto e causalidade na história literária. O artigo propõe que a IA generativa, especificamente os Grandes Modelos de Linguagem (LLMs), pode servir como "amostras de silício" ou proxies para populações humanas para simular a produção cultural, permitindo a manipulação sistemática de variáveis (gênero, período, contexto autoral) enquanto mantém outras constantes.

2. Metodologia

O estudo emprega um design empírico de larga escala comparando ficção gerada por IA contra um corpus de romances escritos por humanos. A metodologia consiste em três componentes primários:

2.1 Construção do Corpus

• Corpus de Referência Humana: Derivado do CONLIT, contendo 2.754 volumes (2001–2021). O conjunto de comparação principal inclui 258 romances indicados ou vencedores de prêmios (Booker, National Book Award, etc.), rotulados como 'PW'. Subconjuntos adicionais incluem Ficção Científica (SF) e Mistério (MY).
• Corpus Gerado por IA: Um total de 3.800 capítulos foram gerados usando GPT-5 (via API de lote da OpenAI).
  • Prompts Complexos (2.300 textos): Utilizaram uma estrutura de múltiplos componentes incluindo um prompt de sistema (persona de romancista especialista), um prompt de usuário (escreva um primeiro capítulo competitivo para prêmios) e biografias de autores sintéticos. Essas biografias foram geradas para se assemelharem a autores reais (ex: uma persona semelhante a Ian McEwan) com locais de nascimento, carreiras e traços estilísticos específicos, fornecendo um contexto cultural individualizado. Alguns prompts incluíram diretrizes de datas históricas (2005–2016).
  • Prompts Básicos (1.500 textos): Instruções mínimas ("Escreva o primeiro capítulo de um... romance") através de cinco modelos (GPT-5, GPT-5-mini, GPT-5-nano, GPT-4.1, GPT-3.5-turbo) sem biografias ou restrições específicas.

2.2 Estrutura de Análise

• Análise de Embedding: Os textos foram transformados em embeddings usando Qwen3-Embedding-8B (8B parâmetros, janela de 32k tokens) com um viés direcionado por prompt para conteúdo, forma e estilo.
  • Livros humanos foram fragmentados (até 32k tokens) e agregados via médias ponderadas pelo comprimento.
  • Capítulos de IA (média de ~13k tokens) foram tratados como fragmentos únicos.
  • A similaridade foi medida via similaridade de cosseno no espaço de embedding.
  • UMAP foi utilizado para visualização 2D, ajustando o espaço aos textos humanos e projetando os textos de IA nele.
• Análise Lexical: O método Fightin' Words (Monroe et al., 2008) foi aplicado para identificar palavras estatisticamente super-representadas em textos de IA vs. humanos, utilizando a ficção não-premiada como um prior bayesiano.

3. Resultados Principais

3.1 Estrutura de Gênero e Distribuição

• Preservação de Gênero: Textos gerados por IA preservam a estrutura de gênero da ficção humana. Textos de IA direcionados aos gêneros premiados (PW), SF e Mistério são mais similares aos seus equivalentes humanos do que a outros gêneros.
• Diversidade vs. Homogeneidade: Contrariando a literatura prévia que sugere que os LLMs são altamente homogêneos, este estudo descobriu que textos de IA com prompts complexos são mais diversos (menos internamente similares) do que os textos humanos dentro do mesmo gênero.
  • Similaridade PW Humana: 0.635
  • IA PW com Prompt Complexo: 0.580
  • IA com Prompt Básico: 0.682 (mais homogênea).
• Impacto da Engenharia de Prompt: Prompts complexos com biografias sintéticas aumentaram significativamente a diversidade e aproximaram os resultados das distribuições humanas em comparação com prompts básicos. Prompts básicos produziram saídas densamente agrupadas e distintas.

3.2 Condicionamento Temporal

• Resultado Nulo: Instruir os modelos a escreverem como se estivessem em um ano específico (2005–2016) produziu nenhuma diferença mensurável no espaço de embedding em comparação com prompts sem data.
• Implicação: O condicionamento temporal simples ao nível do prompt é insuficiente para alterar o comportamento generativo do modelo em relação ao período histórico, consistente com achados de que o pré-treinamento específico de período é provavelmente necessário para fidelidade histórica.

3.3 Diferenças Lexicais

• Textos Humanos: Caracterizados por pronomes de terceira pessoa, marcadores de tempo passado e coloquialismos, indicando uma narração encarnada e em tempo passado.
• Textos de IA: Mostraram maior uso de marcadores de tempo presente, negação (o termo mais distintivo da IA), termos metaficcionais (ex: "escreveu", "sentença") e primeira pessoa do plural ("nós").
• Magnitude: Embora detectáveis, as diferenças lexicais foram modestas em comparação com grupos distintos (ex: discursos políticos), sugerindo que os textos de IA estão "dentro da distribuição" (in-distribution), mas distinguíveis em registro.

4. Principais Contribuições

1. Estrutura Metodológica: Propõe um framework para usar LLMs como instrumentos para experimentos literários baseados em simulação, tratando os outputs da IA como "outputs literários simulados" em vez de produtos criativos.
2. Primeira Demonstração de Outputs "In-Distribution": Fornece a primeira evidência de que modelos de IA podem gerar amostras sintéticas de literatura escrita por humanos (incluindo gêneros de alto status/prêmios) que caem dentro do intervalo distributivo de textos humanos, em vez de serem inteiramente fora da distribuição (out-of-distribution).
3. Papel das Biografias Sintéticas: Demonstra que o contexto autoral individualizado (via biografias sintéticas) é um fator crítico para reduzir a homogeneidade dos outputs de LLM e melhorar a fidelidade da simulação.
4. Limitações do Prompting: Estabelece que o condicionamento temporal simples ao nível do prompt falha em produzir outputs consistentes com o período, destacando a necessidade de intervenções mais profundas (edição de modelo, desaprendizado ou pré-treinamento) para simulações históricas contrafatuais.

5. Significância e Alegações

O artigo alega que a simulação baseada em IA oferece uma "alternativa fundamentada" para a experimentação direta nos estudos literários, permitindo que estudiosos raciocinem causalmente sobre o desenvolvimento histórico.

• Estado Atual: O método é atualmente "parcial mas informativamente" bem-sucedido. Ele captura características estruturais (organização de gênero, efeitos de individualização autoral), mas perde outras (registro narrativo, especificidade temporal).
• Viabilidade: Os autores argumentam que simulações contrafatuais completas de processos literário-sociais contemporâneos estão "no limite da viabilidade", enquanto simulações históricas exigem avanços técnicos adicionais (ex: edição de modelo, pré-treinamento específico de período).
• Perspectiva Futânea: O artigo frame esses achados não como evidência de impossibilidade fundamental, mas como um ponto de partida. Ele convida os estudiosos de literatura a usar essas ferramentas "imperfeitas, mas passíveis de melhoria" para abordar questões contrafatuais e chama os pesquisadores de PLN para avançar na edição de modelos, condicionamento cultural e diversidade na geração.

O estudo conclui que, embora a simulação ainda não seja uma réplica perfeita do sistema alvo, ela é "boa o suficiente" em dimensões especificadas para apoiar inferências úteis, analogamente aos modelos climáticos de estágio inicial que capturam circulações de grande escala antes de padrões regionais.