Generative AI & Fictionality: How Novels Power Large Language Models

Título: Generative AI & Fictionality: How Novels Power Large Language Models

Autores: Edwin Roland (UIUC) e Richard Jean So (Duke University)

1. Problema e Motivação

O artigo aborda uma lacuna crítica na compreensão dos Modelos de Linguagem de Grande Escala (LLMs), como o ChatGPT. Embora seja amplamente reconhecido que esses modelos são preditores de "próxima palavra" treinados em vastos conjuntos de dados, existe uma crença não examinada entre engenheiros e cientistas de que a linguagem da ficção (romances) é rica o suficiente para cobrir todos os fenômenos sociais e comunicativos, tornando-a ideal para o treinamento.

O problema central é: Como a ficção molda especificamente as saídas e a compreensão da linguagem pelos LLMs em comparação com outros tipos de texto (como notícias, Wikipedia e Reddit)?
Enquanto a literatura acadêmica sobre viés social em IA foca frequentemente em preconceitos raciais ou de gênero, os autores argumentam que a influência da ficção vai além do viés, alterando fundamentalmente a capacidade do modelo de fabricar "pessoas" plausíveis e interações sociais, uma dimensão que a crítica literária (especialmente a teoria da ficcionalidade) pode ajudar a decifrar.

2. Metodologia

Os autores utilizam uma abordagem híbrida, combinando teoria literária (focada em Catherine Gallagher, James Phelan e Richard Walsh) com experimentação computacional rigorosa.

• Modelo Base: O estudo foca no BERT (Bidirectional Encoder Representations from Transformers), um modelo de código aberto influente.
• Design Experimental (A/B Testing):
  • Modelo Wiki: Um modelo BERT treinado exclusivamente em artigos da Wikipedia (texto não ficcional).
  • Modelo Full: Um modelo BERT treinado em uma combinação de Wikipedia e BookCorpus (um conjunto de dados contendo 7.000 romances comerciais).
  • Nota: Ambos os modelos foram treinados com 2 bilhões de palavras, mantendo hiperparâmetros idênticos para isolar o efeito dos dados de treinamento.
• Experimento 1 (Previsão de Palavras Ocultas - Masked Language Modeling):
  • Os autores testaram a capacidade de previsão dos modelos em um conjunto de dados de teste da Wikipedia.
  • O objetivo foi identificar quais palavras o "Modelo Full" previu melhor do que o "Modelo Wiki", revelando o que a ficção ensinou ao modelo sobre a estrutura da linguagem.
• Experimento 2 (Geração de Texto):
  • Utilizando uma Rede Estocástica Generativa (GSN), os autores geraram 50 frases aleatórias a partir de ambos os modelos para analisar o "tom" e a estrutura narrativa emergente.
• Experimento 3 (Análise de Ganho de Informação):
  • Os autores mediram o "ganho de informação" ao comparar a precisão de previsão do Modelo Full versus o Modelo Wiki em passagens específicas do BookCorpus.
  • Eles identificaram as passagens com maior ganho de informação para entender quais elementos narrativos a ficção ensinou ao modelo com mais eficácia.

3. Resultados Principais

A. A Linguagem da "Alguém" (Somebody) vs. "Ninguém" (Nobody)

• Teoria: A teoria literária tradicional (Gallagher) sugere que personagens fictícios são "ninguém" (não-referenciais). No entanto, os resultados mostram que o treinamento em ficção ensina ao LLM a criar "alguém" (alguém com identidade contínua e intencionalidade).
• Evidência Empírica: O Modelo Full teve desempenho significativamente melhor na previsão de pronomes pessoais (you, your, he, she, them) e verbos modais (could, would), em vez de nomes próprios.
• Interpretação: A ficção ensina ao modelo a dependência de longo prazo (long-range dependency) necessária para manter a identidade de um personagem ao longo do texto e a estrutura dialógica (diálogos entre personagens).

B. Cognição Embarcada e Diálogo

• O Modelo Full demonstrou melhor compreensão de palavras relacionadas a corpos (eyes) e cognição (know, want).
• As previsões melhoradas incluíam operadores lógicos informais ligados ao diálogo (ex: wouldn't, couldn't dentro de aspas), indicando que o modelo aprendeu que a "racionalidade" na ficção é fundamentalmente dialógica e situada em mundos possíveis.

C. Geração de Texto e Intencionalidade

• Modelo Wiki: Gerou textos com uma voz de "cientista cavalheiro" ou enciclopédia, focada em fatos, políticas estatais e datas (estilo "Iluminismo").
• Modelo Full: Gerou textos ricos em diálogo, reflexão interior e ação física. As frases geradas pareciam trechos de gêneros populares (romance, thriller), onde os personagens avaliam situações, atualizam crenças em tempo real e interagem fisicamente.
• Conclusão: O modelo aprendeu a organizar palavras não apenas como fatos, mas como interações entre agentes com intenções.

D. Dinâmicas de Interação e Crise

• Ao analisar as passagens com maior "ganho de informação", os autores descobriram que a ficção ensina ao modelo que as interações ocorrem em momentos de alta tensão ou pontos de virada na narrativa.
• As passagens mais influentes envolviam múltiplos personagens interagindo (física ou verbalmente) durante crises sociais ou emocionais.
• Gênero: Embora houvesse um leve viés masculino, a característica dominante não era a representação estática de gênero, mas sim como homens e mulheres interagem e exercem poder uns sobre os outros em momentos de crise.

4. Contribuições Chave

1. Ponte entre Humanidades e Ciência da Computação: O artigo demonstra como a teoria da ficcionalidade (especificamente a mudança de "ninguém" para "alguém" na crítica literária) é essencial para entender a mecânica dos LLMs.
2. Método de Auditoria de Dados: Os autores propõem e demonstram um método para realizar auditorias algorítmicas e de dados em modelos de IA. Eles mostram que é possível "inverter" o modelo para entender quais aspectos dos dados de treinamento (neste caso, a ficção) estão moldando a saída do modelo.
3. Reenquadramento do Viés: Em vez de focar apenas em preconceitos estáticos (racismo/sexismo), o artigo destaca como a ficção ensina aos LLMs a fabricar agentes sociais plausíveis e a simular a dinâmica de poder e intenção humana.
4. A Ficção como Ferramenta de Comunicação: Confirma que a ficção não é apenas entretenimento, mas uma estratégia comunicativa que ensina aos modelos como estruturar a interação social, a especulação e a empatia.

5. Significado e Implicações

• Para a Cultura Contemporânea: Dado que se estima que até 90% do conteúdo da internet em 2026 será gerado ou aprimorado por IA, a ficção (através dos dados de treinamento) está se tornando um agente invisível, mas fundamental, na produção cultural. Ela define como a IA "imagina" pessoas e interações sociais.
• Para a Crítica Literária e Cultural: O artigo argumenta que a análise cultural moderna deve incluir uma nova dimensão: os dados de treinamento computacional. A "intenção" do autor humano está sendo substituída ou remixada pela "intenção" estatística derivada de corpora massivos de ficção.
• Futuro da Pesquisa: A análise de dados e auditorias algorítmicas tornam-se ferramentas necessárias para críticos culturais entenderem, analisarem e criticarem as formas contemporâneas de representação cultural que são moldadas, em parte, por modelos de IA e seus dados de treinamento.

Em suma, o artigo conclui que a ficção não apenas alimenta os LLMs com palavras, mas lhes fornece a estrutura lógica para criar "alguém" — um personagem com identidade, intenção e capacidade de interação social — transformando a maneira como a inteligência artificial compreende e representa a realidade humana.