Elias in the Lighthouse, Again? Diagnosing Low Diversity in LLM Stories

Resumo Técnico: Elias no Farol, Novamente? Diagnosticando Baixa Diversidade em Histórias de LLMs

Declaração do Problema
Modelos de Linguagem de Grande Escala (LLMs) exibem um fenômeno conhecido como "colapso de modo", onde as saídas generativas tornam-se cada vez mais homogêneas, particularmente em tarefas de escrita criativa. Embora pesquisas anteriores tenham identificado essa tendência, os mecanismos específicos que impulsionam a convergência para estruturas de história idênticas permanecem pouco compreendidos. Este artigo investiga a surpreendente falta de variabilidade nas histórias geradas por modelos de ponta atuais quando solicitados com instruções simples como "escreva uma história". Os autores observam que modelos da OpenAI, Anthropic, Google e do Allen Institute for AI (AI2) produzem consistentemente narrativas com os mesmos nomes de personagens específicos, cenários e profissões, apesar desses elementos serem raros tanto na literatura publicada quanto nos dados de pré-treinamento.

Metodologia
Para caracterizar essa repetição, os autores conduziram um experimento de amostragem em grande escala:

• Geração de Dados: Eles geraram 20.000 histórias usando quatro modelos atuais (Claude Haiku 4.5, Gemini 3.1 Flash-Lite, GPT-5.4-Mini e OLMo 7b Thinking). Cada modelo foi solicitado cinco vezes com variações de "escreva uma história" (por exemplo, "Por favor, escreva uma história", "Conte-me uma história"), resultando em 1.000 histórias por modelo.
• Extração de Vocabulário: Usando o GPT-5.4-nano, os autores extraíram sequências de tokens correspondentes a cenários de histórias, nomes próprios de personagens e profissões. Eles filtraram esses candidatos por meio de um processo de três etapas: tokenização, retenção do token de maior frequência por história/categoria e manutenção apenas dos tokens emitidos por pelo menos metade dos modelos.
• Identificação do Vocabulário "Núcleo": Uma análise de ponto de mudança foi aplicada para identificar um vocabulário "Núcleo" mínimo de 11 tokens que apareceu com maior frequência em todo o corpus.
• Análise Comparativa: A frequência desses tokens do Núcleo foi medida em Partes por Milhão (PPM) e comparada com:
  • Literatura contemporânea em inglês (corpus CONLIT).
  • Ficção amadora (r/writingprompts do Reddit).
  • Dados de pré-treinamento (dados da web e subconjuntos de ficção do OLMo 3).
  • Dados de pós-treinamento (conjuntos de dados SFT, DPO e RL do OLMo 3).
• Modelagem de Tópicos: Um modelo de tópicos LDA foi treinado no corpus de histórias de pós-treinamento do OLMo 3 para determinar se as histórias de "farol" formavam um gênero distinto ou estavam distribuídas entre vários tópicos.

Principais Resultados

• Homogeneidade Extrema: 88,3% das 20.000 histórias geradas continham pelo menos um dos 11 tokens do Núcleo. Mais da metade (51,2%) de todas as histórias apresentava um "farol", e 66,6% continham uma combinação específica da localização "farol", o nome "Elias" e a profissão "zelador".
• Vocabulário "Núcleo": Os 11 tokens incluem nomes (Elias, Mara, Elara), profissões (zelador, relojoeiro, padeiro, pescador, bibliotecário, prefeito, maestro) e a localização "farol".
• Discrepância com Dados de Treinamento:
  • Literatura/Web: Os tokens do Núcleo são significativamente mais frequentes nas histórias geradas do que na ficção publicada (por exemplo, "Elias" é 900 vezes mais frequente no corpus gerado do que no CONLIT) ou em dados gerais da web.
  • Pré-treinamento: Nos dados de pré-treinamento do OLMo 3, as taxas de tokens do Núcleo foram negligenciáveis.
  • Pós-treinamento: Embora os dados de pós-treinamento do OLMo 3 contivessem esses tokens em taxas mais altas do que os dados de pré-treinamento, a prevalência absoluta ainda era baixa. Apenas 3.053 das 78.958 histórias no conjunto de pós-treinamento (3,8%) continham qualquer token do Núcleo.
• Impacto da Fase de Alinhamento: A densidade de tokens do Núcleo foi encontrada 5 a 8 vezes maior nos conjuntos de dados de alinhamento (SFT, DPO, RL) em comparação com histórias derivadas do WildChat, apesar dos dados de alinhamento comporem apenas uma fração do volume total de pós-treinamento. Especificamente, as fases DPO e RL contribuíram com uma proporção maior de histórias do Núcleo do que a fase inicial de SFT.
• Distribuição de Tópicos: As histórias de "farol" não se agruparam em um único tópico dentro dos dados de pós-treinamento. Em vez disso, estavam dispersas por diversos tópicos, incluindo fan fiction, escrita técnica e até humor inadequado, sugerindo que o modelo aprende a associar esses tokens específicos a saídas "seguras" ou "preferidas", independentemente do contexto circundante.

Significado e Alegações
O artigo afirma ser o primeiro estudo a rastrear uma instância específica de colapso de modo na escrita criativa de volta às suas entradas de treinamento. Os autores argumentam que a dominância das narrativas de "Elias no Farol" não pode ser explicada pela prevalência dessas palavras no corpus de treinamento bruto. Em vez disso, eles postulam que o fenômeno é impulsionado pela interação entre pequenos conjuntos de dados específicos e algoritmos poderosos de alinhamento (SFT, DPO, RL).

Os autores sugerem que, durante o alinhamento, os modelos podem ser treinados para evitar referências a personagens com direitos autorais e conteúdo adulto, desviando inadvertidamente o modelo para um conjunto restrito de tropos "seguros", genéricos e pré-modernos (por exemplo, faróis, relojoeiros) encontrados nos dados de preferência. Isso resulta em uma influência desproporcional de uma pequena fração dos dados de treinamento (menos de 4% das histórias de pós-treinamento) sobre o comportamento final de saída do modelo. O estudo destaca que os modelos atuais não apenas imitam padrões dominantes em seus corpora, mas convergem para modos específicos e seguros de geração que podem não refletir a diversidade da narrativa humana.