Resumo Técnico: Caracterizando o Conteúdo Narrativo em Dados de Pré-treinamento de LLMs em Escala Web

Declaração do Problema

Embora as narrativas sejam um modo fundamental de comunicação humana e um caso de uso primário para Grandes Modelos de Linguagem (LLMs), a composição narrativa dos corpora de pré-treinamento em escala web permanece amplamente inexplorada. Pesquisas existentes examinaram dados de pré-treinamento ao longo de dimensões como qualidade, toxicidade e distribuição de tópicos, mas não analisaram sistematicamente a estrutura narrativa. Esta lacuna é crítica porque as práticas atuais de curadoria de dados tratam as fontes (ex: livros, Reddit, notícias) como narrativamente homogêneas. Consequentemente, as misturas de treinamento podem reduzir desproporcionalmente a exposição narrativa de um modelo ou enviesar suas estruturas de eventos e perspectivas sem o conhecimento da equipe de curadoria. Os autores postulam que as qualidades narrativas provavelmente estão distribuídas de forma desigual entre fontes e tópicos de maneiras que as práticas atuais não medem nem contabilizam.

Metodologia

Os autores apresentam um framework abrangente para medir a estrutura narrativa em escala usando o DOLMA, um corpus de pré-treinamento aberto de 3 trilhões de tokens. A abordagem deles envolve quatro estágios principais:

1. Framework Teórico e Dimensões de Anotação

Baseando-se na teoria narrativa (Herman, 2011; Piper et al., 2021), os autores definem a narrativa não como uma classificação binária, mas como uma estrutura contínua e multidimensional. Eles a operacionalizam em 11 dimensões interpretáveis agrupadas em três elementos centrais:

• Agência (5 dimensões): Focalização (perspectiva), Emoção Interna, Cognição Interna, Mudança de Estado e Conflito. Estas são avaliadas em uma escala Likert de 1 a 5.
• Cenário (4 dimensões): Concretude, Ancoragem Temporal, Ancoragem Espacial e Detalhe Sensorial. Estas também são avaliadas em uma escala Likert de 1 a 5.
• Relações de Eventos (3 dimensões): Ordenação temporal, Relações causais e Densidade de Eventos (eventos por token). Estas são derivadas da detecção de gatilhos de eventos e extração de relações.

2. Amostragem e Construção de Dados

Para lidar com a heterogeneidade do texto da web, os autores desenvolveram um pipeline de amostragem de quatro etapas a partir do DOLMA:

1. Extração: Extração de aproximadamente 17 milhões de passagens de três frases de aproximadamente 5 milhões de documentos.
2. Pontuação: Uso de um classificador binário baseado em DeBERTa para filtrar conteúdo narrativo coerente.
3. Classificação de Tópicos: Aplicação do classificador WEBORGANIZER às fontes do Common Crawl para equilibrar os domínios de assunto.
4. Amostragem Estratificada: Criação de dois conjuntos de dados:
   • Dataset Gold: 400 passagens anotadas manualmente por especialistas humanos para validação.
   • NARRADOLMA: Um dataset de larga escala de aproximadamente 3 milhões de passagens (abrangendo ~785 mil documentos) rotuladas via um pipeline de destilação.

3. Desenvolvimento do Modelo: NARRABERT

Para escalar a anotação além da capacidade humana, os autores utilizaram um fluxo de trabalho de "validação primeiro":

• Rotulagem por LLM: Eles compararam três LLMs (Claude Sonnet 4.6, Qwen3, Gemma4) contra anotações humanas. O Gemma4 foi selecionado para a rotulagem em larga escala devido à sua relação custo-benefício e disponibilidade de código aberto.
• Destilação de Conhecimento: As 5.000 passagens rotuladas pelo Gemma4 foram usadas para treinar o NARRABERT, um par de classificadores baseados em RoBERTa. Um encoder lida com as 9 dimensões de escala Likert (Agência e Cenário) como tarefas de regressão, enquanto um encoder dedicado lida com Relações de Eventos como tarefas de classificação binária.
• Validação: O NARRABERT foi validado contra um conjunto de teste mantido (held-out) anotado por humanos, alcançando pontuações de concordância comparáveis aos seus professores LLM para Agência e Cenário, embora com desempenho ligeiramente inferior em Relações de Eventos devido ao desequilíbrio de classes.

4. Análise

Os autores aplicaram o NARRABERT ao corpus completo NARRADOLMA para gerar vetores de características narrativas de 12 dimensões para cada documento. Eles analisaram esses vetores usando Análise de Componentes Principais (PCA) para identificar modos dominantes de variação e examinaram a distribuição dessas características através de diferentes fontes e tópicos.

Principais Contribuições

1. Framework de Anotação: Um framework fundamentado na teoria que operacionaliza 11 dimensões narrativas finas através de Agência, Cenário e Eventos.
2. NARRABERT: Um classificador eficiente capaz de prever todas as 11 dimensões narrativas, validado contra anotações humanas e de LLM.
3. NARRADOLMA: Um novo dataset composto por aproximadamente 3 milhões de passagens rotuladas, amostradas do corpus DOLMA usando um pipeline estratificado rigoroso.
4. Análise de Grande Escala: O primeiro mapeamento empírico da estrutura narrativa em dados de pré-treinamento, revelando que a narratividade forma uma estrutura contínua e multidimensional, em vez de uma única quantidade escalar.

Resultados

A análise do NARRADOLMA gerou três descobertas empíricas principais:

1. Mensurabilidade: A estrutura narrativa é mensurável em escala através de dados extremamente heterogêneos.
2. Multidimensionalidade: As qualidades narrativas co-variam em três componentes principais (eixos) interpretáveis:
   • Interioridade (PC1): Impulsionada por focalização, emoção e cognição.
   • Eventividade Ancorada (PC2): Impulsionada por mudança de estado, conflito, densidade de eventos e ancoragem temporal/espacial.
   • Textura do Mundo da História (PC3): Impulsionada por concretude, detalhes sensoriais e ancoragem espacial.
3. Distribuição Desigual: Essas qualidades narrativas não são uniformemente distribuídas entre fontes ou tópicos.
   • Variação de Fonte: Fontes como Reddit e Gutenberg são altas em Interioridade, mas baixas em outras dimensões, enquanto Wikipedia e Crime/Direito são altas em Eventividade Ancorada, mas quase ausentes em Interioridade.
   • Variação de Tópico: Tópicos como Comida e Gastronomia e Viagens pontuam alto em Textura do Mundo da História, enquanto Software e Finanças pontuam baixo.
   • Diversidade Interna: Categorias ricas em narrativa (ex: Reddit, Literatura) mostram alta variância interna, indicando que rótulos de nível de fonte são grosseiros demais para capturar a diversidade narrativa. Aumentar o peso de uma fonte "narrativa" não aumenta uniformemente todas as qualidades narrativas.

Significância e Alegações

O artigo afirma que a estrutura narrativa deve ser tratada como uma propriedade mensurável e multidimensional dos dados de pré-treinamento, complementando os eixos existentes de qualidade e distribuição de tópicos. Os autores argumentam que as práticas atuais de curadoria de dados são muito grosseiras; as decisões feitas no nível da fonte (ex: quais corpora incluir) falham em considerar a diversidade narrativa presente dentro dessas fontes.

Ao fornecer um framework, um dataset e modelos para caracterizar a distribuição narrativa, este trabalho estabelece a base para:

• Compreender como a composição de dados afeta tarefas de raciocínio narrativo.
• Investigar o "déficit de criatividade" na contação de histórias de LLMs, vinculando-o a misturas de treinamento específicas.
• Futuros experimentos controlados (ex: usando RegMix) para estabelecer ligações causais entre a composição narrativa do pré-treinamento e as capacidades de modelos downstream.

Os autores mantêm-se modestos quanto a alegações causais, observando que eles caracterizam e mapeiam a estrutura narrativa, mas ainda não estabelecem ligações causais diretas com o comportamento do modelo, identificando isso como uma direção para trabalhos futuros. Eles também reconhecem limitações, incluindo a natureza estratificada da amostra (super-representando o conteúdo narrativo em relação ao DOLMA bruto) e a dificuldade intrínseca de anotar certas dimensões, como a ordenação temporal.