Large Language Models and Book Summarization: Reading or Remembering, Which Is Better?

Título: Grandes Modelos de Linguagem e Sumarização de Livros: Lendo ou Lembrando, Qual é Melhor?

1. Problema e Motivação

A sumarização é uma tarefa central no Processamento de Linguagem Natural (PLN). Com o avanço dos Grandes Modelos de Linguagem (LLMs) e o aumento das janelas de contexto para milhões de tokens, tornou-se possível processar livros inteiros em um único prompt (memória externa). No entanto, para obras bem conhecidas, os LLMs já possuem conhecimento interno (memória paramétrica) adquirido durante o treinamento.

O problema central investigado é: Como os resumos gerados a partir do conhecimento interno do modelo se comparam aos gerados a partir do texto completo fornecido? Existe uma interação onde o conhecimento prévio pode superar ou interferir no processamento do texto completo, e em que cenários uma abordagem é superior à outra?

2. Metodologia

Os autores realizaram uma avaliação experimental comparativa utilizando os seguintes componentes:

• Conjunto de Dados: 25 livros clássicos e amplamente conhecidos (ex: Orgulho e Preconceito, Dom Quixote, Ulysses, A Divina Comédia), cobrindo diversos gêneros, autores e estilos (prosa, verso, drama). A seleção garantiu que todos estivessem no domínio público e, presumivelmente, nos dados de treinamento dos modelos.
• Modelos de Linguagem (LLMs): Foram utilizados dois modelos de última geração com janelas de contexto de até 1 milhão de tokens: GPT-4.1 e Gemini-2.5-Flash.
  • Geradores: Ambos os modelos geraram resumos.
  • Avaliadores (Júri): Ambos os modelos também atuaram como avaliadores para mitigar viés de auto-preferência (cada modelo avaliando seus próprios resumos e os do outro).
• Abordagens de Sumarização:
  1. Memória Interna (Paramétrica): O modelo recebe apenas o título e o autor, sem o texto do livro, instruindo-o a usar seu conhecimento prévio.
  2. Memória Externa (Contexto): O modelo recebe o texto completo do livro no prompt, com instruções explícitas para não usar conhecimento interno prévio.
• Protocolo Experimental:
  • Geração de 5 resumos para cada condição (interna/externa) por livro, com temperaturas de 0.4 (foco na precisão) e 0.9 (maior criatividade).
  • Avaliação: Utilizou-se o framework LLM-as-a-judge. Os pares de resumos (interno vs. externo) foram comparados para determinar qual era mais completo. A pontuação final variou de -25 a +25, baseada em 25 comparações cruzadas (5 internos x 5 externos).

3. Principais Contribuições

1. Primeira Avaliação Comparativa: Realização, até onde se sabe, da primeira avaliação sistemática comparando resumos de livros gerados por LLMs de ponta usando memória interna versus externa (texto completo).
2. Repositório Aberto: Criação de um repositório público com o código, os livros e os resumos gerados para garantir reprodutibilidade.
3. Descoberta de Contraintuição: Demonstração de que, embora o texto completo geralmente melhore a performance, para alguns livros específicos, o conhecimento interno do modelo produz resumos melhores do que o processamento do texto completo.
4. Análise de Limitações: Discussão sobre a capacidade dos modelos de lidar com textos longos e complexos, mostrando que a "leitura" (contexto) nem sempre supera a "memória" (treinamento).

4. Resultados e Análise

• Tendência Geral: Para a maioria dos livros, os resumos baseados no texto completo (memória externa) obtiveram pontuações superiores, indicando que fornecer o texto melhora a qualidade e a completude em geral.
• Exceções Significativas (Onde "Lembrar" é Melhor): Para certos livros, os resumos baseados apenas no conhecimento interno superaram os baseados no texto completo. Os casos mais notáveis foram:
  • A Divina Comédia e Hamlet: O Gemini-2.5-Flash gerou resumos internos superiores.
  • Ulysses (James Joyce): Apresentou resultados positivos para resumos internos na maioria dos casos.
  • O Conde de Monte Cristo: Em algumas combinações, os resumos internos tiveram pontuações muito altas.
• Fatores de Influência: A precisão da sumarização mostrou-se dependente do texto. Obras com estruturas complexas, não lineares, poesia, teatro e livros extremamente longos tendem a sofrer mais com o processamento do texto completo (devido a problemas como "Lost in the Middle" ou fragmentação de contexto), permitindo que o conhecimento interno, já consolidado, ofereça uma narrativa mais coesa.
• Viés de Avaliação: O GPT-4.1 tendeu a favorecer mais os resumos internos do que o Gemini, mas a tendência geral de que o contexto externo é superior manteve-se, exceto nos casos de alta complexidade estrutural mencionados.

5. Significado e Conclusão

O estudo conclui que, embora fornecer o texto completo seja geralmente a melhor estratégia para sumarização, existem cenários onde "lembrar" (conhecimento paramétrico) é superior a "ler" (contexto externo).

Isso levanta questões importantes sobre as capacidades atuais dos LLMs:

• O processamento de janelas de contexto extremamente longas ainda enfrenta desafios na integração consistente de informações distantes.
• Para obras literárias complexas ou muito longas, o conhecimento internalizado durante o treinamento pode ser mais robusto e estruturado do que a tentativa de processar o texto bruto em tempo de inferência.
• A pesquisa sugere que a sumarização de textos longos continua sendo um desafio aberto, dependendo criticamente da natureza do texto (gênero, estilo, complexidade) e não apenas do tamanho do contexto disponível.

Limitações: O estudo focou em dois modelos comerciais fechados e em livros clássicos ocidentais. Resultados podem variar com modelos de código aberto, outras línguas ou documentos técnicos. Além disso, a avaliação foi feita por LLMs, embora com cruzamento de modelos para reduzir viés.