Attention Flows: Tracing LLM Conceptual Engagement via Story Summaries

1. O Problema

O artigo aborda uma lacuna crítica na avaliação de Grandes Modelos de Linguagem (LLMs): a distinção entre recuperação de contexto e compreensão conceitual. Embora o tamanho do contexto (janela de tokens) dos LLMs tenha crescido exponencialmente (de milhares para milhões de tokens), evidências sugerem que a capacidade de integrar informações em textos longos não acompanhou esse crescimento.

O fenômeno, denominado "apodrecimento de contexto" (context rot), descreve a falha dos modelos em manter um engajamento conceitual sustentado ao longo de documentos extensos. Diferente da simples incapacidade de recuperar um token específico (testada por benchmarks como "Needle in a Haystack"), o apodrecimento de contexto refere-se a uma falha na integração coerente de informações, onde os modelos tendem a ignorar o meio do texto, focando desproporcionalmente no início e no fim. O problema central é a falta de métodos robustos para medir como os modelos constroem e utilizam representações mentais de narrativas longas, indo além da extração de fatos.

2. Metodologia

Os autores propõem uma nova estrutura de avaliação baseada em rastreamento de atenção via resumos de histórias. A premissa é que, ao resumir uma narrativa, um autor (humano ou modelo) revela o que considera narrativamente importante, criando um "mapa conceitual" do texto.

O pipeline de pesquisa envolveu as seguintes etapas:

• Construção do Dataset:

  • Coleta de 150 romances de domínio público (disponíveis no Project Gutenberg) e seus respectivos resumos de enredo da Wikipedia.
  • Segmentação dos romances em capítulos e dos resumos em sentenças.
  • O dataset final contém 5.550 resumos (150 humanos + 5.400 gerados por modelos).

• Geração de Resumos Sintéticos:

  • Nove LLMs de última geração (incluindo modelos proprietários como GPT-5, Claude Sonnet 4.6, Gemini 3.1 e modelos open-weight como Qwen e Llama) foram utilizados.
  • Cada modelo gerou resumos sob quatro condições de prompt:
    1. Texto completo + Instruções.
    2. Texto completo sem instruções.
    3. Apenas Título + Instruções.
    4. Apenas Título sem instruções.

• Alinhamento Sentença-Capítulo (Tarefa Crítica):

  • Para quantificar o engajamento, foi necessário alinhar cada sentença do resumo aos capítulos específicos do romance original que ela descreve.
  • Como esse alinhamento é complexo, os autores treinaram e avaliaram um algoritmo automatizado (usando o modelo GPT-OSS 120b) para realizar o mapeamento sentença-capítulo, validado por anotadores humanos (acordo de Cohen's κ = 0.74).
  • Isso permitiu criar "mapas conceituais" comparáveis entre humanos e máquinas.

• Métricas de Análise:

  • Diferenças Lexicais e Sintáticas: Comprimento, complexidade (distância de dependência) e uso de entidades nomeadas.
  • Engajamento Conceitual: Distribuição de atenção ao longo do texto (quantos capítulos são cobertos por sentença, quantas sentenças cobrem um capítulo).
  • Linearidade: Medida de quão ordenadamente o resumo segue a cronologia do livro.
  • Viés de Posição (Skew): Tendência de focar no início ou no fim do texto.
  • Análise de Atenção Interna: Para o modelo Qwen 3.5 (9b), os autores analisaram as matrizes de atenção internas para correlacionar com os resumos gerados.

3. Principais Contribuições

1. Novo Framework de Avaliação: Introdução do conceito de "Engajamento Conceitual" como métrica para avaliar a compreensão de contexto longo, utilizando o rastreamento de atenção em resumos de histórias.
2. Dataset de Alta Qualidade: Liberação de um dataset com 5.550 resumos alinhados a nível de sentença-capítulo para 150 romances, cobrindo humanos e 9 modelos de ponta.
3. Descoberta de Vieses Estruturais: Evidência de que os LLMs apresentam vieses sistemáticos na forma como distribuem sua atenção em narrativas longas, especificamente uma tendência a focar excessivamente no final dos textos, um viés não detectado por benchmarks tradicionais de recuperação.
4. Ferramentas e Código: Disponibilização de métodos de alinhamento e código de análise para fomentar pesquisas futuras.

4. Resultados Chave

• Diferenças Estilísticas e de Conteúdo:

  • Os resumos dos modelos são, em média, mais curtos e menos complexos sintaticamente do que os humanos (exceto em modelos muito grandes como GPT 5.4 e Llama 4 Scout).
  • Modelos menores tendem a alucinar mais quando não têm acesso ao texto completo (resumos baseados apenas em título).
  • Modelos com acesso ao texto completo usam mais entidades nomeadas, aproximando-se mais dos humanos nesse aspecto.

• Distribuição de Atenção (O "Context Rot"):

  • Viés de Final: Os modelos tendem a focar desproporcionalmente no final dos romances. Enquanto os resumos humanos distribuem a atenção de forma relativamente uniforme (com picos no início, meio e fim), os modelos mostram um pico significativo nas últimas seções do texto.
  • Salto de Capítulos: Modelos tendem a "pular" mais capítulos (não mencioná-los) do que humanos.
  • Não-Linearidade: Resumos gerados por modelos são menos lineares, frequentemente reorganizando eventos de forma não cronológica, especialmente quando baseados apenas em títulos.

• Correlação com Mecanismos de Atenção:

  • A análise interna do modelo Qwen 3.5 (9b) revelou uma correlação positiva fraca (R = 0.32) entre a massa de atenção do modelo e os capítulos que ele efetivamente resume.
  • A precisão em direcionar a atenção para o capítulo correto diminui à medida que o comprimento do romance aumenta, sugerindo que o mecanismo de atenção falha em manter o foco em textos longos, contribuindo para a degradação da compreensão.

5. Significado e Impacto

Este trabalho demonstra que o aumento do tamanho do contexto não garante uma compreensão narrativa profunda. A descoberta de que os modelos sofrem de "apodrecimento de contexto" (falha em integrar informações do meio do texto e foco excessivo no final) tem implicações profundas:

• Para Avaliação: Benchmarks atuais baseados em recuperação ("Needle in a Haystack") são insuficientes. É necessário avaliar a integração conceitual e a distribuição de atenção ao longo de narrativas completas.
• Para Desenvolvimento de Modelos: As arquiteturas de atenção atuais podem precisar de ajustes para mitigar o viés de posição e melhorar a retenção de informações do meio do contexto.
• Para Aplicações Práticas: Usuários que dependem de LLMs para analisar documentos longos (jurídicos, literários, técnicos) devem estar cientes de que os modelos podem estar ignorando detalhes cruciais do meio do documento, focando apenas nas extremidades.

Em suma, o artigo oferece uma lente crítica para entender como os LLMs "leem" e processam narrativas longas, revelando que, apesar de sua capacidade de processar milhões de tokens, sua compreensão conceitual ainda é fragmentada e enviesada.