Measuring Alignment With Reader Highlights Net of Position and Length

Resumo Técnico: Medindo o Alinhamento com Destaques de Leitores Líquidos de Posição e Comprimento

Declaração do Problema
Os métodos atuais para avaliar a compressão de contexto em grandes modelos de linguagem (LLMs) dependem da precisão em tarefas de jusante, criando um loop de avaliação circular onde um modelo julga o que "importa" para outro. Este artigo propõe o uso do destaque social naturalista — onde leitores independentes marcam passagens em páginas web públicas para seu próprio uso — como uma referência não circular para o que os leitores escolhem manter.

No entanto, uma métrica ingênua (a fração de sentenças marcadas pela multidão que um compressor retém) é confundida por dois vieses fortes:

1. Viés de Posição: As marcas da multidão são concentradas no início; os leitores tendem a destacar sentenças iniciais.
2. Viés de Comprimento: As sentenças marcadas pela multidão são significativamente mais longas do que as não marcadas.

Consequentemente, a truncagem simples (manter as primeiras $N$ sentenças) ou a seleção baseada em comprimento alcançam pontuações altas nesta métrica sem de fato capturar a intenção do leitor. O problema central é medir o alinhamento com os destaques do leitor líquido desses dois confundidores.

Metodologia
Os autores introduzem um framework de estimativa rigoroso projetado para isolar o sinal da escolha do leitor da posição e do comprimento.

• Dados: O conjunto de avaliação consiste em 120 documentos de web pública (78 domínios), cada um marcado por pelo menos 12 leitores independentes. As sentenças são rotuladas como "marcadas pela multidão" se caírem nos 15% superiores por contagem de marcas (com um mínimo de duas marcas).
• Estimador de Correspondência (Matching Estimator): Para remover os confundidores, o método faz o pareamento de cada sentença marcada com sentenças não marcadas dentro do mesmo documento com base em:
  • Profundidade Relativa: Dentro de $\pm 0,05$ da posição da sentença marcada no documento.
  • Ranking de Comprimento Dentro do Documento: Dentro de $\pm 0,05$ do ranking de comprimento da sentença marcada.
    O estimador calcula o enriquecimento ($E_d$) como a diferença entre a fração de sentenças marcadas mantidas e a fração de seus vizinhos não marcados correspondentes mantidos.
• Calibração e Teste de Nulo: Uma contribuição crítica é a calibração do próprio estimador. Os autores geram conjuntos de dados nulos sintéticos onde o conjunto de "manter" é determinado apenas por posição e comprimento (simulando um confundidor perfeito). Eles descobrem que a estratificação padrão apenas de profundidade gera uma taxa de falso positivo de 20–36% nesses nulos, enquanto seu estimador de correspondência mantém uma taxa de falso positivo de 4,5–7,0%.
• Teste de Randomização: A significância é avaliada via um teste de randomização exato que reatribui o status de tratamento dentro dos conjuntos pareados, assumindo nada sobre agrupamentos (clustering).

Principais Contribuições

1. Calibração de Controles de Confundidores: O artigo quantifica a taxa de erro dos controles de correspondência padrão, demonstrando que a estratificação de profundidade apenas falha significativamente (20–36% de falsos positivos) quando confundidores sintéticos estão presentes.
2. Sinal de Alinhamento Robusto: Um ranking de importância de modelo de linguagem retém 38,4% das sentenças marcadas pela multidão comparado a 19,9% de seus vizinhos correspondentes, gerando um enriquecimento de +0,196 ($p=0,0005$). Este resultado se replica em dois diferentes fornecedores de LLM (GPT-5.4 e Claude Opus 5).
3. Comparação com Baseline: Métodos extrativos clássicos não são nulos. O heurístico de Luhn de 1958 alcança um enriquecimento de +0,088, recuperando aproximadamente metade do efeito do LLM. Isso sugere que a seleção do leitor é parcialmente recuperável contando palavras, com os LLMs aproximadamente dobrando o desempenho do melhor método lexical barato.
4. Sensibilidade ao Enquadramento do Prompt: O resultado é altamente sensível ao enquadramento do prompt. Perguntar a um modelo "o que é importante manter" produz um alinhamento significativamente maior (+0,158) do que perguntar "o que um leitor típico destacaria" (+0,074).
5. Correção de Trabalho Prévio: Os autores relatam uma não-replicação de seu próprio trabalho anterior, que havia afirmado que modelos zero-shot performavam pior do que um baseline de liderança. Neste corpus, a instrução publicada mostra enriquecimento real (+0,074) quando avaliada com o novo estimador de correspondência.

Resultados

• Efeito Principal: O enriquecimento do LLM de +0,196 é estatisticamente significativo e estável através de tolerâncias de correspondência (0,03 a 0,10).
• Características de Superfície: Condicionar à centralidade lexical reduz o efeito em apenas ~0,010 (5%), indicando que o acordo não se deve meramente ao modelo identificar vocabulário central.
• Contiguidade: O efeito não é um artefato de marcação ao nível de parágrafo; marcas isoladas mostram forte alinhamento (+0,227 para GPT-5.4).
• Razão de Compressão: A magnitude do efeito varia conforme a razão de compressão, atingindo o pico em $r=0,30$ (+0,222) e caindo para +0,083 em $r=0,05$. O resultado principal (+0,196) é reportado em $r=0,20$.
• Baseline Humano: Quando comparado a um único leitor humano (cujas marcas são recomputadas excluindo a si mesmo), o LLM (GPT-5.4) alcança um enriquecimento de +0,184, o que é estatisticamente indistinguível do baseline humano (+0,182). Um modelo mais forte (Claude Opus 5) excede o baseline humano (+0,230).
• LLMLingua-2: Um compressor construído para o propósito (LLMLingua-2) mostra um enriquecimento de +0,038, que não é estatisticamente significativo ($p=0,085$) e cai dentro do intervalo de confiança do baseline de Luhn.

Significância e Alegações
O artigo alega que modelos de linguagem podem se alinhar com o comportamento de leitura humana não provocada além de características de superfície simples como posição e comprimento. No entanto, os autores são modestos em sua interpretação:

• Não é Superioridade Categórica: A descoberta não é que os LLMs são categoricamente diferentes de métodos baratos; em vez disso, eles dobram o sinal recuperável por heurísticas lexicais.
• Não é "Atenção Humana": O alinhamento é medido como acordo com o que os leitores escolheram manter, não uma medida objetiva de importância.
• Avaliação Não Circular: O estudo fornece uma referência não circular para avaliação de compressão, evitando a armadilha de usar um modelo para julgar outro.
• Limitações: Os autores reconhecem limitações, incluindo a fonte de dados de plataforma única, potencial contaminação de pré-treinamento (embora testes de recência de marcas sugiram que não é o motor principal) e o fato de o tamanho do efeito variar significativamente com a razão de compressão. Eles declaram explicitamente que o resultado permite a afirmação de que os modelos concordam com os leitores "além de posição, comprimento e as sete características na tabela de balanço", mas não prova que o mecanismo é a "atenção humana".