Resumo Técnico: Falhas Posicionais em LLMs de Longo Contexto

Declaração do Problema

Enquanto benchmarks de longo contexto orientados à recuperação (por exemplo, Needle-in-a-Haystack, RULER) estabeleceram a avaliação controlada por posição como padrão, os principais benchmarks de raciocínio (por exemplo, LongBench, SCROLLS, L-Eval) falham amplamente em controlar ou relatar o posicionamento posicional das tarefas-alvo dentro de contextos longos. Isso cria uma lacuna estrutural de avaliação: os benchmarks atuais relatam desempenho agregado em documentos naturais onde a informação relevante para a tarefa herda sua posição da fonte, tornando impossível desvendar a falha do modelo da posição da tarefa.

Além disso, uma auditoria de quatro lançamentos recentes de modelos de longo contexto de destaque (DeepSeek-V4-Pro, MiMo-V2.5-Pro, Kimi-K2.6 e GLM-5.1) revela que as tabelas de resultados dos fornecedores priorizam benchmarks de agentes e codificação (por exemplo, SWE-Bench, Terminal-Bench), omitindo métricas de raciocínio controladas por posição, como NIAH ou RULER, de suas tabelas principais de desempenho. Consequentemente, vulnerabilidades posicionais que podem crescer com o comprimento do contexto permanecem não caracterizadas tanto em benchmarks acadêmicos quanto em avaliações da indústria.

Metodologia: Avaliação de Rotação de Contexto (CRE)

Para abordar essa lacuna, os autores propõem a Avaliação de Rotação de Contexto (CRE), um framework controlado que trata posição da tarefa, conteúdo de preenchimento e comprimento do contexto como três variáveis independentes.

• Desenho Experimental: Um desenho fatorial completo variando:
  • Posição: Fim (alvo imediatamente antes da resposta), Meio (alvo cercado por preenchimento), Meio-Duplo (alvo repetido no meio) e Meio-Dup (alvo no meio + cópia no fim).
  • Conteúdo de Preenchimento: Três tipos variando de alta a baixa sobreposição com a tarefa-alvo:
    • with_solutions (ws): Problemas GSM8K com soluções trabalhadas (alta sobreposição).
    • questions_only_v2 (qo_v2): Problemas GSM8K sem soluções (sobreposição intermediária).
    • neutral_text: Prosa não relacionada da Wikipedia/notícias (baixa sobreposição).
  • Comprimento do Contexto: Três níveis: 8K, 32K e 64K tokens.
• Tarefas: GSM8K (problemas de palavras matemáticas) e ARC-Challenge (múltipla escolha científica).
• Modelos: Nove LLMs de longo contexto avaliados em duas rodadas:
  • Conjunto Inicial (5 modelos): Qwen 2.5-7B-Instruct, MiMo-v2-Flash, GLM-4.7-FlashX, DeepSeek-V3.2 (modo de raciocínio), Kimi k2.5.
  • Rodada 2 (4 lançamentos mais recentes): DeepSeek-V4-Pro, MiMo-V2.5-Pro, Kimi-K2.6, GLM-5.1.
• Sondas Diagnósticas: O framework inclui "middle_dup" (duplicar a tarefa no fim) para testar se os modelos mantêm a capacidade de resolução de tarefas sob posicionamento favorável, e "filler-answer matching" para quantificar interferência.

Resultados Principais

1. Vulnerabilidade Posicional Escalona com o Comprimento do Contexto

Os modelos exibem quedas significativas de precisão quando a tarefa-alvo se move do fim para o meio do contexto, com a severidade aumentando conforme o comprimento do contexto cresce.

• MiMo-v2-Flash: Sob preenchimento with_solutions em 64K, a precisão cai de 96% (fim) para 8% (meio), uma queda de −88 pontos percentuais (pp).
• Qwen 2.5-7B: Cai de 94% (fim) para 0% (meio) em 64K sob preenchimento with_solutions (−94pp).
• DeepSeek-V3.2: Mostra imunidade quase total sob preenchimento with_solutions (queda de 0pp), mas torna-se vulnerável sob preenchimento questions_only_v2 (−22pp em 64K).
• Kimi k2.5: Mostra quedas mínimas sob with_solutions, mas quedas significativas sob questions_only_v2.

2. Conteúdo de Preenchimento Interage com a Posição

A natureza do conteúdo de preenchimento modula significativamente a falha posicional.

• Preenchimento Estruturado (with_solutions): Causa as quedas mais severas para modelos vulneráveis (por exemplo, MiMo-v2-Flash, Qwen).
• Perguntas Sem Resposta (questions_only_v2): Produz quedas em todos os modelos, incluindo aqueles imunes a with_solutions (por exemplo, DeepSeek-V3.2 cai −22pp em 64K).
• Texto Neutro: Geralmente benigno para a maioria dos modelos em 8K, mas o Qwen exibe quedas significativas (−30pp em 64K) mesmo com preenchimento neutro, sugerindo uma vulnerabilidade específica do modelo ao comprimento do contexto, independentemente do conteúdo.

3. Análise de Erros: Interferência Preenchimento-Resposta

Uma análise diagnóstica revela que 76% dos erros em posição intermediária correspondem à resposta de ouro de uma pergunta de preenchimento circundante, comparado a apenas 22% na posição final. Isso sugere que a interferência preenchimento-resposta é um modo de erro dominante quando a tarefa está enterrada no meio do contexto.

4. Sondas Diagnósticas e Recuperação do Modelo

• Sonda Middle-Dup: Quando uma cópia da tarefa-alvo é colocada no fim (além do meio), a precisão para todos os nove modelos em 8K se recupera para dentro de ±4pp da linha de base de posição final. Isso confirma que os modelos mantêm a capacidade de raciocínio, mas falham especificamente devido à posição intermediária.
• Atualizações de Fornecedores da Rodada 2: Lançamentos mais recentes (por exemplo, MiMo-V2.5-Pro) mostram quedas reduzidas sob preenchimento with_solutions (por exemplo, −32pp versus −88pp para a versão anterior), mas ainda exibem quedas significativas (−16pp a −56pp) sob preenchimento questions_only_v2.

5. Validação Cross-Domínio

No ARC-Challenge, todos os nove modelos mostram quedas direcionais de fim para meio (variação de −6pp a −40pp), embora a significância estatística seja limitada pelo tamanho da amostra (N=50). Apenas a queda do Qwen é significativa de Bonferroni, sugerindo que o fenômeno se generaliza, mas com magnitude variável entre domínios.

Significado e Alegações

O artigo alega expor uma lacuna estrutural de avaliação no design atual de benchmarks de raciocínio e nas práticas de avaliação dos fornecedores. Suas principais contribuições são:

1. Auditoria Sistemática: Demonstrar que a avaliação consciente da posição está madura para recuperação, mas amplamente ausente de benchmarks de raciocínio principais e tabelas de divulgação de fornecedores.
2. Evidência de Fatores Conjuntos: Mostrar que a posição da tarefa, o conteúdo de preenchimento e o comprimento do contexto moldam conjuntamente as falhas de raciocínio. Especificamente, que "quedas de posição intermediária" não são meramente uma função do comprimento do contexto, mas são fortemente moduladas pelo tipo de preenchimento e arquitetura do modelo.
3. Espectro Dependente do Modelo: Estabelecer que a vulnerabilidade posicional não é uniforme; alguns modelos (por exemplo, DeepSeek-V3.2 sob condições específicas) são quase imunes, enquanto outros (por exemplo, Qwen, MiMo-v2-Flash) sofrem falhas catastróficas no meio de contextos longos.
4. Recomendações de Avaliação: Propor que avaliações futuras devem relatar precisão por posição, testar posições internas (não apenas limites), divulgar pilhas completas de inferência e incluir sondas diagnósticas para distinguir efeitos posicionais de perda geral de capacidade.

Os autores concluem que, sem controlar a posição da tarefa, os benchmarks não podem medir vulnerabilidades posicionais que crescem com o comprimento do contexto, deixando um ponto cego crítico na avaliação de LLMs de longo contexto.