CUB: Benchmarking Context Utilisation Techniques for Language Models

1. Declaração do Problema

A Geração Aumentada por Recuperação (RAG) depende de que os modelos de linguagem (LMs) utilizem efetivamente informações externas recuperadas. No entanto, os LMs enfrentam dois desafios críticos em cenários de RAG:

1. Distração: Os LMs frequentemente ignoram o contexto relevante em favor de sua memória paramétrica interna (conhecimento desatualizado) ou são distraídos por contextos irrelevantes.
2. Lacunas na Avaliação: Embora numerosas Técnicas de Manipulação de Utilização de Contexto (CMTs) tenham sido propostas para abordar essas questões (por exemplo, ajuste fino, prompting, estratégias de decodificação), não existe um benchmark unificado para compará-las sistematicamente. As avaliações existentes são frequentemente fragmentadas, focando em tipos específicos de conjuntos de dados (sintéticos vs. do mundo real) ou objetivos específicos (robustez vs. fidelidade), levando a alegações de desempenho infladas que não se generalizam para ambientes de RAG complexos e do mundo real.

2. Metodologia: O Benchmark CUB

Os autores introduzem o CUB (Context Utilisation Benchmark), o primeiro framework abrangente projetado para avaliar e comparar rigorosamente as CMTs em diversas condições de contexto ruidoso.

A. Configuração Experimental

• Modelos: O benchmark avalia 11 LMs variando de pequenos (GPT-2 XL, Pythia 6.9B) a grandes (Qwen 32B, GPT-4.1, Cohere Command A). Inclui tanto variantes base quanto ajustadas para instruções para analisar o impacto da escala do modelo e do ajuste.
• Conjuntos de Dados: O CUB utiliza três conjuntos de dados distintos para cobrir diferentes desafios de RAG:
  • CounterFact: Tarefas sintéticas de modelagem de linguagem causal com tripletos de fatos projetados para criar conflitos diretos entre o contexto e a memória do modelo.
  • NQ (Natural Questions): Um conjunto de dados realista de QA de domínio aberto usando contextos da Wikipedia, representando cenários padrão de recuperação.
  • DRUID: Um conjunto de dados de verificação de fatos que exige raciocínio sobre alegações e evidências que ocorrem naturalmente, representando tarefas de raciocínio complexo.
• Tipos de Contexto: Para cada conjunto de dados, as amostras são curadas em três categorias:
  1. Gold (Dourado): Contexto relevante contendo a resposta correta.
  2. Conflitante: Contexto relevante que contradiz a memória paramétrica do modelo.
  3. Irrelevante: Contexto que não fornece informações para resolver a consulta (distratores).

B. Técnicas Avaliadas (CMTs)

O estudo avalia 7 CMTs de última geração representando quatro categorias principais de intervenção:

1. Ajuste Fino (Fine-tuning): Adaptação dos parâmetros do modelo para lidar com contextos ruidosos (Li et al., 2023).
2. Prompting: Uso de prompts engenhados para orientar o uso do contexto.
3. Multi-agente: Decomposição da tarefa em avaliação de relevância e verificação de fidelidade por agentes separados (Du et al., 2024).
4. Intervenções Mecanísticas: Modificação de cabeças de atenção no momento da inferência (método PH3 por Jin et al., 2024) para suprimir a dependência do contexto ou da memória.
5. Métodos de Decodificação:
   • ACD (Adaptive Contrastive Decoding): Equilibra distribuições paramétricas e contextuais com base na entropia.
   • COIECD (Contextual Information-Entropy Constraint Decoding): Detecta e resolve conflitos de conhecimento.

C. Métricas

• Utilização de Contexto Binária (BCU): Uma pontuação binária (0 ou 1) que mede se a previsão do modelo alinha-se com o contexto (para relevante/conflitante) ou com sua memória (para irrelevante).
• Utilização de Contexto Contínua (CCU): Mede a mudança nas distribuições de probabilidade de tokens quando o contexto é introduzido, oferecendo uma visão mais granular do comportamento do modelo.
• Ganho Líquido ($\Delta$): A melhoria de uma CMT sobre um LM regular (baseline).

3. Contribuições Principais

1. Primeiro Benchmark Abrangente: O CUB preenche a lacuna entre avaliação sintética e do mundo real, testando CMTs em diversos conjuntos de dados e tipos de contexto simultaneamente.
2. Avaliação Extensa: O estudo cobre aproximadamente 800 pontos de dados experimentais em 11 modelos, 7 CMTs e 3 conjuntos de dados, representando a comparação mais extensa de CMTs até a data.
3. Análise de Características: Os autores analisam a correlação entre características do modelo (tamanho, ajuste de instruções, força da memória) e características de entrada (comprimento do contexto, taxa de distratores) para explicar por que certos métodos têm sucesso ou falham.
4. Código Aberto: O código, os conjuntos de dados e o framework de avaliação estão disponíveis publicamente para facilitar pesquisas futuras.

4. Resultados e Descobertas Principais

A. A Lacuna "Sintético vs. Real"

• Desempenho Inflado em Dados Sintéticos: Muitas CMTs (especialmente Prompting, PH3+contexto e Ajuste Fino) alcançam pontuações quase perfeitas no CounterFact (conflitos sintéticos).
• Falha no Realismo: Os mesmos métodos falham ao generalizar para NQ e DRUID, onde os contextos são mais longos, ruidosos e complexos. Isso revela uma falha crítica nas práticas de avaliação atuais: métodos otimizados para conflitos simples e sintéticos não funcionam necessariamente em cenários de RAG realistas.

B. O Trade-off Fundamental

• Fidelidade vs. Robustez: Existe um trade-off inerente entre ser fiel ao contexto relevante/conflitante e ser robusto ao contexto irrelevante.
  • Métodos como PH3+contexto se destacam no manuseio de informações conflitantes, mas degradam significativamente ao enfrentar contextos irrelevantes.
  • Métodos como ACD lidam bem com contextos irrelevantes, mas lutam com informações conflitantes.
• Sem Vencedor Universal: Nenhuma CMT única supera as outras em todos os tipos de contexto e conjuntos de dados. O "melhor" método depende inteiramente dos requisitos específicos da aplicação (por exemplo, priorizar verificação de fatos vs. ignorar ruído).

C. Características do Modelo

• Leis de Escala: Modelos maiores geralmente performam melhor em conjuntos de dados realistas (NQ, DRUID), mas mostram declínios contra-intuitivos no CounterFact. Modelos maiores são "teimosos", dependendo pesadamente da memória paramétrica, tornando-os mais difíceis de superar com contextos sintéticos esparsos.
• Ajuste de Instruções: Modelos ajustados para instruções mostram robustez aprimorada a contextos irrelevantes e conflitantes em conjuntos de dados realistas (DRUID), mas performam pior em tarefas sintéticas de CounterFact, provavelmente porque são mais críticos com informações não confiáveis.
• Força da Memória: Memória paramétrica mais forte correlaciona-se com melhor robustez a contextos irrelevantes, mas pior desempenho em contextos conflitantes.

D. Desempenho dos Métodos

• Prompting e Multi-agente: Esses métodos demonstram o desempenho mais estável entre os tipos de contexto. Eles evitam as quedas dramáticas de desempenho observadas em intervenções mecanísticas. Abordagens multi-agente mostram promessa particular na identificação de contextos irrelevantes.
• Ajuste Fino: Eficaz para tarefas específicas, mas computacionalmente caro e propenso a overfitting em padrões específicos de ruído.

5. Significado e Conclusão

O artigo enfatiza que o campo da utilização de contexto em RAG carece de um padrão de avaliação holístico. As descobertas sugerem que:

1. As CMTs atuais são frágeis: Elas frequentemente otimizam para um tipo de ruído (por exemplo, conflito sintético) enquanto falham em outros (por exemplo, distratores do mundo real).
2. A avaliação deve ser diversa: Confiar exclusivamente em conjuntos de dados sintéticos como o CounterFact leva a conclusões enganosas sobre as capacidades dos modelos.
3. Direções Futuras: A próxima geração de CMTs deve abordar o trade-off fidelidade-robustez, visando métodos que possam simultaneamente ignorar ruído irrelevante e utilizar fielmente informações conflitantes. Os autores apelam por técnicas de "próxima geração" que sejam robustas em todo o espectro de condições de RAG do mundo real.

Em resumo, o CUB estabelece um novo padrão para avaliar como os LMs utilizam o contexto, revelando que, embora progresso tenha sido feito, lacunas significativas permanecem na criação de modelos que sejam simultaneamente robustos ao ruído e fiéis a novas informações em ambientes realistas.