Can Small Language Models Use What They Retrieve? An Empirical Study of Retrieval Utilization Across Model Scale

Resumo Técnico: Capacidade de Utilização de Informação Recuperada em Modelos de Linguagem Pequenos

1. O Problema

A Geração Aumentada por Recuperação (RAG - Retrieval-Augmented Generation) é amplamente utilizada para melhorar a precisão factual e reduzir alucinações em Grandes Modelos de Linguagem (LLMs). No entanto, a maioria das avaliações foca em modelos grandes (>10B parâmetros).
A questão central investigada neste trabalho é: Modelos de linguagem pequenos (≤7B parâmetros) conseguem utilizar efetivamente informações recuperadas?
Existe uma lacuna de conhecimento sobre se o gargalo no desempenho do RAG em modelos pequenos reside na qualidade da recuperação (o retriever não encontra a resposta) ou na capacidade do modelo de processar e utilizar o contexto recuperado (utilização).

2. Metodologia

Os autores realizaram um estudo empírico controlado para isolar a "utilização" da "qualidade da recuperação".

• Modelos Avaliados: Cinco tamanhos de modelos (de 360M a 8B parâmetros) de três famílias de arquiteturas: SmolLM2, Qwen2.5 e Llama 3.1. Todos são modelos decoder-only e instruction-tuned.
• Conjuntos de Dados: 1.000 perguntas extraídas de Natural Questions (NQ) e HotpotQA (questões de salto único e multi-hop).
• Condições de Recuperação: Os modelos foram testados sob quatro condições:
  1. Sem recuperação (None): Apenas conhecimento paramétrico.
  2. BM25: Recuperação baseada em palavras-chave.
  3. Dense (E5-large-v2): Recuperação baseada em vetores densos.
  4. Oracle (Oráculo): Condição experimental onde o sistema garante que o trecho recuperado contém a resposta correta (isolando a falha de recuperação da falha de utilização).
• Divisão de Conhecimento Paramétrico: O estudo classifica cada par (modelo, pergunta) em:
  • KNOWN: O modelo já responde corretamente sem contexto.
  • UNKNOWN: O modelo falha sem contexto (requer conhecimento externo).
• Métrica Principal: Exact Match (EM) com intervalos de confiança de 95%.

3. Principais Contribuições

1. Isolamento do Gargalo de Utilização: Introdução de uma condição de "Oráculo" combinada com uma divisão de conhecimento paramétrico para demonstrar que, mesmo com a resposta perfeita fornecida, modelos pequenos falham em extraí-la.
2. Evidência de Efeito de Distração: Demonstração de que a simples presença de contexto (mesmo relevante) degrada drasticamente o desempenho em perguntas que o modelo já sabia responder.
3. Análise de Erros Taxonômica: Identificação de que o modo de falha dominante é a "geração irrelevante" (o modelo ignora completamente o contexto).
4. Avaliação de Trade-off Negativo: Cálculo matemático mostrando que, para modelos <7B, adicionar RAG resulta em uma perda líquida de precisão geral sob condições padrão.

4. Resultados Chave

• Fracasso na Utilização (Oráculo):

  • Mesmo com recuperação perfeita (Oráculo), modelos ≤7B falham em extrair a resposta correta em 85–100% das perguntas onde não tinham o conhecimento prévio (UNKNOWN).
  • O modelo de 7B alcança apenas 14,6% de EM em perguntas UNKNOWN com oráculo, enquanto modelos menores (360M, 1.5B) têm desempenho próximo de zero.
  • Conclusão: O gargalo não é a qualidade da recuperação, mas a incapacidade do modelo de "ancorar" sua resposta no texto fornecido.

• Destruição de Conhecimento Paramétrico (Efeito de Distração):

  • Adicionar contexto (mesmo o oráculo) destrói 42–100% das respostas que o modelo já sabia corretamente (KNOWN).
  • Para o modelo de 1.5B, a precisão cai de 100% (sem contexto) para ~36% (com contexto).
  • Observação Crítica: Para modelos abaixo de 7B, não há diferença estatisticamente significativa entre a distração causada por um contexto ruim (BM25) e um contexto perfeito (Oráculo). Isso sugere que a mera presença do contexto é o que causa a distração, não a sua qualidade.

• Trade-off Líquido Negativo:

  • O ganho potencial em perguntas UNKNOWN não compensa a perda massiva em perguntas KNOWN.
  • Para o modelo de 7B, o ganho líquido estimado é de -3,0 pontos percentuais (com recuperação densa) e apenas +4,2 pontos (com oráculo perfeito). Em condições reais, o RAG reduz a precisão geral.

• Análise de Erros:

  • A falha dominante é a geração irrelevante (61–100% dos erros), onde o modelo ignora o contexto e alucina ou responde com base em seu conhecimento interno incorreto.
  • O segundo maior erro é a recusa (o modelo hesita ou diz que não sabe, mesmo com a resposta no texto), especialmente em modelos maiores (24% no 7B).
  • Existe um limite mínimo de capacidade: modelos de 360M produzem saídas incoerentes, enquanto modelos ≥1.5B tentam interagir, mas falham.

5. Significado e Implicações

• Para Praticantes: A implantação de RAG com modelos sub-7B para perguntas de resposta extrativa (factoidas) em condições padrão provavelmente reduzirá a precisão em vez de melhorá-la.
• Direções Futuras:
  • Melhorar apenas os sistemas de recuperação (embeddings, re-ranking) não resolverá o problema, pois o gargalo é a capacidade do modelo de processar o contexto.
  • É necessário investir em fine-tuning específico para RAG (como RAFT) para ensinar modelos pequenos a utilizar o contexto.
  • Ou, alternativamente, usar modelos maiores (>10B) que possuem resistência natural à distração.
  • Implementar recuperação adaptativa, onde o RAG só é acionado se o modelo tiver baixa confiança na sua própria resposta.

Conclusão Final: O estudo demonstra que, para modelos de linguagem pequenos, o RAG enfrenta um gargalo fundamental de utilização de contexto. A simples adição de informações recuperadas, sem treinamento específico para essa tarefa, atua mais como uma fonte de distração do que como uma ferramenta de melhoria de conhecimento.