Parametric Knowledge is Not All You Need: Toward Honest Large Language Models via Retrieval of Pretraining Data

Resumo Técnico: Conhecimento Paramétrico não é Tudo o que Você Precisa

Definição do Problema
Grandes Modelos de Linguagem (LLMs) frequentemente sofrem de "alucinações", gerando respostas factualmente incorretas porque carecem de consciência sobre seus próprios limites de conhecimento. Métodos atuais para melhorar a "honestidade" dos LLMs — definida como a capacidade de recusar responder perguntas fora de seu conhecimento (autoconhecimento) e de responder corretamente quando o conhecimento existe (autoexpressão) — enfrentam desafios significativos de avaliação. Benchmarks existentes frequentemente tratam os LLMs como caixas pretas, estimando os limites de conhecimento de forma indireta. Isso leva a avaliações falhas onde a falha de um modelo em responder é atribuída a uma falta de conhecimento (um problema de autoconhecimento), quando pode ser, na verdade, uma inconsistência de expressão (um problema de autoexpressão). Além disso, sem acesso aos dados de treinamento específicos, é imposs impossível determinar definitivamente se um modelo deveria saber uma resposta, tornando difícil a criação de benchmarks robustos.

Metodologia
Os autores propõem uma abordagem de duas frentes: um novo benchmark de avaliação e um novo método de inferência chamado RETAIN (Retrieval-Enhanced Training-Aware Inference).

1. Construção do Benchmark (TIP-TRIVIAQA):

   • Aproveitando o Pythia, um LLM verdadeiramente aberto com dados de pré-treinamento publicamente disponíveis, os autores constroem um benchmark onde a "verdade fundamental" (ground truth) do conhecimento é conhecida.
   • Eles utilizam um processo de busca em duas etapas para determinar se uma pergunta é "respondível" (a resposta existe no corpus de pré-treinamento) ou "não respondível" (ela não existe):
     • Busca Baseada em Tokens: Recupera documentos contendo palavras-chave específicas da pergunta e da resposta de ouro. Um LLM julga a relevância.
     • Busca Baseada em Vetores: Para perguntas não resolvidas pela busca de tokens, a similaridade semântica é usada para recuperar documentos, seguida pelo julgamento de relevância.
   • Isso cria um conjunto de dados (TIP-TRIVIAQA) onde as perguntas são explicitamente categorizadas com base na exposição real do modelo à informação durante o pré-treinamento.

2. O Método RETAIN:

   • RETAIN é um framework de agentes composto por três componentes:
     • Recuperador (Retriever): Codifica a pergunta de entrada e recupera os top-$k$ documentos do próprio corpus de pré-treinamento do modelo usando recuperação densa.
     • Classificador de Respondibilidade (Answerability Classifier): Um modelo ajustado (fine-tuned) que determina se os documentos recuperados contêm informações suficientes para responder à pergunta. Se nenhum documento relevante for encontrado, o sistema aciona uma recusa ("Eu não sei").
     • Respondente (Responder): Um modelo ajustado que gera a resposta de ouro usando o documento recuperado como contexto, mas apenas se o classificador considerar a pergunta respondível.

Principais Contribuições

1. Um Benchmark Robusto: O artigo introduz o primeiro benchmark para a honestidade de LLMs que explicitamente considera o limite de conhecimento do modelo ao identificar documentos relevantes dentro de seus dados de pré-treinamento, indo além da avaliação de caixa preta.
2. Um Novo Método de Inferência: Os autores propõem o RETAIN, que utiliza a recuperação sobre o próprio corpus de pré-treinamento do modelo durante a inferência. Isso permite que o modelo distinga entre perguntas que ele viu (e pode responder) e aquelas que não viu (e deve recusar).
3. Validação Empírica: O estudo demonstra que simplesmente aumentar os prompts com documentos do pré-treinamento melhora tanto a precisão da resposta quanto a capacidade do modelo de reconhecer suas limitações.

Resultos
Experimentos conduzidos no benchmark TIP-TRIVIAQA usando o Pythia-12b-deduped mostram que o RETAIN supera significativamente os baselines existentes (incluindo SFT, Best-of-N, DPO e R-Tuning).

• Desempenho: O RETAIN alcança uma pontuação ExactMatch-F1 de 58,57 e uma PartialMatch-F1 de 62,23, substancialmente superior ao próximo melhor baseline (R-Tuning com 44,16 PM-F1).
• Generalização: No dataset HoneSet (contendo perguntas que humanos não conseguem responder), o RETAIN alcança uma taxa de recusa de 87,63%, superando significativamente todos os baselines, indicando que o método se generaliza além do benchmark específico.
• Ablação: Os resultados confirmam que a combinação de recuperação, classificação de respondibilidade e um respondente treinado é necessária para o desempenho ideal; remover qualquer componente degrada a pontuação F1.

Significância
O artigo afirma ser o primeiro a utilizar dados de pré-treinamento para construir um benchmark de honestidade de LLM e realizar a recuperação sobre o próprio corpus de pré-treinamento de um modelo para resposta de perguntas. Os autores argumentam que o conhecimento paramétrico sozinho é insuficiente para a honestidade; em vez disso, os modelos requerem um mecanismo para acessar e verificar seus dados de treinamento para perceber com precisão seus limites de conhecimento. Ao utilizar a transparência de modelos abertos como o Pythia, este trabalho fornece um caminho para assistentes de IA mais confiáveis, interpretáveis e honestos, que podem explicitamente reconhecer quando não sabem uma resposta, reduzendo assim as alucinações em domínios críticos.