💬 NLP

Cite Pretrain: Retrieval-Free Knowledge Attribution for Large Language Models

O artigo apresenta o CitePretrain, um método de pré-treinamento contínuo que utiliza uma técnica de "Indexação Ativa" para capacitar modelos de linguagem a atribuir citações confiáveis a documentos aprendidos durante o treinamento sem necessidade de recuperação externa em tempo de execução, superando significativamente abordagens passivas em precisão e robustez.

Autores originais: Yukun Huang, Sanxing Chen, Jian Pei, Manzil Zaheer, Bhuwan Dhingra

Publicado 2026-04-07

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yukun Huang, Sanxing Chen, Jian Pei, Manzil Zaheer, Bhuwan Dhingra

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um amigo muito inteligente, um "Gênio" (que é o nosso Modelo de Linguagem), que leu milhões de livros, artigos e sites antes de começar a conversar com você. Quando você faz uma pergunta, ele responde com muita confiança. Mas, às vezes, ele inventa fatos ou cita fontes que não existem. Isso é como se ele estivesse alucinando.

Atualmente, para evitar isso, os sistemas usam um "bibliotecário externo" (uma ferramenta de busca) que vai procurar a resposta na internet em tempo real antes de o Gênio falar. O problema? Isso é lento, depende de internet e, às vezes, o bibliotecário traz informações erradas ou conflitantes.

Este paper, chamado CitePretrain, propõe uma solução genial: ensinar o próprio Gênio a ser o seu próprio bibliotecário, sem precisar de ajuda externa na hora da conversa.

Aqui está como eles fizeram isso, explicado de forma simples:

1. O Problema: "Memória de Papagaio" vs. "Memória de Entendimento"

Antes, os pesquisadores tentavam apenas "colar" o nome do livro (o ID do documento) no final de cada texto que o Gênio lia durante o treinamento.

A Analogia: Imagine que você está estudando para uma prova. Alguém apenas cola um post-it no final de cada página dizendo "Capítulo 3". O aluno (o modelo) pode decorar que "Capítulo 3" está no final da página, mas se você perguntar "O que diz sobre a Revolução Francesa?", ele não consegue ligar o fato à fonte, a menos que a pergunta seja uma cópia exata do texto. Ele vira um papagaio que repete, mas não entende a conexão.

2. A Solução: "Indexação Ativa" (Active Indexing)

Os autores criaram um método chamado Indexação Ativa. Em vez de apenas colar o nome do livro, eles treinaram o Gênio de duas formas novas, como se fosse um jogo de "Pergunta e Resposta" durante os estudos:

Sentido Direto (Forward): Eles pegaram um livro, tiraram um fato importante e criaram uma pergunta: "O que o livro 'História dos EUA' diz sobre a fundação?". O Gênio teve que aprender a olhar para o título e buscar a resposta na memória dele.
- Metáfora: É como treinar um detetive para, ao ouvir o nome de um arquivo, saber exatamente qual fato está guardado nele.
Sentido Reverso (Backward): Eles pegaram um fato (ex: "A Casa Branca foi construída entre 1792 e 1800") e perguntaram: "De qual livro você tirou essa informação?". O Gênio teve que apontar o título correto.
- Metáfora: É como um jogo de "Quem sou eu?" onde o Gênio precisa dizer de qual livro a informação veio, mesmo que a pergunta seja feita de um jeito diferente.

Ao fazer isso, o modelo não apenas memoriza o texto, ele cria uma ponte sólida entre o fato e a fonte. Ele aprende que, se alguém perguntar sobre "supercondutividade", a resposta vem do "Artigo X", e não do "Artigo Y".

3. O Resultado: O Gênio se Torna Confiável

Eles testaram isso em modelos de inteligência artificial (como o Qwen) e os resultados foram impressionantes:

Precisão: A capacidade de citar a fonte correta aumentou em até 30% comparado aos métodos antigos.
Robustez: Mesmo quando a fonte é reescrita de um jeito diferente (paráfrase), o Gênio ainda sabe de onde veio a informação.
Sem Internet Necessária: O Gênio consegue responder e citar fontes sem precisar "ligar o Google" na hora da conversa. Isso é mais rápido e funciona mesmo sem internet.

4. O "Truque" Final: A Dupla Proteção

O paper também mostra que a melhor estratégia é uma mistura:

Se a internet (o bibliotecário externo) estiver boa, use-a.
Se a internet estiver ruim ou não tiver a resposta, o Gênio usa sua memória interna treinada.
Analogia: É como ter um GPS (busca externa) e um mapa mental (memória interna). Se o GPS falhar, você não fica perdido; você usa seu conhecimento interno para chegar ao destino.

Resumo em uma frase

O CitePretrain ensina a inteligência artificial a ler seus livros de estudo e criar um "índice mental" perfeito, para que, quando ela responder a você, possa dizer com certeza: "Eu sei isso porque li no livro X", sem precisar ficar procurando na internet e sem inventar mentiras.

Isso torna as IAs mais transparentes, rápidas e confiáveis, como um professor que sempre sabe exatamente onde encontrou cada informação que ensina.

1. O Problema

Os Modelos de Linguagem Grandes (LLMs) são frequentemente criticados por "alucinações", especialmente quando geram citações (referências) para justificar suas respostas.

Citações Internas (Geradas pelo LLM): São altamente não confiáveis. Estudos citados mostram taxas de alucinação de referências entre 86% e 91,4%, e taxas de atribuição incorreta de 24-46%.
Citações Externas (RAG - Retrieval-Augmented Generation): A abordagem padrão atual usa um recuperador externo para buscar documentos e inserir citações. Embora eficaz, isso introduz:
- Latência e Sobrecarga: Dependência de infraestrutura externa e otimização de consultas.
- Fragilidade: Vulnerabilidade a ruídos na recuperação ou conflitos entre o conhecimento paramétrico do modelo e o contexto recuperado.
- Limitações de Explicabilidade: Não revela o que o modelo sabe internamente ou como ele acessa seu treinamento.

O objetivo deste trabalho é investigar se é possível treinar LLMs para realizar citações internas confiáveis (atribuir respostas aos documentos vistos durante o pré-treinamento) sem a necessidade de recuperação em tempo de inferência (modo "closed-book").

2. Metodologia

Os autores propõem um framework de duas etapas e introduzem uma nova técnica de treinamento chamada Active Indexing.

A. Benchmark: CitePretrain-Bench

Para avaliar a atribuição interna, foi criado um benchmark que mistura:

Corpos de dados reais: Wikipedia, Common Crawl e artigos do arXiv.
Documentos novos e não vistos: Para testar a capacidade de aprender e citar novos conhecimentos.
Tarefas: Perguntas de curto prazo (fatos únicos) e longo prazo (síntese de múltiplos fatos).
Identificadores: Uso de títulos textuais como IDs de documentos (em vez de IDs numéricos), pois mostram melhor memorização.

B. Abordagem de Treinamento

O processo segue duas fases:

Pré-treinamento Contínuo (Continual Pretraining): Para indexar o conhecimento factual e vincular fatos aos identificadores de documentos.
Ajuste de Instrução (Instruction Tuning): Para elicitar o comportamento de gerar citações junto com as respostas.

C. Active Indexing (A Contribuição Central)

A abordagem base (Passive Indexing) apenas anexa o ID do documento ao final do texto, o que é insuficiente para fatos complexos que exigem síntese ou paráfrase. O Active Indexing resolve isso através de duas formas de aumento de dados sintéticos durante o pré-treinamento:

Augmentation Forward (Fonte $\to$ Fato):
- Gera pares de pergunta-resposta baseados em entidades dentro de um único documento.
- O modelo aprende a recuperar fatos detalhados quando condicionado ao ID do documento.
- Restringe o modelo a extrair informações específicas de uma fonte única.
Augmentation Backward (Fato $\to$ Fonte):
- Cria clusters de trechos (chunks) de documentos distintos e gera instruções que exigem a síntese de informações de múltiplas fontes.
- O modelo deve gerar a resposta e, crucialmente, prever o(s) ID(s) do(s) documento(s) que sustentam cada afirmação.
- Isso treina o modelo a realizar raciocínio cruzado e atribuir a origem correta de fatos sintetizados.

3. Principais Contribuições

CitePretrain-Bench: Um benchmark abrangente para avaliar a atribuição interna de conhecimento, cobrindo desde fatos simples até sínteses complexas de múltiplos documentos.
Active Indexing: Uma estratégia de treinamento que supera a simples memorização de IDs. Ao treinar explicitamente as relações bidirecionais (Fonte $\to$ Fato e Fato $\to$ Fonte) com dados sintéticos diversificados, o modelo aprende a vincular conceitos a documentos mesmo quando a formulação da pergunta ou resposta difere do texto original.
Análise de Escala e Generalização: Demonstração de que a técnica escala bem com o tamanho do modelo e a quantidade de dados aumentados, sem sinais de saturação até 16x o tamanho do corpus original.
Complementaridade Interna/Externa: Evidência de que citações internas e externas são complementares; o sistema híbrido oferece robustez superior, especialmente quando a recuperação externa é ruidosa ou falha.

4. Resultados

Os experimentos foram conduzidos nos modelos Qwen-2.5 (3B, 7B, 14B) e Llama-3, comparando Passive Indexing, Active Indexing e baselines sem treinamento contínuo.

Desempenho Superior: O Active Indexing superou consistentemente o Passive Indexing.
- Ganhos de Precisão: Até 30,2% de aumento na precisão de citação em todas as tarefas e modelos.
- Exemplo (Qwen-7B em RepliQA): A precisão de citação saltou de 2,4% (Passive) para 32,6% (Active).
Sinergia de Direções: A combinação de Forward e Backward augmentation foi mais eficaz do que usar qualquer uma isoladamente.
Robustez a Paráfrase: Diferente de métodos que apenas memorizam citações literais, o Active Indexing permite que o modelo cite a fonte correta mesmo quando a informação é parafraseada ou sintetizada.
Comparação com Modelos Proprietários: Mesmo modelos proprietários como o GPT-4.1, que têm alta precisão nas respostas, falharam em gerar citações internas confiáveis sem o treinamento específico de Active Indexing.
Híbrido vs. Puro: Em cenários com recuperação externa ruidosa (baixa qualidade), os métodos com citação interna (ou híbridos) superaram significativamente os sistemas baseados apenas em RAG.

5. Significado e Impacto

Transparência e Regulamentação: O trabalho alinha-se com exigências regulatórias (como o AI Act da UE) que demandam rastreabilidade e explicabilidade das saídas de IA, permitindo vincular respostas diretamente aos dados de treinamento.
Eficiência Operacional: Elimina a latência e a dependência de infraestrutura de recuperação externa para tarefas onde o conhecimento está contido no pré-treinamento, tornando os sistemas mais rápidos e baratos.
Paradigma de Treinamento: Sugere que a atribuição de conhecimento não precisa ser um módulo externo ou pós-processamento, mas pode ser uma habilidade intrínseca aprendida durante o pré-treinamento através de objetivos de treinamento estruturados.
Resiliência: Oferece um mecanismo de fallback robusto quando a recuperação externa falha ou fornece informações conflitantes, aumentando a confiabilidade geral do sistema.

Em resumo, o paper demonstra que é viável transformar LLMs em sistemas que não apenas respondem, mas que podem rastreia e justificar suas respostas com base em sua memória interna de treinamento, superando as limitações de alucinação através de uma metodologia de treinamento inovadora (Active Indexing).