💬 NLP

Data Quality over Capacity: Internalizing Documents into LoRA Adapters for Closed-Book QA

Este artigo demonstra que, para o questionamento de livro fechado (closed-book question answering), a internalização de documentos em adaptadores LoRA por meio da curadoria de dados de alta qualidade (como a canonicalização de respostas e a remoção de trivialidades) é mais crítica para o desempenho do que a capacidade arquitetônica ou o ajuste de hiperparâmetros, permitindo, em última análise, que um modelo Gemma-4 de 4 bits supere as linhas de base tradicionais baseadas em recuperação.

Autores originais: Joan Figuerola Hurtado

Publicado 2026-07-27

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Joan Figuerola Hurtado

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um amigo robô superinteligente que conhece muito sobre o mundo, mas se você perguntar sobre um livro específico e novinho que acabou de comprar, ele não tem ideia do que há dentro. Geralmente, para responder perguntas sobre esse livro, temos que usar um método de "mecanismo de busca": encontramos a página certa, copiamos o texto e colamos no comando do robô para que ele possa ler e responder. Isso é chamado de Geração Aumentada por Recuperação (RAG). Funciona, mas é como se tivéssemos que carregar um pesado catálogo de biblioteca para cada pergunta que fazemos. É lento e, às vezes, o mecanismo de busca pega a página errada.

E se, em vez de buscar, pudéssemos ensinar o robô a memorizar o livro tão bem que ele pudesse responder perguntas sem nunca mais precisar olhar para o texto? Isso é chamado de "internalizar" o conhecimento. O artigo que você está prestes a ler explora exatamente isso: pegar um conjunto específico de documentos e assá-los diretamente no cérebro do robô usando uma técnica de treinamento especial e leve chamada LoRA. A grande questão é: como fazemos isso de forma eficaz? É sobre tornar o cérebro do robô maior? É sobre usar um algoritmo de busca mais inteligente? Ou é algo muito mais simples?

O Grande Concurso de Assar Memórias

Este artigo é um mergulho profundo em um canto específico da inteligência artificial onde pesquisadores tentam ensinar um modelo de linguagem a responder perguntas sobre uma coleção específica de documentos sem nunca ver esses documentos durante o teste real. Pense nisso como um aluno fazendo uma prova de "livro fechado". Ele não pode consultar suas notas; ele tem que confiar inteiramente no que estudou e memorizou anteriormente.

Os pesquisadores usaram um modelo chamado Gemma-4-e4b (uma versão de 4 bits, que é como uma versão comprimida e eficiente de um cérebro maior) e tentaram "assar" o conhecimento de até 99 documentos diretamente em seus pesos usando adaptadores LoRA. Esses adaptadores são como pequenos módulos de treinamento removíveis que ensinam ao modelo novos fatos sem reescrever todo o seu cérebro. O objetivo era ver se essa memória "internalizada" poderia vencer o método tradicional de buscar a resposta (RAG) em termos de velocidade e precisão.

A Grande Surpresa: Não é Sobre o Tamanho do Cérebro

Os pesquisadores realizaram cerca de 100 experimentos de treinamento diferentes, tentando de tudo, desde conjuntos de treinamento minúsculos (um documento) até maiores (99 documentos). Eles esperavam que a chave para o sucesso fosse a "capacidade" — basicamente, tornar o módulo de treinamento maior ou mais complexo para conter mais informações. Eles pensaram: "Se tivermos mais documentos, só precisamos de um céreamente maior para contê-los, certo?"

Eles estavam errados.

O artigo descobriu que, uma vez que o módulo de treinamento (o adaptador LoRA) fosse grande o suficiente para conter a informação, torná-lo ainda maior não ajudava muito. O verdadeiro ingrediente secreto não era o tamanho do cérebro ou a complexidade da arquitetura. Era a qualidade das notas de estudo.

Aqui está o achado mais vívido: os pesquisadores pegaram um conjunto de dados de 15 documentos. Quando usaram notas de estudo bagunçadas, longas e cheias de curiosidades geradas por uma IA, a precisão de livro fechado do robô foi de decepcionantes 57,7%. Era como estudar para uma prova usando um livro didático que tinha notas de rodapé demais e piadas irrelevantes.

Mas então, eles fizeram uma "passagem de curadoria" simples. Eles revisaram os dados e fizeram duas coisas:

Eles encurtaram as respostas corretas para serem frases curtas e diretas (1 a 6 palavras).
Eles jogaram fora todas as curiosidades e fatos aleatórios que não importavam.

De repente, a precisão disparou para 85,7%. Esse é um salto de 28 pontos apenas limpando os dados. Essa única mudança foi mais poderosa do que qualquer ajuste de arquitetura sofisticado ou aumento no tamanho do treinamento. O artigo argumenta que, se suas notas de estudo estiverem poluídas, nenhum "poder cerebral" irá salvá-lo.

O Problema do "Grande Demais para Caber"

Embora a qualidade dos dados tenha sido a estrela, o artigo encontrou uma regra sobre o tamanho: O módulo de treinamento deve crescer conforme a biblioteca cresce.

Quando tentaram encaixar 50 documentos em um módulo projetado para 25, o desempenho despencou. Era como tentar enfiar 50 malas em uma mochila feita para 25; tudo ficou misturado e o robô começou a confundir fatos (um fenômeno chamado "erro de vinculação" ou mis-binding). Para corrigir isso, eles tiveram que dobrar o tamanho do módulo de treinamento (o "rank").

No entanto, eles também descobriram um efeito colateral complicado: quando tornavam o módulo maior, precisavam ser mais gentis na forma como o ensinavam. Se usassem a mesma "velocidade de ensino" (taxa de aprendizado) para um módulo grande como usariam para um pequeno, o robô esquecia tudo. Eles tiveram que desacelerar o processo de ensino para que o módulo grande aprendesse adequadamente. Este foi um erro comum que quase cometeram, pensando que o módulo estava apenas "muito cheio", quando na verdade estavam apenas ensinando rápido demais.

Vencendo o Mecanismo de Busca

Finalmente, os pesquisadores queriam saber: essa abordagem de "memorização" é realmente melhor do que o método padrão de "buscar e ler"?

Eles organizaram uma corrida real em um corpus de 15 documentos.

O Mecanismo de Busca (BM25-RAG): Este método encontrou a página certa apenas 53% das vezes na primeira tentativa. Mesmo quando encontrava a página certa, o robô acertava a resposta apenas 58,9% das vezes.
A Busca "Perfeita" (Oracle): Mesmo se dessem ao robô a página exata para ler (um cenário realista de melhor caso), ele acertava a resposta apenas 65,6% das vezes.
O Robô Internalizado: O robô que havia memorizado os documentos diretamente acertou a resposta 84,2% das vezes.

O robô memorizado não foi apenas mais preciso, mas também muito mais rápido. O método de busca levava quase 3 segundos por pergunta, enquanto o robô internalizado levava entre 0,3 e 0,8 segundos. Era como comparar um bibliotecário que tem que ir até as estantes, encontrar um livro e lê-lo, contra uma pessoa que já tem o conteúdo do livro memorizado em sua cabeça.

A Conclusão

Este artigo é um estudo de caso sobre como depurar o treinamento de IA. Os autores admitem que cometeram erros ao longo do caminho, culpando inicialmente o tamanho do modelo ou o comprimento do texto, quando o verdadeiro culpado era o dado bagunçado.

A lição principal é clara: A qualidade dos dados é soberana. Se você quer que uma IA se lembre de um conjunto específico de documentos sem precisar buscá-los, não jogue apenas mais poder computacional no problema. Em vez disso, limpe seus dados de treinamento. Torne as respostas curtas, remova o excesso de informações e garanta que os fatos estejam claros. Uma vez que os dados estejam limpos e o módulo de treinamento seja grande o suficiente, o robô pode aprender o material melhor do que consegue encontrá-lo em uma biblioteca.

Embora o artigo observe que isso se baseia em uma única "semente" (um ponto de partida aleatório específico) e conjuntos de dados menores (até 99 documentos), os resultados são um sinal forte de que, para tarefas de livro fechado, uma abordagem simples e bem curada vence as complexas e bagunçadas todas as vezes.

Resumo Técnico: Qualidade de Dados sobre Capacidade em QA de Livro Fechado via LoRA

Declaração do Problema

A abordagem padrão para permitir que Grandes Modelos de Linguagem (LLMs) utilizem corpora não treinados é a Geração Aumentada por Recuperação (RAG), que recupera fragmentos de documentos relevantes e os injeta no prompt. No entanto, o RAG introduz a recuperação como um modo de falha, consome o orçamento da janela de contexto para cada consulta e limita a quantidade de informação que fundamenta uma única resposta.

Este artigo investiga uma alternativa: internalização de conhecimento. O objetivo é incorporar um corpus de documentos diretamente nos pesos de um modelo usando um adaptador LoRA (Low-Rank Adaptation) leve. Isso permite o questionamento de "livro fechado" (closed-book), onde o modelo responde perguntas sobre o corpus sem qualquer texto de documento no prompt, eliminando etapas de recuperação e limites de contexto. O estudo aborda especificamente como escalar isso de documentos individuais para um corpus de quase 100 documentos em um modelo Gemma-4-e4b quantizado em 4 bits.

Metodologia

Tarefa e Geração de Dados

Os autores geram pares de pergunta-resposta de livro fechado onde as respostas de ouro (gold answers) são fundamentadas verbatim nos documentos de origem.

Fonte de Dados: Os dados de treinamento são autogerados por um LLM forte que lê fragmentos extraídos dos documentos alvo. Nenhum modelo de QA-professor dedicado é utilizado.
Estrutura: Cada afirmação inclui uma citação de origem verbatim, 8 paráfrases de perguntas de treinamento e 2 perguntas retidas (held-out).
Receita de Treinamento: O modelo base é o gemma-4-e4b-it-4bit. O LoRA é aplicado apenas às projeções MLP em todas as 42 camadas. O treinamento ocorre via Apple Silicon através de MLX em duas etapas retomadas em um único adaptador:
1. Etapa A (Semelhante a CPT): Treinamento de perda de completude (completion-loss) em fragmentos brutos e paráfrases de múltiplos níveis.
2. Etapa B (SFT): Supervisão de QA de livro fechado com perda apenas no token de resposta.

Métricas de Avaliação

Corretude: Definida por correspondência exata de substring (em qualquer direção) ou F1-token $\ge$ 0,74.
Relato: O recall é relatado separadamente da acurácia geral. A acurácia geral inclui um corte de "abstenção" para perguntas sobre fatos nunca vistos durante o treinamento.
Baseline: Um pipeline BM25-RAG real (recuperador + leitor base) e um "oráculo realista" (alimentando o fragmento de ouro verdadeiro ao leitor base) são estabelecidos em um recorte de 15 documentos.

Principais Resultados

1. A Qualidade dos Dados é a Alavanca Dominante

A descoberta mais significativa é que, uma vez que a capacidade do adaptador é adequada, a qualidade dos dados de treinamento supera mudanças arquiteturais, rank ou ajuste de taxa de aprendizado.

O Efeito de Curadoria: Em um corpus de 15 documentos, a mudança de afirmações autogeradas (que mineravam excessivamente trivialidades de alta entropia e produziam cláusulas de resposta longas) para um conjunto de dados curado (encurtando as respostas de ouro para spans canônicos de 1 a 6 palavras e descartando trivialidades) aumentou o recall de livro fechado de 55,6% para 84,2% e a acurácia geral de 57,7% para 85,7%.
Comparação com Arquitetura: Este ganho de +28 pontos via curadoria de dados excedeu qualquer intervenção arquitetural testada, incluindo pré-treinamento sintético estilo EntiGraph e cartuchos de cache-KV treináveis (que tiveram desempenho insatisfatório).
Verificação: A re-pontuação das previsões sob regras mais estritas confirmou que o ganho não foi um artefato de pontuação; o benefício de respostas mais curtas na verdade ampliou sob critérios de correspondência exata.

2. Escalonamento de Capacidade e Acoplamento de Taxa de Aprendizado

O estudo identifica uma tendência onde o rank do adaptador deve crescer com o tamanho do corpus, mas isso está emaranhado com os requisitos de taxa de aprendizado.

Saturação de Capacidade: Em um corpus aninhado (15 $\to$ 25 $\to$ 50 $\to$ 100 documentos), um rank fixo (64) causou o colapso do recall (de 71% em 25 docs para 50% em 50 docs). Dobrar o rank para 128 restaurou o desempenho.
Artefato de Taxa de Aprendizado: Ao escalar para 100 documentos com rank 256, reutilizar a taxa de aprendizado do rank 128 causou uma regressão no recall. Os autores diagnosticaram inicialmente isso como um problema de comprimento de sequência ou limite de capacidade. A medição direta revelou a verdadeira causa: ranks maiores exigem taxas de aprendizado mais suaves. Reduzir a taxa de aprendizado pela metade (4e-5 $\to$ 2e-5) recuperou o piso de perda e melhorou o recall em 6 pontos.

3. Internalização vs. Recuperação

No corpus de 15 documentos, o adaptador internalizado superou significamente os baselines de recuperação:

Adaptador Internalizado: 84,2% de recall.
BM25-RAG: 58,9% de recall (BM25 recupera o fragmento de ouro apenas 53% das vezes no rank 1).
Oráculo Realista: Mesmo quando o leitor base recebeu o fragmento de ouro verdadeiro (oráculo), ele alcançou apenas 65,6% de recall.
Latência: O adaptador internalizado operou em uma fração da latência (300–800 ms) comparado ao pipeline RAG (~2.895 ms).

Contribuições e Significância

O artigo enquadra suas descobertas como um estudo de caso de depuração empírica de treinamento de LLM, destacando três diagnósticos incorretos específicos corrigidos durante o processo (confundir problemas de taxa de aprendizado com limites de capacidade, problemas de comprimento de sequência e problemas de qualidade de dados).

Principais Contribções:

Superioridade da Curadoria de Dados: Demonstrou que uma única passagem de curadoria (encurtamento de respostas, remoção de trivialidades) gera um ganho de desempenho maior (+28 pontos) do que mudanças arquiteturais complexas ou aumentos de capacidade.
Leis de Escalonamento: Estabeleceu uma "escada de escalonamento de corpus" mostrando que o rank deve crescer com o tamanho do corpus e, crucialmente, que ranks maiores necessitam de taxas de aprendizado menores para evitar regressão de desempenho.
Viabilidade da Internalização: Forneceu um baseline de mundo real mostrando que a internalização pode superar tanto o RAG padrão quanto o RAG "oráculo" em acurácia e latência para corpora pequenos a médios, desde que a qualidade dos dados seja alta.

Limitações e Ameaças à Validade:
Os autores explicitamente observam várias restrições:

Semente Única: Todos os experimentos usam a semente 42; diferenças de menos de 2 pontos podem ser ruído, e a replicação com múltiplas sementes é necessária para deltas significativos.
Viés de Métrica: O pontuador determinístico favorece o estilo do adaptador, o que significa que a acurácia do RAG é um limite inferior de seu conhecimento.
Escala: O corpus de 99 documentos está muito abaixo do alvo de dezenas de milhares de documentos; os resultados referentes a constantes específicas de rank/taxa de aprendizado podem não se extrapolar linearmente.
Quantização: O uso de um modelo base de 4 bits pode estabelecer um piso de perda atribuído à qualidade dos dados em configurações de maior precisão.

O artigo conclui que, embora a capacidade atue como um "portão rígido" abaixo do qual nenhuma intervenção de dados ajuda, uma vez atingida a capacidade adequada, a qualidade dos dados de treinamento (especificamente a brevidade da resposta e a remoção de trivialidades) é a alavanca mais confiável e impactante para a internalização de livro fechado.