Resumo Técnico: Analisando Compensações entre Qualidade, Latência e Recursos em um Assistente de Documentação Técnica com RAG Usando Adaptação LoRA

Declaração do Problema

A Geração Aumentada por Recuperação (RAG) tornou-se a abordagem padrão para fundamentar Modelos de Linguagem de Grande Escala (LLMs) em corpora externos, particularmente para assistentes orientados a documentação, onde as respostas devem ser respaldadas por flags de configuração específicas, versões de API ou gates de funcionalidade. No entanto, a implantação de tais sistemas envolve tensões diretas entre objetivos concorrentes: geradores maiores melhoram a qualidade das respostas, mas aumentam a memória de inferência e a latência; pipelines de recuperação mais ricos adicionam sobrecarga; e configurações de ajuste fino eficiente em parâmetros (PEFT) mais expressivas alteram os custos de treinamento.

A literatura existente frequentemente estuda essas dimensões de forma isolada — focando no design de recuperação, aplicações gerais de LoRA ou avaliação padrão de QA — ou trata o LoRA como uma técnica monolítica, em vez de um espaço de configuração. Há uma falta de análise empírica sistemática sobre como configurações específicas de LoRA (rank, módulos alvo, tamanho do modelo base) interagem com a qualidade da recuperação, a latência e o custo de treinamento dentro de uma arquitetura RAG fixa para documentação técnica.

Metodologia

Construção do Benchmark

Os autores construíram um benchmark verificado manualmente de 5.144 pares de pergunta-resposta derivados da documentação oficial do Kubernetes. O conjunto de dados foi criado por meio de um processo híbrido: 500 pares foram escritos à mão, e o restante foi elaborado por um agente LLM (GPT-5.4) e subsequentemente verificado manualmente. Os pares são categorizados em EXATO (exigindo reprodução literal de flags, caminhos ou versões) e NORMAL (respostas factuais que toleram paráfrase). Os dados são divididos em conjuntos de treinamento (3.614), avaliação (745) e teste (785).

Pipeline RAG

Um pipeline de recuperação híbrida fixo foi empregado em todos os experimentos para isolar a contribuição do gerador:

1. Recuperação: Uma abordagem híbrida combinando recuperação densa (embeddings BGE-M3) e recuperação esparsa nativa (canal esparsa BGE-M3), mescladas via Fusão de Classificação Recíproca (RRF).
2. Reranking: Um reranker cross-encoder pré-treinado (BAAI/bge-reranker-v2-m3).
3. Geração: Dois modelos base instruídos foram utilizados: Llama-3.2-3B-Instruct e Llama-3.1-8B-Instruct.

Design Experimental

O estudo ablatou 20 configurações de LoRA nos dois modelos base. O espaço de configuração variou dois fatores:

• Rank ($r$): $\{4, 8, 16, 32, 64\}$.
• Módulos Alvo:
  • $qv\_only$: Adapta apenas as projeções de atenção de consulta ($q$) e valor ($v$).
  • $full\_attention$: Adapta todas as quatro principais projeções de atenção ($q, k, v, o$).

Duas linhas de base não adaptadas (3B e 8B) serviram como controles. Todos os modelos foram treinados com hiperparâmetros fixos (8 épocas, taxa de aprendizado $2 \times 10^{-5}$, precisão bf16) em um único nó de hardware (NVIDIA A100 40GB) para garantir métricas de custo comparáveis.

Métricas de Avaliação

O desempenho foi avaliado em uma frente de Pareto multiobjetivo usando:

• Qualidade: Pontuação F1 em nível de token (primária), pass@4 de fundamentação por juiz LLM e pass@4 de correção.
• Custo: Latência de inferência, VRAM de pico de inferência, tempo total de treinamento e VRAM de pico de treinamento.
• Rigor Estatístico: Todas as estimativas pontuais incluem intervalos de confiança bootstrap de 95% (1.000 reamostragens). Testes bootstrap pareados foram usados para comparações de $\Delta$F1.

Resultados Principais

1. Vantagem Estrutural da Adaptação $qv\_only$

Em todas as frentes de Pareto examinadas (F1 vs. latência, F1 vs. memória de inferência, F1 vs. custo de treinamento), os pontos não dominados foram consistentemente dominados por adaptadores $qv\_only$.

• Adaptadores $full\_attention$ nunca apareceram na frente de Pareto de treinamento e venceram no máximo 2 de 10 regimes de ablação de recuperação/prompting em fundamentação.
• Controle Casado em Parâmetros: Para descartar a possibilidade de que $qv\_only$ vença simplesmente por ter mais parâmetros por projeção, os autores compararam $qv\_only$ no rank $r$ contra $full\_attention$ no rank $r/2$ (contagem total de parâmetros igual). O esquema $qv\_only$ permaneceu superior ou estatisticamente indistinguível em todos os casos, com um $\Delta$F1 médio de $+0,007$ [0,001, 0,012]. Isso sugere que a vantagem é estrutural, provavelmente porque adaptar as projeções $q$ e $v$ é suficiente para refinar a seleção de contexto e o re-pesamento em um pipeline RAG fixo, enquanto adaptar $k$ e $o$ adiciona custo sem ganho proporcional.

2. O Tamanho do Modelo Base Define o Regime Operacional

A escolha entre modelos de 3B e 8B determina principalmente o regime operacional (orçamento de recursos) e não o teto de qualidade alcançável.

• A configuração adaptada 3B mais forte (3B r64 $qv\_only$) alcançou um F1 de 0,597, que é estatisticamente indistinguível da linha de base 8B não adaptada (F1 0,595, $\Delta$F1 $\in [-0,021, +0,026]$).
• Esta configuração 3B custa aproximadamente 9 GB a menos em VRAM de inferência do que a linha de base 8B.
• Embora o modelo 8B ($r64$ $qv\_only$) tenha alcançado o F1 absoluto mais alto (0,617), o ganho sobre o modelo adaptado 3B foi pequeno ($\Delta$F1 +0,020) e veio com uma penalidade significativa de recursos.

3. Compensação entre Fundamentação e F1

A configuração que maximiza o F1 (8B r64 $qv\_only$) não maximizou a fundamentação. A maior pontuação de fundamentação foi alcançada por 8B r16 $qv\_only$ (F1 0,615 vs. 0,617). Os autores observam que F1 e fundamentação não são intercambiáveis; a configuração ótima depende se a implantação prioriza o acordo de correspondência exata ou o suporte estrito pelo contexto recuperado.

4. Robustez em Recuperação e Prompting

O estudo testou 10 regimes diferentes variando estratégias de recuperação (densa apenas, esparsa apenas, híbrida BM25, reranker desligado) e modos de prompting (neutro vs. fundamentado explícito).

• O esquema $qv\_only$ consistentemente produziu a melhor configuração de F1 em 10/10 regimes.
• O esquema $qv\_only$ produziu a melhor configuração de fundamentação em 8/10 regimes.
• Embora o rank ótimo específico ou o tamanho do modelo tenham mudado ligeiramente, a dominância estrutural do esquema de adaptação $qv\_only$ permaneceu estável.

Significado e Contribuições

O artigo reivindica quatro contribuições principais:

1. Um Benchmark Verificado Manualmente: Um benchmark RAG multi-critério, livre de licenças, sobre documentação do Kubernetes, projetado para avaliar compensações qualidade-custo.
2. Estudo Sistemático de Configuração: Uma ablação estruturada de configurações LoRA dentro de um pipeline de recuperação híbrida fixo, fornecendo inferência estatística sobre todas as compensações relatadas.
3. Controle Casado em Parâmetros: Uma comparação que isola o efeito estrutural da escolha do módulo-alvo do efeito da contagem de parâmetros, demonstrando que $qv\_only$ é estruturalmente superior para RAG de documentação.
4. Artefatos Reprodutíveis: A liberação do benchmark, adaptadores selecionados e código para servir como ponto de partida para trabalhos futuros em ajuste fino aumentado por recuperação.

Os autores concluem que, para RAG orientado a documentação, o tamanho da espinha dorsal define o regime, mas o esquema do adaptador determina a eficiência. A adaptação LoRA direcionada (especificamente $qv\_only$) permite que modelos menores atinjam a qualidade de linhas de base maiores não adaptadas a uma fração do custo, e uma adaptação mais ampla (atenção completa) geralmente não é justificada pelos ganhos marginais de qualidade neste domínio específico.