Résumé technique : Analyse des compromis qualité-latence-ressources dans un assistant de documentation technique RAG utilisant l'adaptation LoRA

Énoncé du problème

La génération augmentée par la récupération (RAG) est devenue l'approche standard pour ancrer les grands modèles de langage (LLM) dans des corpus externes, en particulier pour les assistants orientés documentation où les réponses doivent être étayées par des drapeaux de configuration spécifiques, des versions d'API ou des portes de fonctionnalités. Cependant, le déploiement de tels systèmes implique des tensions directes entre des objectifs concurrents : des générateurs plus volumineux améliorent la qualité des réponses mais augmentent la mémoire d'inférence et la latence ; des pipelines de récupération plus riches ajoutent une surcharge ; et des configurations de fine-tuning efficace en paramètres (PEFT) plus expressives modifient les coûts de formation.

La littérature existante étudie souvent ces dimensions de manière isolée — en se concentrant sur la conception de la récupération, les applications générales de LoRA ou l'évaluation standard des questions-réponses — ou traite LoRA comme une technique monolithique plutôt que comme un espace de configurations. Il manque une analyse empirique systématique concernant la manière dont des configurations LoRA spécifiques (rang, modules cibles, taille du modèle de base) interagissent avec la qualité de la récupération, la latence et le coût de formation au sein d'une architecture RAG fixe pour la documentation technique.

Méthodologie

Construction du référentiel

Les auteurs ont construit un référentiel vérifié manuellement de 5 144 paires question-réponse dérivées de la documentation officielle de Kubernetes. L'ensemble de données a été créé grâce à un processus hybride : 500 paires ont été rédigées à la main, et le reste a été rédigé par un agent LLM (GPT-5.4) puis vérifié manuellement. Les paires sont catégorisées en EXACTES (nécessitant une reproduction littérale des drapeaux, des chemins ou des versions) et NORMALES (réponses factuelles tolérant le reformulage). Les données sont divisées en ensembles d'entraînement (3 614), d'évaluation (745) et de test (785).

Pipeline RAG

Un pipeline de récupération hybride fixe a été utilisé dans toutes les expériences pour isoler la contribution du générateur :

1. Récupération : Une approche hybride combinant une récupération dense (embeddings BGE-M3) et une récupération sparse native (canal sparse BGE-M3), fusionnées via la fusion réciproque des rangs (RRF).
2. Reclassement : Un reclasseur cross-encoder préentraîné (BAAI/bge-reranker-v2-m3).
3. Génération : Deux modèles de base adaptés aux instructions ont été utilisés : Llama-3.2-3B-Instruct et Llama-3.1-8B-Instruct.

Conception expérimentale

L'étude a ablaté 20 configurations LoRA sur les deux modèles de base. L'espace de configuration variait deux facteurs :

• Rang ($r$) : $\{4, 8, 16, 32, 64\}$.
• Modules cibles :
  • $qv\_only$ : Adapte uniquement les projections d'attention de requête ($q$) et de valeur ($v$).
  • $full\_attention$ : Adapte les quatre projections d'attention majeures ($q, k, v, o$).

Deux contrôles non adaptés (3B et 8B) ont servi de références. Tous les modèles ont été entraînés avec des hyperparamètres fixes (8 époques, taux d'apprentissage $2 \times 10^{-5}$, précision bf16) sur un seul nœud matériel (NVIDIA A100 40 Go) pour garantir des métriques de coût comparables.

Métriques d'évaluation

La performance a été évaluée sur un front de Pareto multi-objectif utilisant :

• Qualité : Score F1 au niveau des tokens (principal), taux de réussite de la fondation par un juge LLM pass@4, et taux de réussite de la correction pass@4.
• Coût : Latence d'inférence, pic de VRAM d'inférence, temps total d'entraînement et pic de VRAM d'entraînement.
• Rigueur statistique : Toutes les estimations ponctuelles incluent des intervalles de confiance bootstrap à 95 % (1 000 rééchantillonnages). Des tests bootstrap appariés ont été utilisés pour les comparaisons $\Delta$F1.

Résultats clés

1. Avantage structurel de l'adaptation $qv\_only$

Sur chaque front de Pareto examiné (F1 vs latence, F1 vs mémoire d'inférence, F1 vs coût d'entraînement), les points non dominés étaient systématiquement dominés par les adaptateurs $qv\_only$.

• Les adaptateurs $full\_attention$ n'apparaissaient jamais sur le front de Pareto d'entraînement et ne gagnaient au maximum que 2 régimes d'ablation sur 10 concernant la récupération/l'incitation en matière de fondation.
• Contrôle apparié en paramètres : Pour écarter la possibilité que $qv\_only$ gagne simplement parce qu'il possède plus de paramètres par projection, les auteurs ont comparé $qv\_only$ au rang $r$ avec $full\_attention$ au rang $r/2$ (nombre total de paramètres égal). Le schéma $qv\_only$ est resté supérieur ou statistiquement indiscernable dans tous les cas, avec un $\Delta$F1 moyen de $+0,007$ [0,001 ; 0,012]. Cela suggère que l'avantage est structurel, probablement parce que l'adaptation des projections $q$ et $v$ suffit pour affiner la sélection du contexte et le rééquilibrage dans un pipeline RAG fixe, tandis que l'adaptation de $k$ et $o$ ajoute un coût sans gain proportionnel.

2. La taille du modèle de base définit le régime de fonctionnement

Le choix entre les modèles 3B et 8B détermine principalement le régime de fonctionnement (budget de ressources) plutôt que le plafond de qualité atteignable.

• La configuration 3B adaptée la plus performante (3B r64 $qv\_only$) a atteint un F1 de 0,597, statistiquement indiscernable de la référence 8B non adaptée (F1 0,595, $\Delta$F1 $\in [-0,021 ; +0,026]$).
• Cette configuration 3B coûte environ 9 Go de moins en VRAM d'inférence que la référence 8B.
• Bien que le modèle 8B ($r64$ $qv\_only$) ait atteint le F1 absolu le plus élevé (0,617), le gain par rapport au modèle 3B adapté était faible ($\Delta$F1 +0,020) et s'accompagnait d'une pénalité de ressources significative.

3. Compromis entre fondation et F1

La configuration maximisant le F1 (8B r64 $qv\_only$) ne maximisait pas la fondation. Le score de fondation le plus élevé a été atteint par 8B r16 $qv\_only$ (F1 0,615 contre 0,617). Les auteurs notent que le F1 et la fondation ne sont pas interchangeables ; la configuration optimale dépend de savoir si le déploiement privilégie l'accord de correspondance exacte ou un soutien strict par le contexte récupéré.

4. Robustesse face à la récupération et à l'incitation

L'étude a testé 10 régimes différents en variant les stratégies de récupération (dense uniquement, sparse uniquement, hybride BM25, reclasseur désactivé) et les modes d'incitation (neutre vs fondation explicite).

• Le schéma $qv\_only$ a systématiquement produit la meilleure configuration F1 dans 10/10 régimes.
• Le schéma $qv\_only$ a produit la meilleure configuration de fondation dans 8/10 régimes.
• Bien que le rang optimal ou la taille du modèle spécifiques aient légèrement changé, la domination structurelle du schéma d'adaptation $qv\_only$ est restée stable.

Importance et contributions

L'article revendique quatre contributions principales :

1. Un référentiel vérifié manuellement : Un référentiel RAG multi-critères exempt de licence sur la documentation Kubernetes, conçu pour évaluer les compromis qualité-coût.
2. Étude systématique des configurations : Une ablation structurée des configurations LoRA au sein d'un pipeline de récupération hybride fixe, fournissant une inférence statistique sur tous les compromis rapportés.
3. Contrôle apparié en paramètres : Une comparaison isolant l'effet structurel du choix du module cible de l'effet du nombre de paramètres, démontrant que $qv\_only$ est structurellement supérieur pour le RAG de documentation.
4. Artifacts reproductibles : La publication du référentiel, des adaptateurs sélectionnés et du code pour servir de point de départ aux travaux futurs sur le fine-tuning augmenté par la récupération.

Les auteurs concluent que pour le RAG orienté documentation, la taille du modèle de base définit le régime, mais le schéma d'adaptateur détermine l'efficacité. L'adaptation LoRA ciblée (spécifiquement $qv\_only$) permet aux modèles plus petits d'atteindre la qualité de références plus grandes non adaptées à une fraction du coût, et l'adaptation plus large (attention complète) n'est généralement pas justifiée par les gains de qualité marginaux dans ce domaine spécifique.