Résumé technique : Inject, Align, Recover (IAR)

Définition du problème

Le papier traite du défi de l'internalisation des connaissances documentaires dans les modèles de langage de grande taille (LLM). Dans le cadre standard de la génération augmentée par récupération (RAG), les modèles s'appuient sur une récupération externe pour répondre à des questions basées sur un corpus spécifique. Cependant, dans de nombreux scénarios de déploiement (en raison de la latence, de la confidentialité ou des contraintes de test), la récupération est indisponible. L'objectif est de convertir une collection de documents fixe et bornée en une connaissance paramétrique utilisable par le modèle, lui permettant de répondre à des questions inédites sans accès aux documents sources lors de l'inférence.

Les approches existantes présentent des limitations significatives :

• Fine-tuning supervisé (SFT) sur des paires QA : Fournit le format entrée-sortie correct mais offre des signaux d'apprentissage éparses, car seuls les faits sélectionnés par le générateur de QA contribuent à la perte (loss).
• Pré-entraînement continu (CPT) : Offre une exposition plus dense au texte des documents mais ne parvient pas à enseigner explicitement au modèle comment répondre à des questions via une interface de suivi d'instructions.
• Le compromis : Les deux méthodes souffrent souvent d'oubli catastrophique, où l'adaptation du modèle à un domaine spécifique dégrade ses capacités générales de suivi d'instructions et ses performances sur des benchmarks larges.

Méthodologie : Le cadre IAR

Les auteurs proposent IAR (Inject, Align, Recover), un cadre de post-entraînement en trois étapes conçu pour découpler l'acquisition du domaine, l'alignement des tâches et la récupération des capacités générales.

Étape 1 : Inject (Injecter)

Au lieu d'un pré-entraînement continu brut, cette étape convertit les documents sources en tâches de reconstruction supervisées et conditionnées par des instructions. L'objectif est d'injecter une supervision au niveau du document plus dense que l'entraînement QA seul, sans utiliser la perte de CPT en flux brut. L'étape utilise trois objectifs spécifiques :

1. Continuation (Suite) : Prédire un suffixe de document étant donné un préfixe conditionné par une instruction.
2. Rewrite (Réécriture) : Reconstruire un document nettoyé à partir d'un résumé, d'un plan ou d'un squelette de connaissances généré.
3. Instruction-Formatted Reconstruction (Reconstruction formatée par instruction) : Prédire le document nettoyé à partir d'une instruction de lecture courte et générique.
   Ces objectifs sont mélangés pour créer un jeu de données "recette" qui expose le modèle à la structure complète du document tout en maintenant un format de suivi d'instructions.

Étape 2 : Align (Aligner)

Le modèle, contenant désormais les connaissances documentaires injectées, est affiné sur des paires questions-réponses dérivées des documents. Crucialement, cette étape utilise un fine-tuning supervisé sur la réponse uniquement (answer-only SFT). Cela aligne les connaissances injectées avec l'interface QA, apprenant au modèle à récupérer et utiliser les faits internalisés pour répondre à des questions spécifiques. Cette étape produit un checkpoint adapté au domaine ($\theta_{IA}$).

Étape 3 : Recover (Récupérer)

Pour atténuer l'oubli catastrophique, le cadre effectue une fusion de modèles post-hoc. Il fusionne le checkpoint adapté au domaine ($\theta_{IA}$) avec le modèle d'instruction de base original ($\theta_0$). Les auteurs évaluent plusieurs opérateurs de fusion, notamment SLERP, task arithmetic, TIES et DARE.

• Stratégie de sélection : Le checkpoint final n'est pas nécessairement celui qui possède la plus haute précision sur le domaine. Au lieu de cela, les auteurs sélectionnent un point sur la frontière domaine-généralité. Ils privilégient la précision du domaine comme objectif primaire tout en utilisant des benchmarks généraux (IFEval, MMLU, MSBench) comme "garde-fous" pour garantir la capacité de déploiement.

Contributions clés

1. Formulation du problème : Le papier cadre la QA sans récupération sur un corpus fixe comme un problème de point de fonctionnement domaine-général, mesurant explicitement le compromis entre l'accessibilité au domaine et la capacité générale.
2. Cadre IAR : Il introduit une décomposition en trois étapes (Inject, Align, Recover) qui sépare l'exposition structurée des documents, l'alignement des réponses et la récupération des capacités. Cela permet d'isoler quelle intervention génère quels gains ou échecs spécifiques.
3. Évaluation exhaustive : La méthode est évaluée sur deux corpus (Common Corpus/CC et CCI) et quatre familles de modèles (Llama, Phi, Qwen, SmolLM). Elle est comparée à un large éventail de baselines, incluant Vanilla SFT, CPT+SFT, LoRA, SDFT, Replay et FAPM.
4. Preuves empiriques : L'étude fournit des preuves tant fortes que limites, clarifiant quand la force de l'initialisation, les recettes de données ou la sélection du point de fonctionnement sont les plus critiques.

Résultats

Les expériences démontrent que l'IAR améliore la frontière domaine-généralité pour l'internalisation documentaire sans récupération :

• Performance vs Vanilla SFT : L'IAR surpasse le Vanilla SFT sur les quatre métriques rapportées dans 7 des 8 configurations modèle-jeu de données.
  • Exception : Dans la configuration Phi-4-mini CCI, l'IAR a amélioré IFEval et MSBench mais a légèrement réduit la précision du domaine et MMLU par rapport au Vanilla SFT.
  • Gains moyens : À travers les configurations, l'IAR atteint une augmentation moyenne de 3,6 points de pourcentage de la précision QA du domaine et de 12,1 points de pourcentage de la performance générale moyenne (sur IFEval, MMLU et MSBench) par rapport au Vanilla SFT.
  • Exemple spécifique : Sur le jeu de données CC avec Qwen3-4B, l'IAR a amélioré la précision du domaine de 42,4 % (Vanilla SFT) à 50,5 % tout en améliorant simultanément les trois métriques générales.
• Comparaison avec BudgetMatch : Comparé à une baseline "BudgetMatch" (qui utilise le même budget de tokens mais uniquement un entraînement QA), l'IAR a montré une performance supérieure dans trois des quatre configurations, indiquant que les gains ne sont pas uniquement dus au nombre de tokens, mais aussi à l'exposition par étapes et à la récupération.
• Mise à l'échelle (Scaling) : Sur le jeu de données CC, le passage à l'échelle des modèles Qwen3 (8B, 14B, 32B) montre que l'IAR maintient la précision du domaine à moins de 1,1 point du meilleur checkpoint pré-récupération, tout en récupérant 14,9 à 24,1 points de performance générale moyenne.
• Cas limites : Le papier note que l'IAR ne domine pas uniformément chaque métrique dans chaque configuration (ex: Phi-4-mini sur CCI a montré de légères réductions de précision du domaine mais des améliorations des métriques générales), soulignant que les préférences de déploiement dictent le point de fonctionnement optimal.

Signification et affirmations

Le papier affirme que l'IAR améliore la frontière du point de fonctionnement pour l'internalisation des connaissances documentaires sans récupération. Sa signification réside dans la démonstration que :

1. La décomposition est efficace : Séparer l'exposition documentaire, l'alignement QA et la récupération est plus efficace que de fusionner ces fonctions dans une seule recette de fine-tuning.
2. La récupération est critique : La fusion post-hoc est une stratégie viable pour récupérer les capacités générales perdues lors de l'adaptation au domaine sans sacrifier les connaissances documentaires internalisées.
3. Compromis mesurables : L'exposition au document, l'alignement des réponses, les recettes de données et la récupération doivent être mesurés séparément. Le papier plaide contre la fusion de ces éléments en un score unique, car différentes baselines (comme LoRA ou FAPM) peuvent gagner sur des métriques générales spécifiques mais échouer sur l'internalisation du domaine, tandis que l'IAR offre un point de fonctionnement équilibré et robuste, axé sur le domaine.

Les auteurs concluent que l'IAR représente un point de fonctionnement fort et dépendant du contexte plutôt qu'une recette universellement dominante, fournissant un cadre robuste pour internaliser les connaissances documentaires tout en préservant l'utilité générale du modèle.