Fine-Tuning a 7B Advisor on Free-Tier GPUs: An Adapter-Handoff Recipe and a Synthetic-Data Reliability Caution

Résumé Technique : Fine-Tuning d'un Conseiller 7B sur des GPU de Niveau Gratuit

Énoncé du Problème
Le fine-tuning de grands modèles de langage (LLM) pour des domaines spécialisés, tels que le conseil aux études internationales, est souvent limité par les contraintes de ressources des praticiens issus de petites institutions ou du secteur public. Bien que les méthodes d'efficacité paramétrique comme QLoRA (quantification 4-bit + Low-Rank Adaptation) permettent théoriquement de fine-tuner des modèles 7B sur un seul GPU de 16 Go, le déploiement pratique fait face à deux obstacles spécifiques :

1. Contraintes Opérationnelles : Les sessions GPU de niveau gratuit (ex: Kaggle, Google Colab) imposent des quotas stricts de temps de calcul et de durée hebdomadaire. Un cycle de fine-tuning de plusieurs époques pour un modèle 7B dépasse souvent la durée d'une seule session, empêchant l'achèvement sur une seule machine.
2. Fiabilité Évidentielle : Il existe un manque d'évaluation rigoureuse concernant la fiabilité factuelle des modèles fine-tunés sur des données synthétiques. Les praticiens s'appuient souvent sur des métriques basées sur des références (ex: BERTScore) calculées par rapport aux données d'entraînement synthétiques, ce qui peut mesurer la fidélité à la distribution du générateur plutôt que la correction par rapport à la vérité terrain, masquant potentiellement des hallucinations sur des sujets sensibles aux politiques.

Méthodologie
Les auteurs proposent une approche en deux parties : une recette opérationnelle pour l'entraînement inter-GPU et un cadre d'évaluation rigoureux pour la fiabilité des données synthétiques.

• Recette de Transfert d'Adapter Inter-GPU :
  Les auteurs démontrent un flux de travail permettant d'achever un fine-tuning QLoRA de trois époques sur Mistral-7B-Instruct-v0.3 à travers deux GPU gratuits différents (un Tesla P100 suivi d'un Tesla T4).

  • Procédure : L'entraînement est interrompu à la fin d'une session. Au lieu de transférer l'état complet de l'optimiseur et du scheduler, seuls les poids de l'adapter LoRA (~100 Mo, 41,9 millions de paramètres) sont sauvegardés et chargés sur la seconde machine.
  • Implémentation : La seconde phase réinitialise l'optimiseur AdamW et le scheduler de taux d'apprentissage. Les auteurs documentent que ce coût de "chauffe" (warm-up) est négligeable et que l'adapter seul est suffisant pour poursuivre l'entraînement de manière productive, maintenant l'utilisation de la VRAM de pointe dans le budget de 16 Go sur les deux architectures (15,888 Go sur P100 ; 14,741 Go sur T4).

• Données et Entraînement :

  • Données : Un jeu de données synthétiques de 2 676 conversations multi-tours étudiant-conseiller a été généré via l'API Gemini 1.0 Pro. Les sujets incluent les visas, les bourses et les admissions.
  • Contrôle Qualité : Le pipeline comprenait la validation de schéma, la déduplication et les vérifications de répétition, mais n'incluait explicitement pas de vérification de factuel par rapport à des sources faisant autorité.
  • Hyperparamètres : Rang LoRA 16, $\alpha=32$, quantification NF4 4-bit, optimiseur AdamW 8-bit, et un taux d'apprentissage de $2 \times 10^{-4}$.

• Protocole d'Évaluation :
  Les auteurs emploient une évaluation sur trois axes sur un ensemble de test de 50 prompts :

  1. Métriques Basées sur la Référence : SacreBLEU, ROUGE-L et BERTScore par rapport aux références synthétiques de Gemini.
  2. LLM-as-Judge en Aveugle : Un juge issu d'une autre famille de modèles (Claude Sonnet) évalue la précision du domaine et l'utilité sans connaître la source du modèle.
  3. Audit de Factualité Vérifié par la Source : Une vérification humaine-indépendante des affirmations factuelles spécifiques par rapport aux sources gouvernementales et universitaires faisant autorité.

Résultats Clés
L'étude produit un compromis contre-intuitif entre fidélité distributionnelle et fiabilité factuelle :

• Dynamique d'Entraînement : La perte a diminué de 1,01 à 0,34 sur les deux phases. La transition entre les GPU a montré un bref plateau cohérent avec la réinitialisation de l'optimiseur, suivi d'une descente de gradient stable.
• Fidélité vs Fiabilité :
  • Métriques de Référence : Le modèle fine-tuné montre une similitude accrue avec la distribution synthétique d'entraînement (le score F1 de BERTScore augmente de +0,063).
  • Qualité du Conseil : Le LLM-as-judge en aveugle a préféré le modèle de base non fine-tuné sur 46 % des prompts, contre seulement 18 % pour le modèle fine-tuné.
  • Factualité : Sur les sujets sensibles aux politiques (santé, admissions, bourses), le modèle fine-tuné a produit quatre erreurs factuelles confiantes (ex: règles d'éligibilité Medicare incorrectes, programmes de diplômes inexistants), alors que le modèle de base n'a produit aucune erreur sur les mêmes prompts.
• Analyse des Causes Racines : Un audit direct des données d'entraînement a révélé que les quatre erreurs factuelles commises par le modèle fine-tuné étaient déjà présentes dans le corpus d'entraînement généré par Gemini. Un échantillonnage aléatoire de l'audit des données d'entraînement a indiqué que 28 à 40 % des réponses synthétiques contenaient des erreurs factuelles vérifiables.

Signification et Revendications
Le papier apporte deux contributions principales, formulées avec une modestie spécifique quant à leur portée :

1. Recette Opérationnelle : Les auteurs fournissent une méthode vérifiée et reproductible pour achever le fine-tuning QLoRA de 7B sur plusieurs époques avec du matériel de niveau gratuit en transférant uniquement l'adapter. Ils précisent qu'il s'agit d'une recette de déploiement, et non d'une avancée méthodologique en optimisation, et que la contrainte limitante dans ces environnements est la durée de la session, et non la puissance de calcul agrégée.
2. Mise en Garde sur la Fiabilité des Données Synthétiques : La conclusion centrale est un résultat de mise en garde : le fine-tuning sur des données synthétiques non vérifiées peut augmenter la fidélité d'un modèle à la distribution d'entraînement (améliorant les métriques de référence) tout en dégradant simultanément la fiabilité factuelle.
   • Les auteurs affirment explicitement que la baisse de fiabilité est une propriété du pipeline de données (génération synthétique non vérifiée), et non de la méthode de fine-tuning ou de la procédure de transfert d'adapter.
   • Ils soutiennent que pour les tâches sensibles aux politiques, l'évaluation doit inclure des signaux de factualité indépendants du jugement, car les métriques basées sur la référence peuvent être trompeuses.

Limites et Portée
Les auteurs reconnaissent que l'ensemble de données et l'évaluation sont entièrement synthétiques, générés par un seul modèle (Gemini 1.0 Pro) et jugés par un seul juge LLM. L'étude ne prétend pas à la généralisabilité à tous les domaines ou langues, ni n'affirme que la méthode de fine-tuning est intrinsèquement défectueuse — elle ne fait que refléter fidèlement les erreurs des données d'entraînement non vérifiées. Les artefacts publiés (jeu de données, adapter, et harnais d'évaluation) sont destinés à la recherche pour reproduire ces résultats, avec des avertissements explicites contre tout déploiement pour un véritable conseil aux étudiants sans un filtrage de factualité supplémentaire.