TAMUSA-Chat: A Domain-Adapted Large Language Model Conversational System for Research and Responsible Deployment

Ce papier présente TAMUSA-Chat, un cadre de recherche permettant aux institutions académiques de développer des systèmes conversationnels adaptés à leur domaine grâce à l'affinage supervisé et à la génération augmentée par récupération, tout en garantissant la transparence, la conformité et des pratiques responsables en matière d'IA.

L'essentiel

🎓 TAMUSA-Chat : Le "Super-Étudiant" de l'Université

Imaginez que vous avez un génie littéraire (c'est l'intelligence artificielle de base, comme ChatGPT). Ce génie a lu des millions de livres, d'articles et de sites web sur Internet. Il est brillant, il parle bien, et il peut écrire des poèmes ou expliquer la physique quantique.

Mais il y a un problème : Ce génie ne connaît pas votre université spécifique.
Si vous lui demandez : "Quelles sont les conditions pour entrer dans le programme d'arts appliqués à l'université TAMUSA ?", il va essayer de deviner. Il risque d'inventer des règles qui n'existent pas, de vous donner de vieux horaires, ou de confondre votre université avec une autre. C'est comme demander à un chef étoilé parisien de vous donner le menu exact du restaurant de votre quartier : il sait cuisiner, mais il ne connaît pas les ingrédients locaux !

C'est là qu'intervient TAMUSA-Chat. C'est un projet de recherche qui prend ce "génie littéraire" et le transforme en un expert local parfaitement formé sur votre université.

---

🛠️ Comment ça marche ? (L'Analogie du "Stage Intensif")

Les chercheurs ont construit un système en plusieurs étapes, comme une usine à former des robots :

1. La Collecte de Données (Le "Grand Nettoyage")

Avant d'apprendre au robot, il faut lui donner les bons livres.

• L'analogie : Imaginez des robots-aspireurs (des crawlers) qui parcourent tout le site web de l'université. Ils lisent les pages, téléchargent les PDF des catalogues de cours, les règles d'admission et les guides étudiants.
• Le filtre important : Comme on ne veut pas que le robot apprenne des secrets ou des données privées, il y a un "gardien" qui vérifie tout. Il s'assure qu'on ne lui donne que des informations publiques et qu'il n'y a pas de noms d'étudiants ou d'emails cachés dedans.

2. La Cuisine des Données (Le "Recette de Cuisine")

Les documents bruts (PDF, pages web) sont trop désordonnés pour être appris directement.

• L'analogie : Les chercheurs transforment ces documents en une série de questions et de réponses parfaites.
  • Au lieu de : Un long texte sur les règles d'admission.
  • Ils créent : "Question : Comment postuler ? Réponse : Voici les étapes..."
  • C'est comme préparer un manuel scolaire où chaque leçon est déjà sous forme de quiz. Cela permet au robot d'apprendre exactement comment répondre à ce qu'on lui demande.

3. L'Entraînement (Le "Stage de Formation")

C'est ici que la magie opère. On prend le modèle de base (le génie général) et on lui fait suivre ce "stage intensif" avec les nouvelles questions/réponses.

• L'analogie : C'est comme si on envoyait le chef parisien en stage de 3 jours dans votre restaurant local. Il ne réécrit pas tout son livre de cuisine, il apprend juste les spécialités du quartier.
• L'astuce : Au lieu de réapprendre tout (ce qui coûte très cher en électricité et en temps), ils utilisent une technique intelligente appelée LoRA. C'est comme ajouter des "post-it" ou des notes sur les pages du livre du chef, plutôt que de réécrire tout le livre. C'est rapide, économique et efficace.

4. Le Système de "Mémoire Externe" (La "Bibliothèque Instantanée")

Même après l'entraînement, le robot peut oublier ou inventer des choses si la question est très récente.

• L'analogie : Imaginez que le robot a un livret de notes à portée de main. Avant de répondre à une question, il consulte d'abord ce livret pour vérifier les faits.
• Si vous demandez : "Quel est le prix du parking cette année ?", le robot va chercher dans sa "mémoire" (les documents officiels) la réponse exacte avant de parler. Cela évite qu'il n'invente des prix faux. C'est ce qu'on appelle la Génération Augmentée par la Recherche (RAG).

---

🌟 Pourquoi c'est important ? (Les 3 Piliers)

Ce projet n'est pas juste un chatbot pour rigoler. Il repose sur trois principes clés :

1. La Transparence (On ne cache rien) :
   Contrairement à d'autres systèmes où on ne sait pas comment ils sont faits, ici, tout est ouvert. Les chercheurs ont mis leur code sur Internet (comme une recette de cuisine publique) pour que tout le monde puisse vérifier, tester et améliorer le système. C'est comme un laboratoire de science ouvert à tous.

2. La Responsabilité (Pas de mensonges) :
   Dans une université, une mauvaise information peut ruiner la vie d'un étudiant (ex: rater une inscription). Ce système est conçu pour dire : "Je ne sais pas" ou "Vérifiez ce document" plutôt que d'inventer une réponse. Il est programmé pour être honnête et prudent.

3. La Modularité (Des Legos) :
   Le système est construit comme un jeu de Lego. Si vous voulez changer la façon dont le robot cherche l'information, ou la façon dont il apprend, vous pouvez changer une seule pièce sans casser tout le château. Cela permet aux chercheurs d'expérimenter facilement.

---

🚀 En Résumé

TAMUSA-Chat, c'est l'histoire de comment transformer un robot très intelligent mais un peu "naïf" sur les détails locaux, en un assistant universitaire fiable, honnête et bien informé.

Au lieu de simplement copier-coller un chatbot générique sur un site web (ce qui serait dangereux), les chercheurs ont pris le temps de :

1. Lui donner les bons livres (les documents de l'université).
2. Lui faire un entraînement sur mesure.
3. Lui donner une bibliothèque à consulter pour ne pas se tromper.

Le résultat ? Un assistant qui peut aider les étudiants, le personnel et les visiteurs à trouver les bonnes réponses, tout en respectant la vie privée et les règles de l'école. C'est un modèle pour la façon dont les universités devraient utiliser l'intelligence artificielle à l'avenir : avec prudence, transparence et intelligence.

Résumé technique

Voici un résumé technique détaillé du papier de recherche « TAMUSA-Chat: A Domain-Adapted Large Language Model Conversational System for Research and Responsible Deployment », rédigé en français.

1. Problématique

L'adoption des modèles de langage de grande taille (LLM) dans les institutions éducatives se heurte à plusieurs défis majeurs :

• Manque de contexte institutionnel : Les modèles génériques (comme ChatGPT) entraînés sur des corpus web larges manquent de connaissance des politiques spécifiques, de la terminologie locale et des nuances administratives d'une université.
• Risque d'hallucinations et de désinformation : Ces modèles peuvent inventer des faits plausibles mais inexacts (ex: créer des majeures académiques qui n'existent pas), ce qui pose des risques juridiques et de réputation pour l'institution.
• Limites des approches existantes :
  • Le prompt engineering (ingénierie de prompt) est fragile et offre un contrôle limité sur les réponses.
  • L'entraînement de modèles entièrement personnalisés à partir de zéro demande des ressources computationnelles prohibitives pour la plupart des institutions.
• Déficit de reproductibilité et de gouvernance : Les pipelines de développement rapides négligent souvent la transparence des données, l'évaluation systématique et les considérations éthiques nécessaires au déploiement responsable en milieu académique.

2. Méthodologie

Le papier propose TAMUSA-Chat, un cadre de recherche modulaire conçu pour adapter des LLM open-source au contexte de l'Université Texas A&M à San Antonio (TAMUSA). L'architecture repose sur cinq couches fonctionnelles :

A. Acquisition et Traitement des Données

• Collecte automatisée : Utilisation de Playwright pour crawler les sites web institutionnels et extraire du contenu dynamique (JavaScript), des PDF, des documents Office, etc., tout en respectant les règles robots.txt.
• Nettoyage et Gouvernance : Filtrage strict des contenus publics uniquement, détection automatique des informations personnelles identifiables (PII), et validation par des experts humains pour garantir l'exactitude factuelle.
• Construction du Corpus : Transformation du contenu brut en paires Instruction-Réponse via :
  • La génération de questions à partir du contenu.
  • L'extraction de FAQ existantes.
  • La génération synthétique de questions suivie d'une validation humaine.
  • L'augmentation des données (reformulation de questions).

B. Encodage et RAG (Retrieval-Augmented Generation)

• Embeddings : Utilisation de modèles sentence transformers (ex: all-MiniLM-L6-v2) pour créer des vecteurs denses à partir de segments de documents (chunks).
• Indexation : Stockage dans un index FAISS (utilisant HNSW) pour une recherche de voisins approximatifs efficace.
• Hybridation : Le système combine l'entraînement supervisé (SFT) avec le RAG. Lors d'une requête, le système récupère les documents pertinents pour les fournir comme contexte au modèle, réduisant ainsi les hallucinations.

C. Affinage Supervisé (Supervised Fine-Tuning - SFT)

• Modèles cibles : Évaluation de modèles open-source (LLaMA-2, Mistral, Falcon) avec un accent sur SmolLM-135M-Instruct pour son efficacité sur des ressources limitées.
• Techniques : Support de l'affinage complet et de l'affinage paramétrique efficace (LoRA - Low-Rank Adaptation) pour réduire les besoins en mémoire.
• Configuration : Gestion des hyperparamètres (taux d'apprentissage, taille de lot, nombre d'époques) via des fichiers YAML pour une expérimentation reproductible.

D. Inférence et Déploiement

• Pipeline d'inférence : Combinaison de la récupération de contexte (top-k chunks) et de la génération de réponse avec des paramètres de décodage contrôlés (température, top-p, pénalité de répétition).
• Déploiement : Architecture flexible supportant les services REST (FastAPI), les interfaces web interactives (Gradio/Streamlit), et le conteneurisation (Docker) pour une intégration facile dans l'infrastructure HPC de l'université.

3. Résultats Clés et Statistiques

Le papier présente les statistiques du premier corpus et du modèle déployé :

• Volume de données : 3 847 pages web et 412 documents (PDF, etc.) collectés.
• Taille du corpus : Environ 2,4 millions de tokens après nettoyage.
• Jeu de données d'entraînement : 8 932 paires instruction-réponse uniques.
• Performance : Le modèle SmolLM-135M-Instruct, affiné sur ces données, démontre une capacité à répondre aux questions académiques avec une précision contextuelle supérieure aux modèles génériques, tout en maintenant une faible empreinte computationnelle.
• Réduction des hallucinations : L'intégration du RAG permet d'ancrer les réponses dans des sources vérifiables, avec des citations explicites vers les documents sources.

4. Contributions Principales

1. Cadre de Recherche Reproductible : Contrairement aux projets axés uniquement sur le déploiement, TAMUSA-Chat fournit un pipeline complet, versionné et documenté (scripts d'entraînement, protocoles d'évaluation, gestion de configuration) permettant une expérimentation scientifique rigoureuse.
2. Approche Hybride SFT + RAG : Démonstration de l'efficacité de combiner l'affinage supervisé pour la compréhension du domaine avec le RAG pour la mise à jour dynamique des connaissances et la réduction des hallucinations.
3. Gouvernance et Éthique : Intégration native de mécanismes de protection des données (détection PII), de traçabilité des sources et de transparence sur les limites du système, répondant aux exigences strictes des institutions éducatives.
4. Accessibilité et Modularité : Le code source est open-source (GitHub), permettant aux autres institutions de répliquer le processus avec leurs propres données, en adaptant les composants (crawling, embedding, modèle) indépendamment.

5. Signification et Impact

Ce travail comble le fossé entre les capacités générales des LLM et les besoins spécifiques des institutions éducatives. Il prouve qu'il est possible de développer des assistants conversationnels fiables, responsables et économiquement viables sans nécessiter des budgets computationnels massifs.

• Pour l'Éducation : Offre un outil d'appui aux étudiants capable de fournir des informations précises sur les programmes, les admissions et les politiques, tout en éduquant sur les limites de l'IA.
• Pour la Recherche : Établit un nouveau standard pour l'évaluation et le déploiement des LLM dans des environnements réels, en mettant l'accent sur la reproductibilité, l'audit éthique et l'adaptabilité aux contraintes locales.
• Pour l'Industrie : Montre la voie pour des déploiements d'IA d'entreprise où la précision factuelle et la conformité aux politiques internes sont critiques.

En résumé, TAMUSA-Chat n'est pas seulement un chatbot, mais une plateforme de recherche modulaire qui démontre comment les institutions peuvent maîtriser l'IA générative de manière éthique et efficace.