💬 NLP

Ensemble Learning for Large Language Models in Text and Code Generation: A Survey

Cette étude passe en revue les techniques émergentes d'apprentissage d'ensemble pour les grands modèles de langage dans la génération de texte et de code, en les classant en sept méthodes distinctes afin de mettre en évidence leurs avantages pour l'amélioration de la qualité, de la diversité et de la flexibilité des résultats, tout en jetant les bases de futures applications multimodales.

Auteurs originaux : Mari Ashiga, Wei Jie, Fan Wu, Vardan Voskanyan, Fateme Dinmohammadi, Paul Brookes, Jingzhi Gong, Zheng Wang

Publié 2026-06-24

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mari Ashiga, Wei Jie, Fan Wu, Vardan Voskanyan, Fateme Dinmohammadi, Paul Brookes, Jingzhi Gong, Zheng Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Pourquoi un seul cerveau ne suffit pas

Imaginez que vous essayiez de résoudre un puzzle très difficile. Vous pourriez demander à un expert de le faire. Mais que se passe-t-il si cet expert est fatigué, biaisé ou simplement de mauvaise humeur ? Il pourrait vous donner une mauvaise réponse ou une réponse ennuyeuse.

Cet article soutient que les Grands Modèles de Langage (LLM) — les cerveaux d'IA derrière des outils comme ChatGPT — font souvent les mêmes erreurs. Ils peuvent être incohérents, biaisés ou « halluciner » (inventer des choses).

La solution ? L'apprentissage d'ensemble (Ensemble Learning). Au lieu de compter sur une seule IA, nous combinons les cerveaux de plusieurs. Voyez cela comme un comité d'experts plutôt qu'un dictateur solitaire. En regroupant leurs connaissances, le groupe prend des décisions meilleures, plus diverses et plus précises que n'importe quel membre seul.

L'article passe en revue sept façons différentes de construire ces « comités d'IA » pour l'écriture de textes et la génération de code informatique.

Les sept façons de construire un comité d'IA

Les auteurs classent ces méthodes en deux groupes : celles qui mélangent la « structure cérébrale » de l'IA (au niveau de l'architecture) et celles qui mélangent les « réponses » de l'IA (au niveau du modèle).

1. Fusion de poids (Weight Merging) : L'approche « Smoothie »

Comment ça marche : Imaginez que vous avez trois smoothies différents (modèles d'IA), chacun fait avec des fruits différents (connaissances). Au lieu de les boire séparément, vous les mélangez tous dans un seul énorme smoothie.
Ce que l'article affirme : Vous prenez les « poids » mathématiques (les paramètres internes) de plusieurs modèles entraînés et vous les faites la moyenne. Cela crée un nouveau modèle unique qui sait un peu de tout ce que les originaux savaient.
Le bénéfice : C'est rapide et cela ne nécessite pas de réentraînement. C'est comme mettre à jour instantanément votre téléphone en fusionnant les mises à jour logicielles de trois versions différentes.

2. Fusion de connaissances (Knowledge Fusion) : L'approche « Tuteur »

Comment ça marche : Imaginez un élève intelligent (le modèle cible) assis dans une salle de classe avec trois professeurs différents (modèles sources). Les professeurs ne se contentent pas de donner des réponses ; ils apprennent à l'élève comment réfléchir en combinant leurs différents styles d'enseignement.
Ce que l'article affirme : Cette méthode entraîne un nouveau modèle pour imiter les « probabilités » combinées de plusieurs autres modèles. C'est comme un élève apprenant d'un panel d'experts pour devenir un super-élève.
Le bénéfice : Vous pouvez combiner des modèles construits différemment (comme mélanger un moteur de voiture de sport avec un moteur de camion) pour créer quelque chose d'unique.

3. Mélange d'experts (Mixture-of-Experts - MoE) : L'approche « Équipe spécialisée »

Comment ça marche : Imaginez un hôpital avec un seul grand bâtiment. Au lieu d'un seul médecin essayant de tout savoir, vous avez une équipe de spécialistes : un cardiologue, un neurologue et un dermatologue. Lorsqu'un patient arrive, un « routeur » (un infirmier de triage) l'envoie vers le bon médecin.
Ce que l'article affirme : L'IA possède de nombreux sous-réseaux « experts ». Pour chaque question, l'IA ne « réveille » que les experts spécifiques nécessaires pour répondre.
Le bénéfice : Vous obtenez la puissance d'un cerveau massif sans le coût massif. C'est efficace car l'IA n'utilise pas tout son cerveau pour des tâches simples.

4. Ensemble de récompense (Reward Ensemble) : L'approche « Panel de juges »

Comment ça marche : Imaginez un concours de talents. Au lieu d'un seul juge décidant du vainqueur, vous avez un panel de cinq juges. S'ils sont tous d'accord, la décision est solide. S'ils ne sont pas d'accord, le système sait qu'il doit être prudent.
Ce que l'article affirme : Dans l'entraînement de l'IA, un « modèle de récompense » indique à l'IA si une réponse est bonne. En utilisant un panel de ces juges, l'IA apprend à éviter de « tricher » (essayer de tromper le système) et produit des réponses plus honnêtes et plus humaines.
Le bénéfice : Cela rend l'IA plus sûre et plus alignée avec ce que les humains veulent réellement.

5. Ensemble de sorties (Output Ensemble) : L'approche « Brainstorming de groupe »

Comment ça marche : Imaginez demander à cinq écrivains différents de rédiger une histoire. Ensuite, vous demandez à un sixième éditeur, très intelligent, de lire les cinq ébauches et de rédiger la meilleure version en combinant les bonnes parties de chacune.
Ce que l'article affirme : Vous passez la même question à travers plusieurs modèles, récupérez leurs différentes réponses, puis utilisez un modèle « synthétiseur » pour choisir la meilleure ou les mélanger.
Le bénéfice : Pas besoin de réentraîner quoi que ce soit. Vous utilisez simplement les modèles que vous avez déjà et vous les laissez voter ou collaborer.

6. Routage (Routing) : L'approche « Agent de circulation »

Comment ça marche : Imaginez un bureau très fréquenté. Une réceptionniste (le routeur) examine une question. Si elle est simple (« Quel temps fait-il ? »), elle l'envoie à un stagiaire peu coûteux. Si elle est complexe (« Corrigez ce contrat juridique »), elle l'envoie à un avocat senior coûteux.
Ce que l'article affirme : Une petite IA rapide examine la question et décide quel est le meilleur modèle d'IA disponible pour y répondre.
Le bénéfice : Vous économisez de l'argent en utilisant des modèles peu coûteux pour les tâches faciles et en réservant les modèles puissants et coûteux pour les choses difficiles.

7. Cascade (Cascading) : L'approche « Échelle d'escalade »

Comment ça marche : Imaginez une ligne de service client. Vous commencez par un bot basique. Si le bot dit : « Je ne suis pas sûr », il transmet automatiquement l'appel à un humain. Si l'humain n'est pas sûr, il transmet l'appel à un manager.
Ce que l'article affirme : Vous interrogez d'abord une petite IA peu coûteuse. Si elle donne une réponse de qualité et convaincante, vous vous arrêtez là. Si elle est incertaine ou si la réponse semble faible, vous faites « cascader » la requête vers une IA plus grande et plus coûteuse.
Le bénéfice : Vous obtenez des réponses de haute qualité la plupart du temps, mais vous ne payez le prix fort que lorsque c'est absolument nécessaire.

Texte vs Code : La même équipe, des objectifs différents

L'article note que bien que ces méthodes fonctionnent aussi bien pour écrire des histoires que pour écrire du code informatique, les objectifs sont différents :

Écriture de texte : C'est comme la peinture. Il existe de nombreuses façons « correctes » de le faire. L'objectif est d'être créatif, fluide et de bien suivre les instructions. Le « comité » aide à mélanger les styles et les idées.
Écriture de code : C'est comme construire un pont. Il n'y a qu'une seule façon « correcte » (cela doit fonctionner sans planter). L'objectif est une logique et une exactitude strictes. Le « comité » aide à générer de nombreuses solutions différentes pour s'assurer qu'au moins une d'entre elles fonctionne réellement.

L'essentiel

Cet article est une étude de la manière de ne plus dépendre d'une seule IA potentiellement défaillante. En utilisant ces sept stratégies de « travail d'équipe », nous pouvons :

Améliorer la qualité : Obtenir de meilleures réponses.
Économiser de l'argent : Utiliser des modèles moins chers pour les tâches simples.
Être plus flexibles : Mélanger et assortir différents types d'IA.

Les auteurs concluent que bien que ces méthodes soient excellentes pour le texte et le code, la prochaine grande étape est d'appliquer cette logique de « travail d'équipe » à l'IA multimodale (des modèles capables de voir, d'entendre et de parler), créant ainsi des systèmes encore plus intelligents et collaboratifs pour l'avenir.

Résumé technique : Apprentissage d'ensemble pour les grands modèles de langage dans la génération de texte et de code

1. Énoncé du problème

Les transformeurs pré-entraînés génératifs (GPT) sont devenus fondamentaux pour la génération de texte et de code. Cependant, les grands modèles de langage (LLM) individuels font face à des limitations significatives qui entravent leur fiabilité et leur applicabilité dans divers scénarios du monde réel :

Inconsistance et biais : Les LLM uniques produisent souvent des sorties incohérentes et présentent des biais dus à leurs données d'entraînement et à leurs paramètres architecturaux fixes, limitant leur capacité à représenter une diversité de schémas linguistiques.
Plafond de performance : Des études récentes indiquent que même les meilleurs LLM uniques n'atteignent qu'environ 57 % de qualité de génération de chat en raison de contraintes architecturales.
Restrictions liées au code source fermé : La nature propriétaire de nombreux LLM puissants restreint l'adoption industrielle en raison de préoccupations concernant la confidentialité des données et limite la capacité d'intégrer des modèles divers.
Hallucinations : Le recours à un modèle unique peut conduire à des hallucinations et à une dégradation de la qualité du texte, particulièrement lorsque le modèle manque d'accès à des connaissances externes.

Bien que des techniques telles que le mélange d'experts (Mixture-of-Experts - MoE) et l'amélioration des critères d'entraînement existent, elles restent souvent dans le cadre des architectures de modèles uniques. Il est nécessaire de procéder à une revue complète des techniques d'ensemble de LLM qui combinent plusieurs modèles pour surmonter ces limitations des modèles uniques, spécifiquement pour la génération de texte et de code.

2. Méthodologie

Cet article fournit une enquête et une analyse systématique des approches émergentes d'ensemble de LLM. Les auteurs classent ces techniques en sept méthodes primaires, distinguant les ensembles de niveau architecture (modifiant la structure ou les paramètres du modèle) et les ensembles de niveau modèle (combinant les sorties ou les décisions de routage sans nécessairement fusionner les poids).

A. Ensembles de niveau architecture

Fusion de poids (Weight Merging) : Combine les paramètres de plusieurs LLM entraînés en un seul modèle.
- Techniques : Moyenne simple, Arithmétique des tâches (utilisant des vecteurs de tâches définis comme la différence entre les poids affinés et les poids pré-entraînés), TIES (Trimming, Interpolation, and Sign-based selection), et DARE (Drop And RE-scale).
- Objectif : Consolider diverses connaissances apprises sans entraînement supplémentaire.
Fusion de connaissances (Knowledge Fusion) : Entraîne un LLM cible en utilisant une distribution probabiliste fusionnée dérivée de plusieurs LLM sources.
- Techniques : Étend la distillation de connaissances en définissant des fonctions de fusion sur les distributions de prédiction au niveau du jeton (token). Cela traite les problèmes d'alignement de jetons (tokenizers différents) en utilisant la programmation dynamique ou la distance d'édition minimale.
- Objectif : Transférer la connaissance collective de modèles structurellement différents vers un modèle cible.
Mélange d'experts (Mixture-of-Experts - MoE) : Une architecture transformer où un réseau de routage dirige les jetons d'entrée vers des sous-réseaux d'experts spécifiques.
- Techniques : L'activation parcimonieuse (par exemple, la sélection des $n$ meilleurs experts) permet de passer à l'échelle la capacité du modèle sans augmentations proportionnelles du coût computationnel.
- Objectif : Modéliser efficacement les distributions de données multidomaines.
Ensemble de récompense (Reward Ensemble) : Agrège plusieurs modèles de récompense (Reward Models - RM) au sein de l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF).
- Techniques : Utilise l'optimisation par la moyenne, l'optimisation du pire cas ou l'optimisation pondérée par l'incertitude pour combiner les scores de plusieurs RM.
- Objectif : Atténuer le "reward hacking" (sur-optimisation) et améliorer l'alignement avec les préférences humaines.

B. Ensembles de niveau modèle

Ensemble de sortie (Output Ensemble) : Combine les réponses de plusieurs LLM lors de l'inférence sans réentraînement.
- Techniques : Vote majoritaire pour la classification, ou utilisation d'un LLM de synthèse pour fusionner plusieurs textes générés (par exemple, Mixture-of-Agents).
- Objectif : Tirer parti des forces de différents modèles de base pour améliorer la précision et la robustesse.
Routage (Routing) : Dirige les requêtes d'entrée vers le LLM le plus approprié parmi un pool basé sur un modèle de score.
- Techniques : Utilise des classificateurs (par exemple, kNN, transformers) ou des fonctions de score (par exemple, score BART) pour prédire le meilleur modèle pour une tâche spécifique, équilibrant coût et performance.
- Objectif : Optimiser les coûts de déploiement tout en maintenant une performance élevée.
Cascadage (Cascading) : Invoque une séquence de LLM, en commençant par un modèle plus faible/moins coûteux et en montant vers des modèles plus puissants uniquement si nécessaire.
- Techniques : Un décideur évalue la sortie initiale (par exemple, via des scores d'accord ou des vérifications de cohérence) par rapport à un seuil. Si le seuil n'est pas atteint, un modèle plus puissant est invoqué.
- Objectif : Atteindre une performance proche de l'optimal pour une fraction du coût.

C. Cadre d'évaluation

L'article évalue ces méthodes en utilisant des métriques standards pour la génération de texte et de code :

Texte : Précision, Taux de victoire (Win Rate), BLEU, Scores d'alignement, Évaluation humaine, MMLU, GSM8K, AlpacaEval, MT-Bench.
Code : Pass@k, CodeBLEU, Temps d'exécution, HumanEval, MBPP.

3. Contributions clés et résultats

L'article passe en revue des travaux représentatifs (2023–2024) pour chaque catégorie, soulignant les gains de performance spécifiques :

Fusion de poids : Des méthodes comme DARE et TIES permettent de fusionner des modèles spécialisés (par exemple, modèles de mathématiques et de code) sans entraînement. Les résultats montrent que les modèles fusionnés peuvent surpasser GPT-3.5 sur des tâches spécifiques (par exemple, le raisonnement mathématique en japonais) et équilibrer les capacités entre les domaines, bien qu'ils puissent encore rester derrière GPT-4 dans la conversation générale.
Fusion de connaissances : Des modèles comme FusionChat (7 milliards de paramètres) exploitent avec succès les connaissances de diverses architectures (Mixtral, Solar, OpenChat) pour surpasser les modèles constituants en raisonnement et en codage, atteignant des résultats compétitifs avec le modèle fermé GPT-3.5.
Mélange d'experts : Les architectures comme Mixtral 8x7B et OLMOE démontrent que l'activation parcimonieuse peut surpasser des modèles denses plus larges (par exemple, LLaMA 2 70B) dans MMLU et la génération de code (HumanEval) tout en utilisant nettement moins de paramètres actifs.
Ensemble de récompense : Les ensembles de récompense basés sur LoRA améliorent les scores d'alignement (par exemple, de <4.16 à 4.35 sur MT-Bench) et la précision sur les jeux de données d'utilité sans augmentations proportionnelles des ressources computationnelles.
Ensemble de sortie : L'approche Mixture-of-Agents (MoA), qui utilise une architecture d'agents en couches, a obtenu un taux de victoire de 65,1 % sur AlpacaEval2.0 (contre 57,5 % pour GPT-4o mini) et 92,0 % sur HumanEval, surpassant de puissants modèles commerciaux.
Routage : Des systèmes comme Routoo et MLC Router démontrent que le routage entre des modèles open-source peut atteindre une précision de 75,87 % sur MMLU à moins de la moitié du coût de GPT-3.5, et approcher les performances de GPT-4-Turbo à la moitié du coût en y intégrant des modèles fermés.
Cascadage : Les cascades FrugalGPT et Mixture-of-Thought (MoT) réduisent les coûts jusqu'à 80 % tout en maintenant ou en dépassant légèrement la précision de GPT-4 sur les tâches de classification et de raisonnement.

4. Signification et affirmations

L'article affirme que les techniques d'ensemble de LLM offrent une voie pratique pour surmonter les limitations des approches de modèles uniques, fournissant :

Diversité et qualité accrues : En combinant plusieurs agents, les ensembles améliorent la représentation de divers schémas linguistiques et réduisent les biais.
Efficacité des coûts et des ressources : Les techniques de routage, de cascading et de fusion de poids permettent d'obtenir des sorties de haute performance sans la charge computationnelle de l'entraînement de nouveaux modèles massifs à partir de zéro.
Flexibilité : Ces méthodes permettent l'intégration de modèles open-source et fermés, répondant aux préoccupations de confidentialité et permettant une conception de système modulaire.
Applicabilité au monde réel : L'enquête fournit une base pour sélectionner les stratégies d'ensemble appropriées pour des tâches spécifiques (par exemple, raisonnement, génération de code, suivi d'instructions) à travers des secteurs comme la médecine, la finance et l'éducation.

Les auteurs concluent que bien que des défis subsistent — particulièrement pour adapter ces méthodes spécifiquement à la génération de code et les étendre aux LLM multimodaux — l'apprentissage d'ensemble représente une étape cruciale vers la démocratisation des capacités d'IA avancées et l'optimisation des processus de décision dans l'industrie.