Diverse LLMs or Diverse Question Interpretations? That is the Ensembling Question
Cet article démontre que, pour la réponse aux questions binaires avec des LLM, l'agrégation d'interprétations de questions diversifiées issues d'un seul modèle surpasse systématiquement l'agrégation de plusieurs modèles différents lorsqu'on utilise le vote majoritaire.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de résoudre une énigme difficile, comme « La taille d'un pluviomètre a-t-elle de l'importance ? ». Vous pourriez poser cette question à un seul ami très intelligent, ou vous pourriez la poser à tout un groupe d'amis. La grande question que cet article se pose est la suivante : Est-il préférable de demander à un seul ami de réfléchir à l'énigme de trois manières différentes, ou de demander à trois amis différents de réfléchir à l'énigme exactement de la même manière ?
Les auteurs, des chercheurs d'Intel Labs, se sont donné pour mission de trouver la réponse en utilisant des modèles de langage de grande taille (LLM) — les cerveaux d'intelligence artificielle derrière des outils comme ChatGPT. Ils appellent cela la « Question de l'Ensemble ».
Les Deux Stratégies
L'article compare deux façons d'obtenir une meilleure réponse en utilisant la « diversité » (avoir des perspectives différentes) :
1. L'Approche « Plusieurs Amis » (Diversité des Modèles)
Imaginez que vous avez trois amis différents : Alice, Bob et Charlie. Ils ont tous des personnalités et des façons de penser différentes. Vous leur posez à tous exactement la même question : « La taille d'un pluviomètre a-t-elle de l'importance ? »
- L'Objectif : Vous espérez que si Alice se trompe, Bob ou Charlie pourraient avoir raison.
- Le Résultat : L'article a révélé que cela donne souvent simplement une réponse moyenne. Si Alice est excellente, Bob est correct et Charlie est terrible, le vote du groupe se situe généralement quelque part au milieu. Cela ne rend pas magiquement le groupe plus intelligent que le meilleur ami individuel.
2. L'Approche « Un Ami, Trois Chapeaux » (Diversité d'Interprétation de la Question)
Imaginez que vous ne demandez qu'à un ami (disons, une intelligence artificielle très intelligente nommée GPT-3.5). Mais avant qu'il ne réponde, vous lui demandez de mettre trois « chapeaux » ou lentilles différents pour examiner la question.
- Chapeau 1 (Scientifique) : « Comment cela affecte-t-il la précision de la mesure des précipitations ? »
- Chapeau 2 (Ingénieur) : « Comment cela affecte-t-il le coût et la conception du pluviomètre ? »
- Chapeau 3 (Écologiste) : « Comment cela modifie-t-il notre compréhension de l'impact des précipitations sur la nature ? »
L'ami répond à la question trois fois, une fois pour chaque chapeau. Ensuite, vous organisez un vote sur les trois réponses. - L'Objectif : En forçant l'IA à examiner la question sous différents angles, vous dégagez des nuances qu'une lecture unique et directe pourrait manquer.
- Le Résultat : Cette approche a constamment gagné. La méthode « Un Ami, Trois Chapeaux » a produit de meilleures réponses que de demander la même question à trois amis différents.
Pourquoi l'Approche « Un Ami » a-t-elle Gagné ?
L'article suggère que le problème de demander à trois modèles différents (l'approche « Plusieurs Amis ») est qu'ils font souvent les mêmes erreurs. Même s'il s'agit de modèles différents, ils ont été entraînés sur des données similaires et partagent des « angles morts » similaires. S'ils comprennent tous la question de la même manière erronée, voter sur leurs réponses ne servira à rien.
Cependant, lorsque vous demandez à un modèle d'interpréter la question de différentes manières, vous le forcez à sortir de ses schémas de pensée habituels. Vous dites essentiellement : « Ne répondez pas simplement à la question ; réfléchissez à ce que la question pourrait signifier. » Cela crée une variété de réponses qui sont plus susceptibles de couvrir le terrain correct.
Le Mécanisme de « Vote »
Pour décider de la réponse finale, les chercheurs ont utilisé un simple vote majoritaire.
- Si le « Scientifique » dit « Oui », l'« Ingénieur » dit « Oui » et l'« Écologiste » dit « Non », la réponse finale est « Oui ».
- L'article a révélé que ce système de vote fonctionnait beaucoup mieux lorsque les entrées provenaient de différentes interprétations de la même question plutôt que de différents modèles.
La Conclusion
L'article conclut que pour répondre à des questions simples « Oui/Non », il est préférable d'étirer le cerveau d'une seule IA pour qu'elle réfléchisse à une question de plusieurs manières plutôt que de rassembler une foule d'IA différentes pour qu'elles y réfléchissent d'une seule manière.
C'est comme essayer de trouver une clé perdue dans une pièce sombre :
- La Diversité des Modèles revient à engager trois personnes différentes pour fouiller la pièce, mais elles regardent toutes exactement au même coin parce que c'est là qu'on leur a dit de regarder.
- La Diversité d'Interprétation de la Question revient à engager une seule personne pour fouiller la pièce, mais vous lui dites de chercher la clé comme si c'était un jouet, puis comme si c'était un outil, et enfin comme si c'était un bijou. Cela l'oblige à scanner toute la pièce plus soigneusement, et elle a beaucoup plus de chances de trouver la clé.
Les chercheurs ont testé cela sur trois ensembles de questions différents (concernant les connaissances générales, la stratégie et la science médicale) et ont constaté que la méthode « Un Ami, Trois Chapeaux » a constamment battu la méthode « Plusieurs Amis ».
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.