Sixteen models, fewer than two voices: measuring ensemble dispersion where no answer is uniquely correct
Cet article introduit une métrique de contribution de dissension par modèle pour analyser comment seize modèles de langage génèrent des interprétations diverses de cas de psychothérapie, révélant que si l'identité du modèle structure significativement cette dissension, la dispersion résultante est davantage pilotée par le contenu clinique et la composition spécifique de l'ensemble que par les catégories de modèles standards ou l'ouverture interprétative voulue des cas.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de résoudre un puzzle difficile, mais au lieu de demander à un seul ami, vous demandez à une salle entière de ses amis. Vous espérez que, parce qu'ils sont tous des personnes différentes, ils vous donneront une grande variété de solutions créatives. C'est l'idée fondamentale derrière l'utilisation d'« ensembles » de modèles d'Intelligence Artificielle (IA). Dans le monde de l'informatique, un ensemble est simplement un groupe de différents programmes d'IA travaillant ensemble pour résoudre un problème. Le grand espoir est qu'en rassemblant de nombreuses « voix » différentes, vous obteniez un ensemble de réponses plus riche et plus diversifié que si vous n'en aviez qu'une seule.
Mais voici le piège : le fait d'avoir une salle pleine de gens ne signifie pas qu'ils disent tous des choses différentes. S'ils sont tous allés à la même école, ont lu les mêmes livres et ont appris les mêmes règles, ils pourraient tous finir par donner exactement la même réponse, avec seulement des mots légèrement différents. Ce document explore un recoin spécifique de la recherche en IA appelé « mesure de la diversité ». Il pose une question simple mais profonde : lorsque nous demandons à un groupe d'IA de résoudre un problème qui n'a pas une seule bonne réponse (comme l'interprétation d'une émotion humaine complexe), pensent-ils réellement différemment ? Ou ne font-ils que s'imiter les uns les autres ? Les chercheurs se soucient de cela parce que si nous pensons obtenir un large éventail de perspectives, mais que nous obtenons en réalité une foule de clones, nous pourrions prendre de mauvaises décisions basées sur un faux sentiment de sécurité.
La chambre d'écho de l'IA
Dans cette étude, les chercheurs ont mis en place une expérience massive pour voir quel « bruit » un groupe de modèles d'IA produit réellement. Ils ont réuni un panel de 16 modèles d'IA différents issus de 10 familles différentes (considérez cela comme des marques ou des lignées d'IA distinctes). Ils ont demandé à ces modèles d'agir comme des thérapeutes expérimentés et de rédiger une étude de cas pour un patient fictif. L'histoire du patient était assez vague pour qu'il n'y ait pas qu'une seule façon « correcte » de l'interpréter ; un bon thérapeute pourrait regarder la même histoire et y voir de nombreux angles différents.
L'équipe voulait mesurer la « dissension » ou le désaccord entre les modèles. Ils ont utilisé un outil mathématique spécial appelé le Score de Vendi. Imaginez que vous avez un groupe de personnes criant des réponses. Si tout le monde crie exactement le même mot, le Score de Vendi est bas (comme 1). Si tout le monde crie un mot complètement différent, le score est élevé (comme 16). Les chercheurs voulaient voir si leurs 16 modèles agiraient comme 16 individus uniques ou s'ils s'effondreraient en une voix unique et ennuyeuse.
La grande surprise : Moins de deux voix
Les résultats ont été un choc. Même s'ils avaient 16 modèles différents issus de 10 familles différentes, le groupe se comportait, en moyenne, comme s'il n'y avait que 1,69 voix distinctes.
Pour mettre cela en perspective, les chercheurs ont également testé un seul modèle d'IA en lui posant la même question 16 fois de suite, seul. Un seul modèle, par lui-même, a réussi à produire 1,43 versions différentes de la réponse simplement en changeant légèrement d'humeur (ce que les scientifiques appellent la « variation stochastique »). Ainsi, toute l'équipe de 16 modèles n'a ajouté qu'un quart de « voix » supplémentaire de diversité par rapport à ce qu'un seul modèle pouvait générer seul.
C'est comme embaucher une chorale de 16 chanteurs provenant de 10 écoles de musique différentes, en attendant une symphonie de styles uniques, pour finalement découvrir qu'ils sonnent tous comme une seule personne fredonnant la même mélodie, légèrement fausse. Le document écarte explicitement l'idée que le simple fait d'ajouter plus de modèles au groupe crée automatiquement plus de diversité. En fait, l'étude montre que ajouter plus de modèles à un panel est un mauvais moyen d'obtenir plus de perspectives.
Qui est le rebelle ? (Et cela dépend de la foule)
Les chercheurs ont également voulu savoir : « Y a-t-il un modèle spécifique qui est toujours le rebelle, celui qui n'est pas d'accord avec tout le monde ? » Ils ont suivi quel modèle était le « plus divergent » dans chaque tour de l'expérience.
Voici le rebondissement : l'identité du rebelle changeait selon qui d'autre était présent dans la pièce.
Dans une expérience plus petite avec seulement trois modèles, un modèle spécifique (GPT-4o) était le rebelle la plupart du temps. Mais lorsque l'équipe a élargi le groupe à 16 modèles, ce même modèle est passé à la troisième place. De nouveaux « rebelles » ont émergé, comme Ministral 14B et Llama 3.3 70B, qui ont pris la tête de la contestation.
Cela prouve que le statut d'« outsider » n'est pas un trait de personnalité permanent d'un modèle d'IA spécifique. C'est une relation. Un modèle peut sembler très différent uniquement parce que les autres modèles du groupe se trouvent être très similaires entre eux. Si vous remplacez le groupe, le « rebelle » peut soudainement ressembler au « conformiste ». Cela signifie que si un système vous présente une « voix divergente » pour vous aider à prendre une décision, cette voix vous en dit plus sur le groupe spécifique d'IA présents à ce moment-là que sur le modèle d'IA spécifique lui-même.
La taille ou la marque comptent-elles ?
L'équipe a également testé deux hypothèses courantes que les gens ont sur l'IA :
- Est-ce que plus grand signifie différent ? Ils ont comparé des modèles « petits » à des modèles « grands » au sein d'une même famille. Les résultats étaient confus. Parfois, le modèle plus petit était le rebelle ; parfois, c'était le plus grand. Il n'y avait aucune règle cohérente.
- Le nom de la famille compte-t-il ? Ils ont examiné des modèles de la même « famille » (comme différentes versions d'une même marque). Bien que les modèles d'une même famille aient tendance à être un peu plus similaires entre eux qu'à des étrangers, les preuves étaient faibles car ils n'avaient que quelques paires à comparer.
Le document conclut que vous ne pouvez pas prédire à quel point une IA sera « divergente » simplement en regardant sa taille ou son nom de marque. Vous devez la mesurer concrètement dans le contexte spécifique où vous l'utilisez.
Sur quoi les IA sont-elles réellement en désaccord ?
Enfin, les chercheurs ont vérifié si les modèles étaient plus en désaccord sur les cas qui étaient conçus pour être ouverts à de multiples interprétations. Ils avaient classé les histoires de patients en trois types : celles avec une lecture claire, celles avec une lecture partagée mais inefficace, et celles avec des lectures véritablement distinctes.
Ils s'attendaient à ce que les modèles soient en plus grand désaccord sur les histoires « ouvertes ». Ce n'était pas le cas. Les modèles étaient tout aussi en désaccord (voire légèrement moins) sur les histoires « ouvertes » que sur les autres. Au lieu de cela, le degré de désaccord était dicté par le contenu clinique de l'histoire. Par exemple, les histoires concernant la « dépression » suscitaient plus de désaccords que celles concernant le « traumatisme ».
Cela suggère que les modèles d'IA ne sont pas sensibles à l'« ouverture » d'un problème de la même manière que les humains. Ils réagissent aux détails spécifiques de l'histoire (comme le type de maladie mentionnée) plutôt qu'à la complexité philosophique de la situation.
La conclusion à retenir
Cette étude ne dit pas que l'IA est inutile ; elle dit simplement que nous devons arrêter de supposer qu'un grand groupe d'IA est automatiquement un groupe intelligent et diversifié. Si vous mettez 16 modèles dans une pièce, vous n'obtiendrez peut-être que la sagesse de deux. La « diversité » que vous obtenez n'est pas un chiffre fixe que l'on peut acheter en ajoutant plus de modèles ; c'est une chose fragile qui dépend du mélange spécifique de modèles et du problème spécifique qu'ils résolvent.
La leçon la plus importante est que si vous utilisez un groupe d'IA pour vous aider à prendre une décision difficile, ne vous contentez pas de compter le nombre de modèles que vous possédez. Vous devez mesurer à quel point ils sont réellement différents, car la voix « atypique » que vous entendez n'est peut-être qu'un effet temporaire de qui est assis à la table, et non une intuition profonde provenant d'une machine unique.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.