Imaginez que vous deviez décider quel film est le meilleur de l'année. Vous demandez à un groupe d'amis de les regarder et de donner une note. Mais voici le rebondissement : vous demandez à un ami de juger comme un critique de cinéma sévère qui déteste le rythme lent, à un autre de juger comme un adolescent en quête d'effets spéciaux cool, et à un troisième de juger comme un parent vérifiant la valeur éducative. Soudainement, le "meilleur" film peut changer selon la personne à qui vous avez demandé ! C'est le cœur de l'évaluation de la récupération d'information (RI), la science consistant à déterminer si les moteurs de recherche trouvent les bonnes réponses. Pendant des décennies, des humains ont fait ce travail de jugement, mais c'est lent et coûteux. Aujourd'hui, des scientifiques utilisent des modèles de langage étendus (LLM) — des chatbots IA super intelligents — pour faire le travail de juge à leur place. La grande question est : si nous demandons à l'IA d'« agir » comme différents types de personnes, cela change-t-il les résultats ? La réponse de l'IA dépend-elle du « masque » qu'elle porte ?

Ce document explore précisément cette question. Les chercheurs voulaient voir si le fait de donner à une IA un « persona » spécifique (comme « un médecin » ou « un avocat ») change la façon dont elle classe les résultats de recherche, ou si elle donne simplement la même réponse, peu importe la situation. Ils ont traité ces personas comme un test de résistance, poussant et tâtant l'IA pour voir à quel point ses opinions sont fragiles. Ils ont découvert que, bien que l'IA ne renverse pas complètement toute sa liste de gagnants et de perdants, elle devient un peu capricieuse. Les résultats suggèrent que le jugement de l'IA n'est pas une vérité fixe ; il varie légèrement selon le rôle qu'elle joue, et ce changement est plus important pour les modèles d'IA plus petits et moins puissants que pour les plus gros et les plus brillants.

L'histoire du juge métamorphe

Dans le monde des moteurs de recherche, nous devons savoir si un nouvel algorithme est réellement meilleur que l'ancien. Pour le savoir, nous lançons une série de recherches de test et demandons à un « évaluateur » de noter la qualité des résultats. Traditionnellement, cela était fait par des humains. Mais les humains sont fatigués, coûteux et parfois en désaccord entre eux. C'est pourquoi les chercheurs ont commencé à utiliser des modèles d'IA comme juges. L'idée est que si vous orientez l'IA correctement, elle peut agir comme un juge humain professionnel.

Mais voici le piège : l'IA est sensible. Si vous changez la façon dont vous posez une question, la réponse peut changer. Ce document demande : que se passe-t-il si nous changeons l'identité du juge ? Au lieu de simplement demander à l'IA d'« être un juge », les chercheurs lui ont dit d'« être un médecin », « être un avocat » ou « être un vérificateur de faits sceptique ». Ils voulaient voir si ces différents « masques » feraient changer d'avis à l'IA sur la qualité des résultats de recherche.

L'expérience : habiller l'IA

Les chercheurs ont mis en place une expérience massive utilisant deux ensembles différents de questions de recherche (appelés jeux de données). Un ensemble portait sur des questions factuelles et courtes (comme « Qui a remporté le prix Nobel ? »), et l'autre sur des sujets complexes et ouverts (comme « Comment les enseignants devraient-ils gérer les tests d'État ? »).

Ils ont pris six modèles d'IA différents — certains énormes et puissants, d'autres plus petits et plus légers — et leur ont demandé de juger les résultats de recherche. Mais ils ne se sont pas contentés de leur demander de juger ; ils leur ont donné des rôles spécifiques :

1. Le Juge Aligné sur la Requête : Se concentre sur ce que l'utilisateur voulait dire.
2. L'Expert de Domaine : Se concentre sur des domaines spécifiques comme la santé ou le droit.
3. Le Juge Orthogonal : Un « opposant » qui regarde les choses sous un angle totalement différent.
4. Le Vérificateur de Preuves : Un vérificateur de faits strict qui exige des preuves.
5. L'Évaluateur Global : Un évaluateur standard et professionnel.

Ils ont également testé deux méthodes différentes pour créer ces rôles : l'une utilisant des descriptions abstraites (comme « un parent ») et l'autre utilisant des listes de compétences détaillées (comme « une personne possédant des compétences en développement de programmes scolaires »).

Ce qu'ils ont trouvé : l'IA est un anneau de changement de couleur, pas un rocher

Les résultats ont été fascinants et un peu surprenants. L'IA n'a pas complètement perdu la tête. Lorsque les chercheurs ont changé le persona, l'IA n'a pas soudainement décidé qu'un résultat terrible était parfait et qu'un résultat parfait était terrible. Au lieu de cela, les changements étaient plus subtils, comme un anneau de changement de couleur qui vire de couleur.

1. Le changement de « sévérité »
La plupart du temps, le classement de l'IA restait assez proche de la référence standard. Cependant, les personas ont changé la manière dont l'IA était stricte. Par exemple, le persona de « Vérificateur de Preuves » avait tendance à être plus sévère, donnant des scores plus bas aux résultats qui n'avaient pas de preuves solides. Le persona « Opposant » était plus susceptible de ne pas être d'accord avec la vue standard. Mais crucialement, ces changements ne faisaient généralement que faire varier les scores légèrement à la hausse ou à la baisse ; ils n'ont pas provoqué un chaos total où toute la liste des gagnants serait bouleversée.

2. La taille compte : Gros cerveaux vs Petits cerveaux
C'était une découverte majeure. Les modèles d'IA les plus grands et les plus puissants (comme ceux de 70 milliards de paramètres) étaient très stables. Peu importe le « masque » qu'ils portaient, ils gardaient leurs classements pratiquement les mêmes. Ils étaient comme un vieux juge sage qui connaît les règles et ne se laisse pas influencer par un changement de costume.
En revanche, les modèles d'IA plus petits et moins puissants étaient beaucoup plus sensibles. Quand on mettait un masque d'« opposant » sur une petite IA, elle se confondait et ses classements sautaient de façon erratique. Cela suggère que si vous utilisez une IA faible pour faire le jugement, les résultats peuvent être peu fiables simplement parce que vous lui avez demandé d'« agir » d'une certaine manière.

3. L'« Opposant » est le plus perturbateur
Parmi tous les rôles, le persona « Orthogonal » (ou opposant) a provoqué les changements de classement les plus importants. Cela fait sens : si vous dites à une IA de regarder les choses sous un angle totalement différent, elle va changer d'avis plus facilement que si vous lui demandez d'être un « expert de domaine ». Les chercheurs ont constaté que l'utilisation d'un opposant « fondé sur les compétences » (avec une liste spécifique de compétences) provoquait encore plus de mouvement qu'un opposant générique.

4. Ce n'est pas l'identité du persona qui compte, mais ce qu'il fait
Les chercheurs se sont demandé si la source du persona importait. Est-ce que cela importait que le persona provienne d'une base de données de descriptions abstraites ou d'une base de données de compétences professionnelles ? Ils ont trouvé que cela n'importait pas beaucoup. Que l'IA soit instruite d'être un « professeur de sociologie » ou une « personne ayant des compétences en développement de programmes scolaires », l'effet était similaire. Ce qui comptait le plus était le rôle (par exemple, être un vérificateur de faits versus un opposant) et la taille du modèle d'IA.

Pourquoi cela importe

Ce document ne dit pas que les juges IA sont inutiles. En fait, il suggère qu'ils sont très bons pour maintenir la vision globale stable, surtout les modèles les plus grands et les plus puissants. Cependant, il nous avertit que les juges IA ne sont pas des porteurs de vérité parfaits. Leurs opinions peuvent être influencées par la façon dont nous formulons la tâche.

Les auteurs suggèrent que nous devions utiliser ces « changements de persona » comme un outil de diagnostic. Pensez-y comme à un test de résistance pour un pont. Si vous secouez un peu le pont (en changeant le persona) et qu'il vacille trop, vous savez que le pont (ou le système de recherche) a un point faible. En voyant quels systèmes de recherche changent leur classement lorsque le « humeur » de l'IA change, les chercheurs peuvent identifier les systèmes qui sont trop sensibles à la façon dont ils sont évalués.

En bref, le document nous enseigne que, bien que l'IA puisse être un excellent juge, nous devons être prudents quant au « costume » dans lequel nous la mettons. Si nous voulons des résultats fiables, nous devrions s'en tenir aux modèles les plus grands et les plus intelligents et comprendre que la façon dont nous demandons à l'IA de juger peut subtilement influencer le résultat. C'est un rappel que même dans le monde de l'intelligence artificielle, la perspective compte.