Prompt Robustness Is Task-Dependent: Comparing Objective and Belief-Style Questions in LLM Evaluation
Cet article démontre que la robustesse des grands modèles de langage face aux variations de prompts dépend significativement du type de tâche, les modèles présentant des niveaux de stabilité différents lorsqu'ils répondent à des questions objectives par rapport à des interrogations subjectives sur les valeurs et les croyances.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de comprendre ce qu'un robot très intelligent, mais légèrement nerveux, pense du monde. Vous lui posez une question, et il vous donne une réponse. Vous supposez que cette réponse est un reflet fidèle de ses « croyances ».
Ce document est comme un rappel à la réalité. Les chercheurs ont demandé : « Est-ce que la manière de poser la question importe ? »
Ils ont découvert que la réponse est un OUI retentissant. En fait, la façon dont vous posez une question peut complètement changer la réponse du robot, et cela arrive beaucoup plus souvent lorsque la question porte sur des opinions (comme la politique ou les valeurs) que lorsqu'elle porte sur des faits (comme les mathématiques ou la science).
Voici le détail de leurs découvertes en utilisant des analogies simples :
1. Les deux types de questions
Les chercheurs ont testé les robots avec deux types de « tests » différents :
- Le Test de Faits (Objectif) : Ce sont comme un quiz de mathématiques. « Combien font 2 + 2 ? » Il n'y a qu'une seule bonne réponse (4). Si le robot dit « 5 », il a simplement tort.
- Le Test d'Opinion (Subjectif) : Ce sont comme un test de personnalité. « Préfères-tu l'été ou l'hiver ? » Il n'y a pas de réponse unique correcte. Le robot est censé vous dire ce qu'il « ressent ».
2. Le prompt « Métamorphe »
Les chercheurs n'ont pas seulement posé les questions une seule fois. Ils ont posé la même question exacte de nombreuses manières différentes, comme un magicien qui change légèrement le tour pour voir si le lapin apparaît toujours.
- Ils ont changé la formulation (en utilisant des synonymes).
- Ils ont changé le format (en mettant des mots en gras, en changeant l'espacement).
- Ils ont mélangé l'ordre des réponses (en mettant « Été » en premier au lieu de « Hiver »).
- Ils ont même ajouté de petites fautes d'orthographe pour voir si le robot était confus.
3. La grande découverte : Les opinions sont « instables »
Le résultat principal est que les robots étaient beaucoup moins stables lorsqu'ils répondaient à des questions d'opinion qu'aux questions de faits.
- Le Test de Faits : Si vous demandiez « Combien font 2+2 ? » de dix manières différentes, le robot disait presque toujours « 4 ». C'était comme un rocher ; difficile à déplacer.
- Le Test d'Opinion : Si vous demandiez « Aimes-tu l'été ? » de dix manières différentes, le robot pourrait dire « Oui » à une version et « Non » à une autre. C'était comme une gelée ; cela oscillait et changeait de forme selon la façon dont on la touchait.
4. L'effet de « Changement de Siège »
Les chercheurs ont découvert un tour spécifique qui faisait perdre la tête aux robots le plus souvent : changer l'ordre des réponses.
Imaginez une question à choix multiples où les réponses sont listées A, B, C, D.
- Si vous les inversez pour que l'ordre soit D, C, B, A, le robot choisit souvent une lettre différente, même si les mots sont les mêmes.
- Cela arrivait beaucoup plus avec les questions d'opinion. C'est comme si le robot pensait : « Oh, la réponse est en haut maintenant ? Je suppose que c'est celle qu'ils veulent que je choisisse ! » plutôt que de réellement réfléchir au contenu.
5. Pourquoi cela importe
Le document nous avertit que nous ne pouvons pas faire confiance à une seule réponse d'un robot comme preuve de ses « croyances ».
- L'analogie : Imaginez que vous demandez à un ami : « Aimes-tu la pizza ? ». Il répond « Oui ». Vous notez cela comme un fait le concernant. Mais ensuite, vous lui posez la même question, mais cette fois, vous listez « Pizza » comme dernière option sur un menu, et il répond « Non ».
- La conclusion : Vous ne pouvez pas dire que votre ami « aime la pizza » ou « n'aime pas la pizza » sur la base d'une seule conversation. Vous devez lui poser la question de plusieurs manières différentes pour voir si sa réponse reste la même.
Ce qu'il faut retenir
Le document conclut que si nous voulons savoir ce qu'une IA « croit » concernant la politique ou les valeurs, nous ne pouvons pas simplement poser une question et prendre la réponse pour argent comptant. Nous devons la tester avec de nombreuses versions de la question. Si le robot change d'avis simplement parce que nous avons déplacé les mots, alors nous ne savons pas vraiment ce qu'il croit — nous savons seulement comment il réagit à la manière dont on lui a posé la question.
En bref : La « personnalité » du robot est fragile. Elle change selon la forme de la question, surtout quand la question porte sur des sentiments plutôt que sur des faits.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.