Measuring Political Stance and Consistency in Large Language Models
Cet article évalue les positions politiques et la cohérence de neuf grands modèles de langage à travers 24 questions sensibles en utilisant cinq techniques de prompting, révélant que si les positions des modèles varient ou évoluent souvent en fonction de la langue et du prompting, certaines positions de base demeurent rigides, soulignant la nécessité d'une plus grande sensibilisation des utilisateurs et d'une intervention des développeurs concernant les biais politiques dans l'IA.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez neuf différents « oracles numériques » (des modèles de langage étendu, ou LLM) que les gens commencent à solliciter pour obtenir des conseils sur des arguments politiques sérieux, comme qui a raison dans une guerre ou quelles devraient être les politiques d'un pays. Les auteurs de ce document ont décidé de tester ces oracles pour voir s'ils ont leurs propres opinions politiques cachées et si ces opinions sont inébranlables ou si elles peuvent être facilement manipulées.
Voici un résumé simple de ce qu'ils ont fait et de ce qu'ils ont trouvé, en utilisant quelques analogies de la vie quotidienne :
La mise en place : Le « Test d'opinion »
Considérez les chercheurs comme un groupe de détectives. Ils ont choisi 24 sujets politiques complexes (comme la guerre en Ukraine, le conflit à Gaza ou les différends sur des îles entre la Turquie et la Grèce) qui n'avaient pas été beaucoup étudiés auparavant.
Ils ont demandé à 9 modèles d'IA différents (incluant des noms célèbres comme GPT-4, GPT-5 et Grok) leur avis sur ces questions. Mais ils ne se sont pas contentés de poser la question une seule fois. Ils ont essayé cinq manières différentes de poser les questions pour voir si l'IA changerait d'avis :
- La demande directe : « Qui a raison ? »
- L'avocat du diable : « Voici un argument pour l'autre camp. Qui a raison maintenant ? »
- La vue équilibrée : « Voici des arguments pour les deux camps. Qui a raison ? »
- Le coup du revirement : Poser la même question mais en la formulant de manière à suggérer la réponse opposée (par exemple, « Était-ce mal ? » contre « Était-ce bien ? »).
- Le changement de langue : Poser la question dans la langue locale des pays impliqués (par exemple, poser la question sur le différend Turquie-Grèce en turc plutôt qu'en grec).
Les conclusions : Ce que les oracles ont dit
1. Les IA ont des « côtés secrets »
Tout comme une personne peut secrètement préférer une équipe de sport plutôt qu'une autre, ces IA ont presque toujours choisi un camp. Elles sont rarement restées neutres.
- Le consensus : Sur certains sujets, toutes les IA étaient d'accord. Par exemple, elles étaient toutes généralement d'accord sur le fait que le blocus du Qatar était injuste et que les Palestiniens sont opprimés.
- La division : Sur d'autres sujets, elles étaient en désaccord. Par exemple, sur le « Printemps arabe », certaines disaient qu'il s'agissait de démocratie, tandis que d'autres disaient qu'il s'agissait de colère économique.
2. Le « Caméléon » vs le « Roc »
Certaines IA étaient comme des caméléons, changeant leurs couleurs (opinions) facilement selon la façon dont on posait la question.
- Mistral-7B était la plus changeante. Elle a renversé sa position sur 19 des 24 sujets lorsque les chercheurs ont modifié l'invite (prompt). C'est comme une personne qui est d'accord avec la dernière personne à qui elle a parlé.
- Grok-3-mini était la plus têtue (constante). Elle n'a changé d'avis que sur 5 sujets. C'est comme une personne ayant des convictions très fortes et inébranlables.
3. Le « Miroir linguistique »
Ce fut une découverte surprenante. Lorsque les chercheurs posaient des questions dans différentes langues, les IA penchaient souvent vers le côté qui parlait cette langue.
- L'analogie : Imaginez demander à un traducteur de donner son avis sur un différend entre un Français et un Allemand. Si vous posez la question en français, le traducteur pourrait accidentellement (ou inconsciemment) utiliser des sources françaises qui font paraître le Français sous un meilleur jour. Si vous posez la question en allemand, le côté allemand paraît meilleur.
- L'étude a montré que pour des questions impliquant différentes langues (comme le différend Turquie-Grèce), la réponse de l'IA changeait souvent en fonction du fait que la question était posée en turc ou en grec. Cela suggère que les « opinions » de l'IA sont en fait des échos des livres et des articles qu'elle a lus lors de son entraînement.
4. Les sujets « Inébranlables »
Il y avait deux sujets où aucune IA n'a changé d'avis, peu importe la façon dont les chercheurs ont essayé de les piéger :
- L'oppression des Palestiniens.
- Le blocus du Qatar.
Sur ces questions spécifiques, les IA étaient comme un coffre-fort verrouillé ; leur position était fixe et ne pouvait pas être influencée par les astuces de formulation utilisées dans l'étude.
5. Le biais de « l'équipe à domicile »
L'étude a remarqué que DeepSeek, une IA fabriquée par une entreprise chinoise, soutenait systématiquement la position du gouvernement chinois sur des questions comme le Tibet et le Xinjiang. Pendant ce temps, presque toutes les autres IA (fabriquées aux États-Unis ou ailleurs) prenaient la position opposée. Cela suggère que l'endroit où une IA est construite et qui l'entraîne agit comme un biais de « l'équipe à domicile », influençant son compas politique.
L'essentiel à retenir
Le document conclut que si vous demandez un conseil politique à une IA, vous devez être prudent.
- Elles ne sont pas neutres : Elles ont des biais intégrés basés sur leurs données d'entraînement.
- Elles sont fragiles : On peut souvent leur faire changer d'avis simplement en changeant la langue parlée ou la façon de formuler la question.
- Elles ne sont pas des vérificateurs de faits : Parce que leurs « opinions » peuvent changer comme du sable mouvant, vous ne devriez pas les traiter comme la parole finale sur la vérité politique.
Les auteurs espèrent qu'en montrant à quel point ces oracles numériques peuvent être influençables, les utilisateurs commenceront à se demander : « Attendez, pourquoi avez-vous dit cela ? » et « Pouvez-vous me montrer vos sources ? » au lieu de simplement accepter la réponse comme une vérité absolue.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.