Whose Norms? Disentangling Cultural and Personal Alignment in Large Language Models
Cet article introduit le cadre PACT pour évaluer comment les grands modèles de langage équilibrent les normes culturelles et les préférences personnelles, révélant que les modèles font preuve d'une application culturelle rigide et dépendante du contexte et échouent à capturer le pluralisme nuancé et l'incertitude présents dans les jugements sociaux humains.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
L'idée centrale : Le dilemme de la « danse sociale »
Imaginez que vous êtes à un dîner dans un pays étranger. L'hôte attend que tout le monde mange avec la main droite (une norme culturelle). Cependant, votre main gauche est celle avec laquelle vous êtes le plus à l'aise, et vous avez vraiment envie de l'utiliser (une préférence personnelle).
Que devez-vous faire ?
- Suivre les règles : Manger avec la main droite pour être poli et respecter la culture de l'hôte.
- Suivre votre instinct : Manger avec la main gauche parce que cela vous semble plus naturel.
Cette question est la suivante : Lorsque les modèles de langage étendus (LLM) agissent comme conseillers dans ces situations délicates, vous disent-ils de suivre les règles ou de suivre votre instinct ?
Les chercheurs appellent cela le cadre PACT (Personal-Preference and Cultural-Norm Trade-off / Compromis entre préférence personnelle et norme culturelle). Ils ont construit un « test » massif comprenant des centaines de scénarios, comme celui du dîner, pour voir comment différents modèles d'IA gèrent ce tiraillement.
Principaux résultats (Les « rebondissements »)
1. Toutes les IA ne sont pas les mêmes (Le « test de personnalité »)
Tout comme les humains ont des personnalités différentes, les modèles d'IA ont des « boussoles morales » différentes.
- Les « Suiveurs de règles » : Certains modèles (comme Mistral et Qwen) sont comme des professeurs stricts. Ils disent presque toujours : « Suivez la norme culturelle ! ». Ils laissent rarement la préférence personnelle l'emporter.
- Les « Esprits libres » : D'autres modèles (comme Llama et GPT) sont plus comme des amis ouverts d'esprit. Ils sont beaucoup plus susceptibles de dire : « C'est bon de faire ce qui vous semble juste », même si cela enfreint une règle locale.
- Le « Juste milieu » : Certains modèles se situent pile entre les deux, selon la situation.
Analogie : Imaginez un groupe de voyageurs. Un voyageur (Mistral) suit toujours strictement le guide. Un autre voyageur (Llama) dit : « Faisons simplement ce qui nous semble amusant ». Le papier a découvert que les modèles d'IA agissent exactement comme ces différents types de voyageurs.
2. L'endroit importe plus que la personne
Les chercheurs ont testé si l'IA se souciait de l'âge ou du genre des personnes impliquées (ex : « Un homme âgé devrait-il suivre la règle, alors qu'une jeune femme peut la transgresser ? »).
- Le résultat : L'IA s'en souciait très peu de l'âge ou du genre.
- Le véritable moteur : Le pays était le facteur le plus important.
- Si le scénario se déroulait aux États-Unis ou au Royaume-Uni, l'IA était plus susceptible de dire : « Faites ce que vous voulez ».
- Si le scénario se déroulait dans certaines parties de l'Asie, du Moyen-Orient ou de l'Afrique, l'IA était beaucoup plus stricte et disait : « Suivez les règles locales ».
Analogie : Considérez l'IA comme un prévisionniste météo. Elle ne se soucie pas vraiment de savoir si vous portez un t-shirt rouge ou bleu (démographie) ; elle ne se soucie que de savoir si vous vous trouvez dans un désert ou dans une forêt tropicale (le pays). Le lieu dicte la « météo » du conseil.
3. L'« entraînement » change la personnalité
Le papier a comparé les modèles « de base » (l'IA brute) aux modèles « instruct » (l'IA après avoir été entraînée à discuter avec des humains).
- La surprise : L'entraînement n'a pas rendu toutes les IA plus « humaines » de la même manière.
- Pour certains modèles, l'entraînement les a rendus plus enclins à vous laisser enfreindre les règles.
- Pour d'autres, l'entraînement les a rendus plus stricts sur le respect des règles.
- Pourquoi ? Cela dépend de ce que les développeurs ont demandé à l'IA de prioriser pendant l'entraînement (ex : « Être utile » vs « Être sûr »).
Analogie : Imaginez deux étudiants passant le même examen final. Un étudiant étudie dur et devient un suiveur de règles strict. L'autre étudie dur et devient un solutionneur de problèmes créatif. L'« entraînement » les a changés, mais dans des directions opposées.
4. L'IA ne comprend pas le « Peut-être »
C'est sans doute la découverte la plus importante. Dans la vie réelle, lorsque les humains sont confrontés à ces dilemmes, ils sont souvent en désaccord. Certaines personnes dans la pièce pourraient dire : « Suivez la règle », tandis que d'autres disent : « Faites ce que vous voulez ». Il n'y a pas une seule réponse « correcte ».
- Le problème de l'IA : L'IA essaie de choisir un seul « vainqueur ». Elle choisit l'option que la majorité des humains choisirait.
- L'absence de nuance : L'IA échoue à capturer l'incertitude. Elle ne réalise pas que les humains sont en fait divisés. Elle agit comme si elle connaissait la réponse, même quand les humains sont perplexes.
Analogie : Imaginez un lancer de pièce. Si 51 % des gens disent « Pile » et 49 % disent « Face », un humain sait que c'est du 50/50. L'IA, cependant, crie avec assurance « Pile ! » et agit comme s'il s'agissait d'un fait. Elle manque le fait que la salle est en réalité divisée.
5. L'avantage du « Terrain »
Lorsque les chercheurs ont demandé à des humains de juger des scénarios issus de leur propre pays, les humains étaient les plus en désaccord entre eux.
- Pourquoi ? Quand vous êtes dans votre propre culture, vous savez que les règles sont flexibles. Vous savez qu'il existe des exceptions.
- L'angle mort de l'IA : L'IA traite souvent les normes culturelles comme des lois rigides, même dans les cultures où les humains savent qu'elles sont en réalité flexibles.
Analogie : Si vous demandez à un habitant local les règles de circulation dans sa ville, il pourrait dire : « Eh bien, tout le monde grille le feu rouge à 2 heures du matin, mais techniquement, on ne devrait pas ». Si vous demandez à un touriste (ou à une IA), il dira : « Feu rouge signifie arrêt, point final ». L'IA manque la « nuance locale ».
Résumé : Qu'est-ce que cela signifie ?
Le papier conclut que nous ne pouvons pas simplement demander à une IA : « Quelle est la bonne chose à faire dans cette culture ? » car :
- Différentes IA donnent des réponses différentes basées sur leurs « personnalités » internes.
- Les IA sont trop rigides. Elles traitent les normes culturelles comme des lois inattaquables, alors que les humains savent que les normes sont souvent négociables.
- Les IA ignorent le désaccord. Elles choisissent une réponse unique, mais dans les situations sociales réelles, les humains ne sont souvent pas d'accord sur la réponse à apporter.
La conclusion : Si nous voulons que l'IA soit un bon conseiller pour les situations sociales, nous devons arrêter de lui demander une réponse unique « correcte ». Au lieu de cela, nous devons lui apprendre à comprendre que, parfois, il n'y a pas de réponse unique — juste un débat humain complexe.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.