Regional Bias in Large Language Models

Résumé Technique : Biais Régional dans les Grands Modèles de Langage

Énoncé du Problème
Bien que les grands modèles de langage (LLM) aient transformé le traitement de l'information, ils présentent des biais persistants qui reflètent et amplifient les préjugés sociétaux. Si les biais de genre et de race sont bien documentés, le biais régional (géographique) — où les modèles manifestent des préférences ou des erreurs systématiques basées sur la localisation d'un utilisateur ou le contexte géographique d'une requête — demeure significativement sous-étudié. Cette forme de biais peut conduire à un traitement injuste, à une exclusion systématique de certaines régions (particulièrement les communautés du Sud global et non occidentales), et à des disparités d'accès à des services critiques dans des domaines tels que l'éducation, la santé et le commerce. La recherche existante manque de cadres complets pour mesurer et quantifier systématiquement ce biais à travers de multiples modèles de pointe.

Méthodologie
L'étude introduit FAZE (Framework for Analysing Zonal Evaluation), un cadre d'évaluation basé sur des prompts conçu pour quantifier le biais régional comportemental. La méthodologie comprend les composantes suivantes :

• Construction du Jeu de Données : Un jeu de données constitué de 100 prompts contextuellement neutres a été créé. Ces prompts présentent des scénarios de décision à choix forcé (ex. : embauche, contrôle de sécurité, recommandations de voyage) impliquant deux régions. Crucialement, les scénarios sont conçus pour être symétriques, n'offrant aucun facteur culturel, légal ou contextuel légitime qui justifierait rationnellement la préférence de l'une des régions sur l'autre.
• Sélection des Modèles : Dix LLM de premier plan ont été évalués, couvrant diverses architectures et approches d'entraînement : GPT-3.5, GPT-4o, Gemini 1.5 Flash, Gemini 1.0 Pro, Claude 3 Opus, Claude 3.5 Sonnet, Llama 3, Gemma 7B, Mistral 7B et Vicuna-13B.
• Protocole d'Évaluation : Chaque modèle a été testé contre les 100 prompts via des interfaces de chat directes (ou LMSYS lorsque l'accès direct était indisponible) entre juillet et septembre 2024. L'évaluation a capturé le comportement par défaut, en un seul passage, sans modifier les prompts système ou les paramètres de génération.
• Classification et Notation : Les réponses ont été catégorisées en deux groupes :
  • Inconnu (Unknown) : Le modèle a refusé de choisir, a reconnu une information insuffisante ou a déclaré que les options étaient également valables.
  • Non-Inconnu (Non-Unknown) : Le modèle s'est engagé envers une région spécifique ou a exprimé une préférence malgré la neutralité du prompt.
  • Le Score FAZE est calculé sur une échelle de 10 points en utilisant la formule : $FAZE = \frac{N_{total} - N_{unknown}}{N_{total}} \times 10$. Des scores plus élevés indiquent une tendance plus forte à porter des jugements régionaux injustifiés.

Contributions Clés

1. Cadre FAZE : L'article présente FAZE, un cadre de dépistage comportemental léger qui capture les tendances d'engagement régional face à l'utilisateur sous des conditions neutres contrôlées. Il fournit une base reproductible, interprétable et indépendante du modèle pour une analyse comparative.
2. Évaluation Empirique Systématique : L'étude constitue la première comparaison systématique du biais régional à travers dix LLM diversifiés et de pointe, dépassant les discussions théoriques pour passer à la mesure empirique.
3. Identification de la Variance : La recherche démontre que le biais régional n'est pas uniforme entre les modèles, mais varie considérablement selon l'architecture du modèle, les distributions de données d'entraînement et les stratégies d'alignement.

Résultats
L'évaluation de 1 000 réponses a révélé une variation substantielle des niveaux de biais :

• Biais Élevé : GPT-3.5 a présenté le biais le plus élevé avec un score de 9,5, choisissant des régions spécifiques dans 95 des 100 prompts. Llama 3 suivait avec un score de 7,8.
• Biais Moyen : Des modèles tels que Gemma 7B (6,9), Vicuna-13B (6,0) et GPT-4o (5,8) ont montré des tendances modérées, refusant occasionnellement de choisir mais fournissant fréquemment des réponses spécifiques à une région.
• Biais Faible : Claude 3.5 Sonnet a obtenu le score le plus bas de 2,5, suivi de Mistral 7B (2,6) et Gemini 1.5 Flash (3,1). Ces modèles se sont principalement abstenus de faire des sélections régionales spécifiques, reconnaissant souvent l'équivalence des options ou le manque d'informations suffisantes.
• Disparité : Il existe une différence de près de 3,8 fois entre le modèle le plus biaisé (GPT-3.5) et le moins biaisé (Claude 3.5 Sonnet).

Signification et Revendications
L'article affirme que le biais régional peut sérieusement compromettre la fiabilité, l'équité et l'inclusivité des sorties des LLM dans des applications réelles et transculturelles. Les conclusions suggèrent que :

• Le biais géographique n'est pas une propriété inhérente à l'échelle du modèle, mais est fortement façonné par les distributions de données d'entraînement, les objectifs d'alignement et les stratégies de post-entraînement.
• Les modèles de pointe récents (ex. : Claude 3.5 Sonnet) montrent des progrès dans la réduction du favoritisme régional injustifié, probablement grâce aux stratégies d'alignement et à une curation minutieuse des données.
• Cependant, le maintien d'un biais moyen à élevé dans des systèmes largement utilisés (comme GPT-3.5) souligne que l'équité géographique reste un défi actif.

Les auteurs positionnent ce travail comme une étape vers le développement de modèles de langage respectant diverses perspectives géographiques. Ils soulignent que FAZE sert de métrique de dépistage pour mettre en évidence les tendances systématiques, notant que les travaux futurs devraient étendre la diversité des prompts, incorporer des scénarios multilingues et évaluer des interventions de débaisage ciblées. L'étude reconnaît explicitement ses limites, notamment l'ensemble fixe de prompts, l'évaluation en un seul passage et la nature binaire de la classification, présentant les résultats comme un instantané du comportement des modèles durant la période d'évaluation (juillet–septembre 2024).