Patterns of genAI bias in guiding prospective undergraduate students: a study of UK neuroscience programmes

Cette étude révèle que les outils d'intelligence artificielle générative utilisés pour orienter les futurs étudiants britanniques vers des programmes de neurosciences reproduisent des biais systématiques favorisant les candidats aux notes élevées et aux profils privés, tout en associant un langage genéré spécifique à des caractéristiques institutionnelles, ce qui risque d'accentuer les inégalités éducatives et socioéconomiques.

L'essentiel

🤖 Le Guide d'Orientation "Biaisé" : Quand l'IA vous conseille votre avenir

Imaginez que vous êtes un jeune étudiant qui veut choisir son université. Au lieu de lire des brochures ennuyeuses ou de parler à un conseiller, vous demandez à un robot super-intelligent (une intelligence artificielle générative, ou genAI) : "Hé robot, quelle est la meilleure université pour moi ?"

C'est exactement ce que Harry Potter (l'auteur de l'étude, oui, le même nom !) a fait. Il a demandé à trois robots célèbres (ChatGPT, Copilot et Gemini) de recommander des programmes de neurosciences au Royaume-Uni. Mais il a joué un jeu : il a changé les détails de sa "personne" virtuelle à chaque fois. Parfois, il était un garçon brillant de l'école privée, parfois une fille avec des notes moyennes de l'école publique, parfois un adulte qui reprend ses études.

Le résultat ? Les robots ne sont pas neutres. Ils ont des préjugés cachés, un peu comme un vieux conseiller qui jugerait trop vite.

Voici les trois grandes découvertes de l'étude, expliquées avec des images simples :

1. L'IA vous habille selon votre "classe sociale" et vos notes 🎩👕

C'est le résultat le plus frappant. Peu importe si vous êtes un garçon ou une fille, ce que l'IA vous dit dépend surtout de vos notes et de votre origine.

• Si vous avez de très bonnes notes et que vous venez d'une école privée : Le robot vous parle comme à un futur chef d'entreprise. Il utilise un langage "masculin" et ambitieux (mots comme leader, compétitif, excellence, conquérir). Il vous envoie vers les universités les plus prestigieuses, les plus difficiles d'accès, celles qui font de la recherche de pointe. C'est comme si le robot vous disait : "Tu es un lion, va dominer la jungle !".
• Si vous avez des notes plus modestes ou que vous venez d'une école publique : Le robot change de ton. Il devient plus "maternel" et "soutenant" (mots comme collaboratif, bienveillant, soutien, comprendre). Il vous oriente vers des universités qui mettent l'accent sur l'accès pour tous et la satisfaction des étudiants. C'est comme si le robot vous disait : "Tu es gentil, va dans un endroit où tu te sentiras à l'aise."

Le problème : L'IA ne vous conseille pas selon vos rêves, mais selon ce qu'elle croit que vous êtes capable d'atteindre. Elle renforce les inégalités existantes : les riches et les brillants reçoivent des conseils pour devenir des élites, les autres reçoivent des conseils pour rester dans le "confort".

2. Le langage change la destination 🧭

L'étude a découvert un lien étrange entre les mots utilisés et les universités recommandées.

• Le langage "Masculin" (Ambition, Puissance) : Quand le robot utilise ce vocabulaire, il vous envoie vers des universités avec des barrières d'entrée très hautes et une réputation de recherche incroyable, mais où les étudiants sont souvent moins satisfaits (car c'est dur !).
• Le langage "Féminin" (Soutien, Communauté) : Quand le robot utilise ce vocabulaire, il vous envoie vers des universités où les étudiants sont très heureux et satisfaits, mais qui ont souvent des exigences d'entrée plus basses.

L'analogie : C'est comme si un agent immobilier vous disait : "Pour un homme ambitieux, je vous montre ce gratte-ciel froid et difficile d'accès, mais c'est là que l'on fait fortune. Pour une femme sensible, je vous montre cette maison chaleureuse et facile d'accès, c'est là qu'on est heureux." Sauf que dans la réalité, les hommes et les femmes peuvent être tout à la fois !

3. Les robots ne sont pas tous pareils 🤖🤖🤖

Tous les robots ne mentent pas de la même façon.

• ChatGPT a tendance à citer des sources un peu douteuses (comme des forums de discussion ou Wikipédia) et à être très influencé par le genre de l'utilisateur.
• Gemini et Copilot ont leurs propres biais, mais ils recommandent souvent des universités plus "élitistes" pour les profils riches et brillants.

🚨 Pourquoi est-ce dangereux ?

Imaginez que vous demandez à un GPS de vous guider vers le sommet d'une montagne.

• Si vous avez un bon équipement (bonnes notes), le GPS vous dit : "Prenez le sentier de l'escalade, c'est difficile mais vous y arriverez."
• Si vous avez un équipement moyen, le GPS vous dit : "Restez dans la vallée, il y a de jolies fleurs, c'est plus sûr."

Le problème, c'est que le GPS décide pour vous. Il ne vous donne pas la carte complète. Il vous empêche de tenter l'ascension si vous ne correspondez pas à son "profil idéal".

Dans le monde réel, cela signifie que des étudiants brillants mais issus de milieux modestes pourraient ne jamais recevoir les conseils pour postuler aux meilleures universités, simplement parce que l'IA a "jugé" qu'ils n'étaient pas faits pour ça. Cela bloque la mobilité sociale et perpétue les inégalités.

💡 La conclusion en une phrase

Ces intelligences artificielles, bien qu'utiles, ne sont pas des miroirs neutres de la réalité. Elles sont des miroirs déformants qui reflètent nos propres préjugés sociaux (argent, école, notes) et les amplifient, risquant de verrouiller l'avenir des étudiants au lieu de l'ouvrir.

Le message final : Il faut surveiller ces outils, les réguler et rappeler aux étudiants que l'IA est un outil, pas un oracle infaillible !

Résumé technique

1. Problématique

L'utilisation croissante de l'intelligence artificielle générative (genAI) par les futurs étudiants pour orienter leurs choix de formation dans l'enseignement supérieur (ES) soulève des inquiétudes quant à la neutralité des recommandations. Bien que l'usage de ces outils soit répandu, peu d'études ont analysé systématiquement comment les systèmes de genAI introduisent ou amplifient des biais dans les processus d'admission et d'orientation. L'article vise à combler ce vide en examinant les schémas de biais dans la guidance fournie par des chatbots populaires pour les programmes de licence en neurosciences au Royaume-Uni, un domaine représentatif des filières scientifiques.

2. Méthodologie

L'étude a adopté une approche quantitative expérimentale rigoureuse :

• Conception des prompts : 216 prompts ont été générés selon un plan factoriel complet, variant les caractéristiques de l'applicant :
  • Genre : Masculin / Féminin.
  • Type d'étudiant : Actuel étudiant en A-level (16-18 ans) vs étudiant mature.
  • Type d'établissement : École publique (state) vs école privée.
  • Niveau académique : Trois niveaux de notes (BBC, AAB, A*AA).
  • Matières : Profils "lourds" en sciences, intermédiaires ou légers.
  • Priorités : Qualité de la recherche, qualité de l'enseignement, ou avis des étudiants.
• Outils testés : Chaque prompt a été soumis à trois chatbots majeurs : ChatGPT-4o, Microsoft Copilot Chat et Google Gemini Flash 2.5.
• Volume de données : Cela a généré 648 réponses contenant chacune 5 recommandations d'universités, soit un total de 3 240 recommandations individuelles.
• Analyse des données :
  • Analyse textuelle : Mesure de la longueur, de la lisibilité (indices FKGL et SMOG) et décodage du langage genré (outils de détection de langage "masculin" vs "féminin").
  • Analyse N-grammes : Identification de concepts clés (excellence, accès élargi, recherche, etc.).
  • Évaluation des institutions : Les universités recommandées ont été croisées avec des marqueurs d'estime nationaux : Russell Group (élite), Oxbridge, REF21 (excellence de la recherche), TEF23 (excellence de l'enseignement) et NSS24 (satisfaction étudiante).
  • Analyse des sources : Vérification de la fiabilité des sources citées (sites officiels vs contenu généré par les utilisateurs comme Reddit/Wikipedia).

3. Contributions Clés

Cette étude apporte plusieurs contributions majeures à la littérature sur l'IA et l'éducation :

• Quantification des biais systémiques : Elle démontre que les biais ne sont pas aléatoires mais structurés, dépendant fortement des caractéristiques de l'utilisateur (notes, priorités) plutôt que de son genre déclaré.
• Corrélation Langage-Statut : Elle établit un lien direct entre le ton genré du langage généré par l'IA et le prestige académique des institutions recommandées.
• Analyse comparative multi-modèle : Elle compare trois modèles de langage distincts, révélant des différences significatives dans leurs comportements de recommandation.
• Impact sur la mobilité sociale : L'étude met en lumière comment ces biais pourraient renforcer les inégalités socio-économiques existantes en orientant différemment les étudiants selon leur profil.

4. Résultats Principaux

• Influence des notes et des priorités : Les caractéristiques de l'applicant (notes élevées, priorité à la recherche) ont eu l'impact le plus fort sur les sorties. Les candidats à hauts scores et ceux privilégiant la recherche ont reçu des recommandations vers des institutions d'élite (Russell Group, Oxbridge) avec des seuils d'entrée plus élevés.
• Biais de langage genré :
  • Le genre de l'applicant n'a pas influencé significativement le langage utilisé.
  • En revanche, les prompts décrivant des étudiants avec de bonnes notes ou une priorité recherche ont généré un langage nettement plus masculinisé (termes comme "leader", "actif", "compétitif").
  • Les prompts avec de faibles notes ou une priorité "accès élargi" ont généré un langage plus féminisé (termes comme "soutien", "collaboratif").
• Corrélation Langage-Marqueurs d'Estime :
  • Les réponses masculinisées étaient associées à des institutions ayant une recherche plus forte (REF21), des seuils d'entrée plus élevés et une satisfaction étudiante plus faible.
  • Les réponses féminisées étaient associées à des institutions avec une meilleure satisfaction étudiante (NSS24) et des exigences d'entrée plus basses.
• Biais de recommandation institutionnelle : Les étudiants issus de milieux privés, les étudiants matures et ceux ayant de bonnes notes étaient plus susceptibles d'être dirigés vers des universités d'élite, indépendamment de leur genre.
• Sources d'information : ChatGPT a été le seul à citer fréquemment des sources peu fiables (Reddit, Wikipédia), et ce, de manière disproportionnée pour les profils féminins et les étudiants privés.
• Variabilité des modèles : Les trois chatbots ont produit des distributions de recommandations et des niveaux de lisibilité différents, indiquant qu'il n'existe pas de comportement uniforme chez les fournisseurs d'IA.

5. Signification et Implications

Les résultats révèlent que les outils de genAI ne sont pas des conseillers neutres, mais qu'ils reproduisent et amplifient les inégalités structurelles du système éducatif britannique.

• Renforcement des inégalités : En associant le langage "masculin" (souvent lié à l'ambition et à la compétition) aux institutions d'élite et aux candidats à hauts potentiels, l'IA risque de verrouiller les trajectoires sociales, défavorisant les étudiants de milieux défavorisés ou à notes moyennes qui reçoivent des conseils orientés vers l'accessibilité plutôt que l'excellence.
• Stéréotypes de genre : Le fait que le langage genré soit dicté par les notes et non par le genre de l'utilisateur suggère que l'IA associe l'excellence académique à des traits masculins, perpétuant des stéréotypes dans le domaine scientifique.
• Appel à la régulation : L'article conclut sur la nécessité urgente de transparence, de régulation et de surveillance pour l'utilisation de la genAI dans l'orientation universitaire. Les décideurs politiques et les institutions doivent prendre en compte ces biais pour éviter que l'IA ne devienne un obstacle à la mobilité sociale et à l'internationalisation équitable de l'enseignement supérieur.

En résumé, cette étude fournit une preuve empirique que l'IA générative, telle qu'elle est actuellement déployée, peut agir comme un mécanisme de tri social biaisé, nécessitant une intervention immédiate pour garantir l'équité dans l'accès à l'enseignement supérieur.