Proxy reliance in large language model decisions is uncalibrated to predictive evidence

Dans le monde moderne, les algorithmes sont de plus en plus sollicités pour prendre des décisions à enjeux élevés concernant les individus, qu'il s'agisse de déterminer qui obtient un prêt ou de décider quel patient hospitalier doit être pris en charge en priorité. Lorsque ces systèmes sont construits à partir de grands modèles de langage — de puissants programmes informatiques entraînés sur de vastes quantités de texte — la question de l'équité devient complexe. La loi accepte généralement qu'un décideur puisse utiliser une information si celle-ci aide à prédire un résultat favorable, comme l'utilisation de la tension artérielle d'un patient pour prédire son risque de crise cardiaque. Cependant, elle interdit d'utiliser des informations qui ne sont que des substituts à une caractéristique protégée, telle que la race ou le genre, même si ces informations sont statistiquement utiles. C'est ce qu'on appelle la discrimination par procuration (ou discrimination par proxy). La difficulté réside dans le fait qu'une donnée unique, comme le quartier de résidence d'une personne, peut être à la fois un indicateur médical légitime et un signal caché de sa race. Les méthodes actuelles pour tester si un algorithme est équitable reposent souvent sur une vérification simple : si vous modifiez la race d'une personne dans l'invite (prompt) de l'ordinateur et que la décision change, le système est biaisé. Mais cette approche manque la nuance de la réalité. Un décideur rationnel devrait changer d'avis si la nouvelle information est réellement utile, et un système qui ne change jamais d'avis pourrait ignorer des preuves importantes plutôt que d'être équitable.

Des chercheurs de l'Université d'Osaka ont entrepris de résoudre ce problème en allant au-delà des simples tests par oui ou par non pour parvenir à une mesure plus précise de la part de indices sur laquelle un algorithme devrait s'appuyer. Ils ont créé un monde simulé où ils connaissaient la vérité exacte sur chaque patient et chaque issue, permettant ainsi de calculer la part parfaite de dépendance à toute information donnée. Dans cet environnement contrôlé, ils ont demandé à quatre modèles de langage différents d'agir comme des spécialistes du triage, classant des paires de patients simulés selon la priorité de traitement. Les patients étaient décrits par des indicateurs numériques, dont certains étaient des signaux médicaux légitimes et d'autres étaient des « proxys » qui corrélaient avec un attribut protégé caché mais n'avaient aucune valeur médicale réelle. Les chercheurs ont ensuite pu comparer le comportement des modèles par rapport à un standard mathématique de ce qu'un décideur parfaitement rationnel ferait avec les mêmes informations.

L'étude a révélé un décalage frappant entre les preuves disponibles pour les modèles et la manière dont ils les utilisaient réellement. Lorsque les chercheurs ont donné aux modèles des indices qui n'avaient absolument aucune valeur prédictive, les modèles s'y sont tout de même appuyés, traitant des informations inutiles comme si elles importaient. Cela s'est produit de manière constante sur les quatre modèles testés, quel que soit le fournisseur. Lorsque les indices étaient véritablement utiles, les modèles n'ajustaient pas leur dépendance pour correspondre à la force de la preuve. Au lieu de cela, ils opéraient à un niveau de dépendance positif élevé qui sous-estimait gravement la preuve à mesure que sa valeur prédictive augmentait. En d'autres termes, les modèles n'écoutaient pas les données ; ils suivaient un script interne rigide qui ignorait la réalité changeante de la situation. Cela signifie qu'un système pourrait paraître équitable dans un test spécifique, mais être profondément défaillant dans un autre, simplement parce que le test ne correspondait pas aux conditions réelles où la preuve était plus forte ou plus faible.

Les chercheurs ont également examiné si le changement de nom des champs de données pouvait stopper ce comportement. Lorsqu'ils ont étiqueté les indices de type « proxy » avec des termes socialement chargés comme « quartier » ou « profession » au lieu de termes médicaux neutres, les modèles ont réduit leur dépendance à ces derniers. Cela ressemblait à une fonction de sécurité au premier abord. Cependant, l'étude a révélé que cette suppression était fragile et facilement rompue. Lorsque les chercheurs ont ajouté des exemples dans l'invite pour aider les modèles à comprendre la tâche — une pratique courante dans les applications du monde réel — les modèles se sont immédiatement remis à s'appuyer sur les étiquettes sociales, ignorant souvent l'effet protecteur des noms. Toutefois, l'étude a noté que le contraste entre les étiquettes sociales et neutres persistait dans trois des six cas où des exemples étaient fournis, indiquant que la suppression n'était pas complètement effacée mais significativement affaiblie. Cela suggère que la sécurité apparente de ces modèles est une réaction superficielle à une formulation spécifique plutôt qu'une compréhension profonde et fiable de l'équité. Les modèles pouvaient être trompés vers un comportement injuste simplement en changeant le contexte dans lequel on les sollicitait.

De plus, l'étude a montré que l'exactitude de la décision d'un modèle n'est pas un indicateur fiable de la manière dont il utilise l'information de façon équitable. Un modèle peut faire le bon choix pour les bonnes raisons, ou le mauvais choix pour les mauvaises raisons, et obtenir le même score. Dans certains cas, rendre la tâche plus difficile en ajoutant plus de points de données a rendu les modèles plus dépendants des proxys injustes, tandis que dans d'autres cas, cela a diminué leur dépendance. Cette incohérence signifie que le simple contrôle de l'exactitude d'un modèle ne nous dit pas s'il discrimine. Les chercheurs ont découvert que la relation entre le nombre de points de données qu'un modèle voit et la manière dont il les utilise dépend entièrement de la façon dont ces points de données sont connectés entre eux, un facteur qui varie considérablement dans les données médicales du monde réel.

En fin de compte, ce travail démontre que les méthodes actuelles d'audit de l'intelligence artificielle sont insuffisantes face à la complexité du déploiement dans le monde réel. L'étude prouve que sans un standard connu de ce que les preuves justifient, il est impossible de dire si un modèle est équitable ou s'il ignore simplement des données utiles. Les conclusions suggèrent que les configurations les plus sûres en apparence pour ces modèles — celles qui semblent les plus résistantes aux biais dans des tests simples — sont souvent celles qui sont les moins représentatives de leur comportement réel dans un hôpital ou une banque. La recherche conclut que pour véritablement comprendre et réguler ces systèmes, nous devons aller au-delà des simples vérifications de biais et développer des moyens de mesurer si la dépendance d'un algorithme à une information spécifique correspond à la valeur réelle de cette information. Tant que nous ne pourrons pas le faire, nous risquons soit de punir des systèmes pour leur rationalité, soit, plus dangereusement, de faire confiance à des systèmes qui prennent des décisions injustes de manière silencieuse, basées sur une compréhension fragile du monde.