Fairness Hazard Analysis for Socio-Technical Processes: A Multiple-Case Study in Bias-sensitive Organisational Settings

Résumé technique : Analyse des dangers liés à l'équité pour les processus socio-techniques

Énoncé du problème
L'équité est de plus en plus reconnue comme une exigence critique dans les processus socio-techniques, où les décisions émergent de l'interaction entre les acteurs humains, les procédures organisationnelles, les systèmes logiciels et les technologies d'IA. Bien que la recherche sur l'équité algorithmique ait produit des métriques et des techniques d'atténuation principalement destinées aux modèles d'IA ou aux ensembles de données, il existe un manque de méthodes opérationnelles permettant aux ingénieurs des exigences d'identifier et de traiter systématiquement les dangers liés à l'équité à travers l'ensemble du flux de travail socio-technique. Les problèmes d'équité non traités peuvent s'accumuler sous forme de « dette d'équité », entraînant un biais systémique au fil du temps. Les approches actuelles traitent souvent l'équité comme une préoccupation d'évaluation post-hoc plutôt que comme une propriété conçue dès le départ, et les méthodes existantes de génie des exigences orientées vers les objectifs offrent un soutien limité pour analyser comment les risques se propagent et s'accumulent à travers les flux de travail.

Méthodologie : Analyse des dangers liés à l'équité (FHA - Fairness Hazard Analysis)
Cet article introduit et évalue la Fairness Hazard Analysis (FHA), une méthodologie adaptée de l'analyse préliminaire des dangers (PHA) de l'ingénierie de la sécurité. La FHA traite les déficiences d'équité comme des conditions de type « danger » pouvant survenir et se propager à travers les processus socio-techniques. La méthodologie suit un processus structuré et itératif en quatre étapes :

1. Définition du système : Le processus socio-technique est modélisé, incluant les acteurs, les activités, les flux d'informations et les points de décision.
2. Identification des dangers liés à l'équité : Les analystes examinent chaque étape du processus pour identifier les dangers potentiels liés à l'équité. Cette étape s'appuie sur de multiples sources de preuves, notamment des études empiriques sur la dette d'équité, les politiques organisationnelles, les directives réglementaires et les perspectives des parties prenantes. Crucialement, elle distingue le biais indésirable de la différenciation contextuellement justifiée.
3. Évaluation des dangers liés à l'équité : Les dangers identifiés sont analysés pour leurs conséquences, leurs chemins de propagation, la gravité de leur impact et leur probabilité. Une matrice de risque qualitative (combinant impact et probabilité) est utilisée pour prioriser les dangers.
4. Planification de l'atténuation : Des actions de contrôle au niveau des exigences sont définies pour prévenir, détecter ou compenser les résultats injustes. Ces atténuations peuvent impliquer des changements procéduraux, des mécanismes de surveillance humaine ou des interventions techniques (ex. : ingénierie de prompt, points de contrôle de transparence).

L'étude a opérationnalisé la FHA via une étude de cas qualitative multiple impliquant deux organisations distinctes : l'Organisation A (un fabricant de machines du secteur privé) et l'Organisation B (une institution d'enseignement supérieur publique). L'opérationnalisation a impliqué cinq phases : (1) groupes de discussion exploratoires pour l'élicitation des flux de travail ; (2) reconstruction et modélisation des flux de travail (en utilisant des diagrammes d'activité UML) ; (3) validation des flux de travail par le personnel de l'organisation ; (4) application indépendante de la FHA par deux chercheurs suivie d'une recherche de consensus ; et (5) sessions de feedback où les praticiens ont évalué le réalisme des dangers et la faisabilité des atténuations proposées.

Principales contributions
L'article étend les travaux précédents sur la FHA (validée au niveau de maturité technologique TRL 3) au niveau TRL 5 en appliant la méthode à de réels flux de travail organisationnels. Les principales contributions incluent :

• Méthodologie raffinée : Un processus FHA élargi et affiné qui intègre l'élicitation et la validation des flux de travail organisationnels et clarifie les rôles complémentaires des membres de l'organisation et des experts en FHA.
• Validation empirique : Une étude de cas qualitative multiple démontrant l'application de la FHA dans deux contextes de recrutement réels.
• Caractérisation des dangers : Une taxonomie des dangers liés à l'équité émergeant dans les flux de travail réels, distinguant les modèles récurrents (ex. : lacunes de gouvernance de processus, évaluation subjective) et les dangers spécifiques au contexte (ex. : l'établissement de l'agenda institutionnel dans le milieu académique).
• Modèles d'atténuation : Identification de stratégies d'atténuation transférables, telles que la revue indépendante, les mécanismes de décision collective et la standardisation de l'évaluation.
• Perspectives des praticiens : Une analyse de la perception par les praticiens de l'utilité, de la clarté et de l'applicabilité de la FHA, soulignant la nécessité de la validation contextuelle et de la distinction entre l'acceptation du danger et la faisabilité de l'atténuation.

Résultats

• Identification des dangers : Dans l'Organisation A, la FHA a identifié 15 dangers affectant environ 27 % des éléments du processus. Dans l'Organisation B, 14 dangers ont été identifiés, affectant 17 % des éléments.
• Synthèse inter-cas : Huit catégories de dangers récurrentes ont été identifiées dans les deux organisations, incluant les lacunes de gouvernance de processus, l'accès inégal aux opportunités, la spécification biaisée des exigences de poste, le biais de contenu médié par l'IA, et les effets de charge cognitive ou d'ordre. Trois catégories étaient spécifiques au contexte (ex. : biais de format de représentation dans l'Organisation A ; biais d'agenda institutionnel dans l'Organisation B).
• Stratégies d'atténuation : Les catégories d'atténuation récurrentes comprenaient la gouvernance et la responsabilité, la revue indépendante, la transparence, la standardisation de l'évaluation et la surveillance de l'IA. Bien que les dangers soient souvent dépendants du contexte, les stratégies d'atténuation ont convergé vers un ensemble stable d'interventions organisationnelles.
• Feedback des praticiens : Les praticiens ont généralement jugé les dangers identifiés réalistes et la méthodologie utile pour la sensibilisation. Cependant, ils ont souligné que la faisabilité des atténuations dépend fortement de l'adéquation organisationnelle, des contraintes de ressources et des pratiques existantes. Par exemple, un format de candidature standard a été jugé irréaliste pour l'Organisation A malgré la validité du danger associé, en raison de conflits avec leur culture de recrutement personnalisée.
• Valeur réflexive : Au-delà de la génération de listes de dangers, la FHA a rempli une fonction réflexive, aidant les organisations à faire émerger des risques sous-examinés (particulièrement concernant l'IA générative) et à reconnaître explicitement les pratiques existantes qui fonctionnent déjà comme des garde-fous d'équité.

Signification et affirmations
L'article affirme que la FHA fournit une méthodologie structurée et empiriquement validée pour intégrer les considérations d'équité dans le génie des exigences. Il soutient que l'équité ne peut être traitée uniquement comme une propriété technique des modèles d'IA mais doit être conçue comme une préoccupation socio-technique impliquant les procédures organisationnelles et la prise de décision humaine.

L'étude fait progresser la validation de la FHA d'une preuve de concept (TRL 3) vers une validation dans un environnement organisationnel pertinent (TRL 5). Les auteurs affirment modestement que les catégories de dangers et d'atténuation identifiées doivent être considérées comme des « ressources analytiques préliminaires » ou des « modèles réutilisables » plutôt que des classifications exhaustives. Ils soulignent que l'applicabilité de la FHA ne provient pas de la production de listes universellement valides, mais de la fourniture d'une base structurée pour examiner des flux de travail concrets, de confronter l'analyse aux connaissances organisationnelles et d'adapter les interventions à des contextes spécifiques. L'article conclut que bien que la FHA soutienne l'identification des risques et la dérivation des exigences, des travaux futurs sont nécessaires pour mettre en œuvre ces atténuations et évaluer leur impact réel sur les résultats d'équité.