🤖 AI

Whose Alignment? Comparing LLM Process Alignment Across Diverse Organizational Decision Contexts

Cet article soutient que l'alignement des LLM sur la prise de décision organisationnelle nécessite de mesurer l'alignement des processus (la manière dont l'information est pondérée) plutôt que simplement l'accord sur les résultats, démontrant par le biais d'études de cas contrastées que, si l'alignement des processus prédit la précision dans des contextes juridiques, il peut encoder des schémas discriminatoires dans des domaines contestés comme le crédit à la consommation, révélant ainsi la nature pluraliste de l'alignement organisationnel.

Auteurs originaux : Niklas Weller, Emilio Barkett

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Niklas Weller, Emilio Barkett

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez un nouvel assistant pour aider votre entreprise à prendre des décisions importantes. Vous souhaitez que cet assistant pense et décide exactement comme votre entreprise.

La plupart des gens pensent que l'« alignement » signifie simplement : « L'assistant donne-t-il la même réponse finale (Oui/Non) que l'entreprise ? »

Ce document soutient que c'est une façon dangereuse de considérer les choses. C'est comme juger un chef uniquement sur le fait que la nourriture a bon goût, sans vérifier s'il a utilisé les bons ingrédients ou suivi la recette. Les auteurs proposent une nouvelle façon de mesurer l'alignement, appelée CALM (Contextualized Alignment Lens Model). Au lieu de simplement vérifier la réponse finale, CALM examine comment l'assistant pèse les différents indices pour parvenir à cette réponse.

Voici la décomposition de leurs résultats à l'aide d'analogies simples :

Le problème central : Le piège de la « Bonne réponse, mauvaises raisons »

Imaginez un détective essayant de résoudre un crime.

L'Organisation (Le Chef) : Résout les affaires en examinant le motive et l'alibi.
L'IA (Le Nouveau Détective) : Résout les affaires en examinant la couleur de la chemise du suspect et l'heure de la journée.

Si le Chef et l'IA devinent « Coupable » pour les mêmes 80 % des affaires, ils semblent parfaitement alignés sur le papier. Mais l'IA utilise la mauvaise logique. Si un nouveau cas étrange survient où la couleur de la chemise n'a pas d'importance, l'IA échouera, tandis que le Chef réussira. Le document appelle cela le « Vide de connaissances ».

Les deux expériences

Les chercheurs ont testé cette idée dans deux mondes très différents pour voir si « penser comme le patron » compte vraiment.

Étude 1 : La Cour d'Assises (Décisions de la CEDH)

Le Contexte : Ils ont demandé à des modèles d'IA d'agir comme des juges à la Cour européenne des droits de l'homme.
L'Analogie : Pensez à cela comme un livre de recettes. Les règles pour juger ces affaires sont claires, écrites et stables. Tout le monde s'accorde sur les ingrédients (indices) qui comptent.
Le Résultat :

Lorsque les modèles d'IA ont été invités à penser comme les juges, ils s'en sont beaucoup mieux acquittés.
Le Lien Magique : Dans ce monde, si l'IA commençait à penser comme le juge (en utilisant les bons indices), elle obtenait presque toujours la bonne réponse.
À retenir : Lorsque les règles sont claires et acceptées, faire en sorte que l'IA « pense comme l'organisation » est un excellent moyen de la rendre précise.

Étude 2 : La Banque (Décisions de crédit allemandes)

Le Contexte : Ils ont demandé à des modèles d'IA d'agir comme une banque allemande des années 1990 décidant qui obtient un prêt.
L'Analogie : Pensez à cela comme une boussole cassée. Les anciennes règles de la banque étaient basées sur l'histoire, mais certaines de ces règles étaient injustes (discriminant les femmes, les personnes âgées ou les travailleurs étrangers). La « recette » était défectueuse.
Le Résultat :

Le Lien Magique s'est brisé : Ici, faire en sorte que l'IA « pense comme la banque » n'a pas rendu l'IA meilleure pour prédire qui rembourserait le prêt. L'IA pouvait penser exactement comme la banque et toujours donner la mauvaise réponse, ou penser différemment et donner la bonne réponse.
Le Bug de « Sur-correction » : Lorsqu'ils ont dit à un modèle : « Hé, vous rejetez trop de gens, corrigez cela », un modèle est devenu fou et a approuvé tout le monde (99,5 % des personnes), brisant complètement le système.
La Lutte pour l'Équité : Les modèles d'IA semblaient « savoir » que certaines des anciennes règles de la banque (comme juger en fonction du genre ou de l'âge) étaient injustes. Ils ont activement résisté à suivre les instructions de la banque sur ces points spécifiques.
À retenir : Dans des situations désordonnées et controversées, copier simplement le processus de pensée de l'organisation n'est pas toujours bon. Parfois, la « façon de penser » de l'organisation est en réalité le problème.

La Grande Conclusion

Le document conclut que nous ne pouvons pas simplement demander : « L'IA est-elle d'accord avec nous ? » Nous devons demander : « Aux valeurs de qui nous alignons-nous ? »

Dans des systèmes clairs et équitables (comme la Cour) : Aligner le processus de pensée de l'IA avec l'organisation est utile et la rend plus précise.
Dans des systèmes désordonnés et injustes (comme l'ancienne Banque) : Aligner le processus de pensée de l'IA avec l'organisation peut simplement faire de l'IA un meilleur discriminateur.

La Métaphore Finale :
Si vous entraînez un chien à rapporter une balle :

L'Étude 1 est comme entraîner le chien à rapporter une balle dans un parc. Si le chien apprend la bonne façon de rapporter, il récupère la balle à chaque fois.
L'Étude 2 est comme entraîner le chien à rapporter une balle qui est en réalité une bombe. Si le chien apprend à rapporter la bombe « exactement comme le propriétaire le veut », c'est un désastre.

Les auteurs disent que nous avons besoin d'un outil (CALM) pour vérifier comment l'IA pense, et non seulement ce qu'elle décide. Cela nous aide à voir si l'IA suit une bonne recette ou une mauvaise, ce qui est crucial pour des décisions à haut risque comme les prêts et les décisions judiciaires.

Résumé technique : L'alignement de qui ? Comparaison de l'alignement des processus des LLM à travers divers contextes décisionnels organisationnels

1. Énoncé du problème

Les cadres actuels d'alignement des systèmes d'IA avec les organisations traitent généralement l'alignement comme un problème à cible unique centré sur l'accord sur les résultats : garantir que le modèle aboutit aux mêmes conclusions que l'organisation. Les auteurs soutiennent que cette formulation occulte un défi plus profond et pluraliste : l'alignement des processus.

Les organisations encodent des politiques décisionnelles distinctes qui sont souvent tacites, historiquement contingentes et diffèrent systématiquement d'une institution à l'autre. Un LLM peut atteindre une haute précision des résultats tout en utilisant une « politique d'utilisation des indices » fondamentalement différente (pondérant les informations différemment) de celle de l'organisation. Cette divergence, qualifiée de fossé de connaissances, pose des risques pour la légitimité des processus, la généralisation à des cas nouveaux et la fiabilité dans les domaines réglementés. De plus, la recherche existante sur l'alignement pluraliste se concentre sur la pluralité interpersonnelle (agrégation des préférences individuelles) mais néglige largement la pluralité interorganisationnelle, échouant à déterminer quelles normes institutionnelles un modèle devrait adopter lorsque ces normes peuvent entrer en conflit avec des normes éthiques ou juridiques contemporaines.

2. Méthodologie : Le modèle de lentille d'alignement contextualisé (CALM)

Pour mesurer l'alignement des processus, les auteurs adaptent le modèle de lentille de Brunswik (Brunswik, 1952 ; Hammond et al., 1964). Au lieu de comparer les résultats finaux, le CALM estime et compare les politiques de pondération des indices des organisations et des LLM.

Estimation de la politique : En utilisant une régression logistique régularisée par ridge sur les décisions observées, les auteurs dérivent des vecteurs de coefficients ( $\beta$ ) représentant le poids attribué à des indices spécifiques (caractéristiques) à la fois pour le référentiel organisationnel et pour chaque LLM.
Métrique d'alignement : L'alignement est quantifié comme la similarité cosinus entre le vecteur de politique de l'organisation ( $\beta_{org}$ ) et le vecteur de politique du LLM ( $\beta_{LLM}$ ) :
$\cos(\theta) = \frac{\beta_{org} \cdot \beta_{LLM}}{\|\beta_{org}\| \|\beta_{LLM}\|}$
Cette métrique est invariante d'échelle et bornée dans $[-1, 1]$ , où 1,0 indique un alignement parfait.
Conditions expérimentales : Le cadre teste trois conditions :
1. Référence : Le modèle décide sur la base d'un profil de cas structuré (révélant les politiques implicites de pré-entraînement).
2. Externalisation organisationnelle : Le modèle reçoit la politique explicite de pondération des indices de l'organisation (dérivée de données historiques) comme guide avant la prise de décision.
3. Externalisation introspective : Le modèle est informé de la manière dont sa politique de référence diverge de celle de l'organisation et reçoit l'instruction de se corriger lui-même.

3. Contributions clés et résultats

L'article présente deux études empiriques pour tester la relation entre l'alignement des processus et la précision des résultats à travers différents domaines.

Étude 1 : Décisions de l'article 6 de la CEDH (Domaine juridique)

Contexte : 1 000 décisions de la Cour européenne des droits de l'homme concernant les droits à un procès équitable.
Résultats :
- Corrélation forte : L'alignement des processus prédit fortement la précision des résultats ( $r = 0,85, p < .001$ ). Les modèles qui pondèrent les indices de manière similaire à la cour atteignent une précision plus élevée.
- Externalisation efficace : Fournir explicitement la politique de l'organisation (« externalisation ») améliore considérablement l'alignement pour les modèles mal alignés (par exemple, GPT-5.4-nano a progressé de $\Delta = +0,906$ ).
- Effets de plafond : Les modèles déjà bien alignés ont montré des gains minimes, suggérant que l'externalisation est plus efficace pour combler le fossé de connaissances dans les modèles désalignés.

Étude 2 : Décisions de crédit à la consommation en Allemagne (Domaine financier)

Contexte : 1 000 décisions de crédit historiques d'une banque allemande (années 1990), contenant des indices qui sont désormais des attributs protégés par la loi antidiscrimination (par exemple, sexe, âge, statut de travailleur étranger).
Résultats :
- Découplage de l'alignement et de la précision : La relation entre l'alignement des processus et la précision des résultats s'est effondrée ( $r = 0,15, p = .60$ ). Des modèles avec des scores d'alignement des processus très différents ont atteint des taux de précision similaires (et uniformément faibles) (44–54 % contre un plafond de 75,1 %).
- Interventions incohérentes : L'externalisation a produit des effets incohérents. Alors que certains modèles se sont rapprochés de la politique, d'autres s'en sont davantage éloignés. Un modèle (Grok 4.1 Fast) a fait preuve d'une « surcorrection dégénérée », classant 99,5 % des cas comme un risque « Bon » en réponse à un retour sur les taux de base, inversant ainsi sa politique plutôt que de la calibrer.
- Tension sur l'équité : Les modèles ont souvent résisté à pondérer les attributs protégés (par exemple, le statut de travailleur étranger) de la même manière que le référentiel historique, suggérant un conflit entre l'alignement des processus organisationnels et l'alignement de sécurité au niveau du modèle.

4. Signification et affirmations

Les auteurs affirment que la mesure au niveau des processus est une composante nécessaire de toute évaluation d'alignement pluraliste, en particulier dans des contextes organisationnels à haut risque. La thèse centrale est que un alignement plus élevé n'est pas souhaitable de manière inconditionnelle ; cela dépend de savoir si la politique organisationnelle elle-même encode des valeurs légitimes.

Fonction double du CALM :
- Outil de calibration : Dans les domaines avec des référentiels normatifs stables et légitimes (par exemple, la CEDH), le CALM quantifie la divergence des politiques et guide l'externalisation pour combler l'écart.
- Outil d'audit : Dans les domaines avec des référentiels contestés ou discriminatoires (par exemple, le crédit allemand), le CALM rend les politiques comportementales lisibles, permettant aux parties prenantes d'examiner si un modèle reproduit fidèlement une discrimination historique ou y résiste.
Le problème de la « fidélité » : L'article souligne que l'accord sur les résultats ne peut distinguer entre un modèle qui a intériorisé une politique organisationnelle et un modèle qui se contente d'approximer les résultats. De plus, il existe un risque que le raisonnement déclaré d'un modèle (Chaîne de Pensée) diverge de sa politique comportementale réelle, rendant la mesure comportementale via le CALM essentielle.
Implications pour la gouvernance : L'ouvrage soutient que la gouvernance de l'IA doit aller au-delà des métriques de résultats (précision, parité démographique) pour inclure la légitimité des processus. Les organisations doivent spécifier explicitement quelle version de leur politique décisionnelle sert de cible d'alignement, reconnaissant que les pratiques historiques peuvent entrer en conflit avec les normes éthiques ou réglementaires actuelles.

L'article conclut que l'alignement organisationnel n'est pas un problème technique unique, mais un défi pluraliste nécessitant une mesure empirique de qui adopte les normes institutionnelles, quelle politique est encodée, et du point de vue de qui l'alignement est évalué.