Résumé technique : Chaque acte a son prix : La composition morale compressée dans les LLM de pointe

Énoncé du problème

Les évaluations morales existantes pour les modèles de langage étendu (LLM) reposent principalement sur des classements d'actes isolés. Dans ces audits standards, les modèles choisissent entre deux options, chacune contenant un seul acte moral focal. Bien que cette approche permette d'établir efficacement des hiérarchies de préférence pour des actes individuels ou des fondements moraux (ex. : Soin, Équité), elle ne parvient pas à capturer la manière dont les modèles traitent une preuve morale composée.

La prise de décision morale dans le monde réel implique souvent la comparaison d'options où plusieurs signaux moraux coexistent au sein d'un même choix (ex. : une option combinant un acte extrêmement positif avec une violation mineure versus une option comprenant deux actes positifs modérés). Les méthodologies actuelles ne peuvent déterminer si les modèles se contentent d'additionner ces signaux, s'ils décountent les composantes secondaires, ou s'ils permettent à l'acte le plus fort de dominer l'ensemble de l'option. Par conséquent, le classement d'un modèle pour des actes isolés ne prédit pas nécessairement ses jugements lorsque ces actes sont composés. Cet article traite de la lacune de compréhension de la manière dont les LLM de pointe composent plusieurs actes moraux calibrés en jugements composites.

Méthodologie : MORAL TROLLEY ARENA

Pour mesurer la composition morale, les auteurs introduisent MORAL TROLLEY ARENA, un benchmark ELO à deux étapes en aveugle conçu pour lier la calibration au niveau de l'acte au jugement composite. Le cadre utilise la Théorie des Fondements Moraux (MFT) couvrant cinq fondements : Soin (Care), Équité (Fairness), Loyauté (Loyalty), Autorité (Authority) et Sainteté (Sanctity).

1. Construction des scénarios

Le benchmark utilise un corpus de 229 scénarios moraux centrés sur la personne dérivés de vignettes psychologiques établies (Clifford et al., 2015 ; Young & Saxe, 2011 ; Hofmann et al., 2014) et augmentés de cas ancres. Chaque scénario est assigné un fondement MFT primaire et une étiquette d'intensité sémantique allant de $-2$ (faute extrême) à $+2$ (vertu exceptionnelle).

2. Protocole d'arène à deux étapes

Le benchmark fonctionne via deux arènes liées utilisant un protocole de mise à jour ELO par paires en aveugle (similaire à Chatbot Arena) :

• Étape A : Calibration de scène unique

  • Objectif : Établir une « force de composante » de base pour chaque acte atomique.
  • Processus : Les 229 scénarios sont évalués de manière isolée via des combats par paires en aveugle. Les étiquettes de fondement sont cachées au modèle.
  • Résultat : Un score ELO calibré pour chaque scénario, représentant son poids moral indépendamment de la composition.

• Étape B : Arène composite

  • Objectif : Mesurer comment les modèles négocient plusieurs actes lorsqu'ils sont présentés ensemble.
  • Processus : Les actes calibrés sont combinés en items moraux à deux actes. Les auteurs ont construit une grille contrôlée de 160 profils composites en croisant les $\binom{5}{2}=10$ paires de fondements avec 16 configurations d'intensité non neutres ($\{-2, -1, +1, +2\}^2$).
  • Protocole : Les modèles jugent 1 200 combats de type composite contre composite. Les étiquettes de fondement restent cachées.
  • Résultat : Un score ELO composite pour chaque profil, reflétant le jugement intégré du modèle.

3. Cadre analytique

Les auteurs analysent la relation entre les ELO de scène unique (force de la composante) et les ELO composites en utilisant quatre signaux spécifiques :

1. Règle de composition compressée : Tester si l'ELO composite est une fonction linéaire des ELO des composantes ($E_c = \beta(E_{s1} + E_{s2}) + \alpha$).
2. Résidus de fondement : Mesurer les écarts par rapport à la prédiction linéaire après contrôle de la force de la composante pour identifier le pondération spécifique aux fondements.
3. Ancrage d'intensité : Investiguer les effets non additifs où des configurations d'intensité spécifiques (ex. : $+2, -1$) produisent des résultats différents d'autres configurations avec des sommes de composantes identiques (ex. : $+1, +1$).
4. Convergence inter-modèles : Évaluer la corrélation des surfaces de préférence composite entre les différents fournisseurs de modèles.

Contributions clés

1. Benchmark MORAL TROLLEY ARENA : Un nouveau benchmark ELO à deux étapes en aveugle qui déplace l'audit moral des classements d'actes isolés vers les jugements sur des preuves morales composées.
2. Caractérisation des règles de composition : Les auteurs identifient que les jugements composites suivent une fonction linéaire compressée des forces de composantes plutôt qu'un simple modèle additif.
3. Découverte de l'ancrage d'intensité : L'étude révèle que les modèles présentent un ancrage d'intensité non additif, où des profils possédant une composante positive extrême et une composante négative légère ($+2, -1$) surpassent des profils avec deux composantes positives modérées ($+1, +1$), malgré des sommes de composantes identiques.
4. Résidus de fondement : En contrôlant la force de la composante, les auteurs isolent des résidus bornés, trouvant un résidu positif pour la Loyauté et un résidu négatif pour le Soin, tandis que les autres fondements s'alignent étroitement sur les prédictions linéaires.
5. Convergence inter-fournisseurs : Les surfaces de préférence composite montrent une haute convergence (moyenne de $r = 0,939$) à travers dix modèles de pointe provenant de neuf fournisseurs différents, suggérant que ces comportements de composition sont des propriétés partagées par les modèles de pointe actuels.

Résultats

L'étude a évalué dix modèles de pointe (incluant Claude-Sonnet-4.6, GPT-5.2, Gemini-2.5-Pro, etc.), générant un corpus de 29 134 jugements par paires en aveugle.

• Intégration compressée : À travers tous les modèles, la pente ($\beta$) de la relation linéaire entre les sommes d'ELO des composantes et les ELO composites était systématiquement inférieure à 1 ($\bar{\beta} = 0,862$). Cela indique que les modèles compressent les preuves morales combinées plutôt que de les sommer linéairement.
• Ancrage d'intensité : Une déviation significative de la monotonie a été observée. Les profils avec une somme d'intensité $s=+1$ (dominés par une paire $+2/-1$) ont reçu des ELO composites plus élevés ($1098,4$) que les profils avec $s=+2$ (dominés par des paires $+1/+1$, $1063,4$), malgré des sommes d'ELO de composantes presque identiques. Cela suggère qu'une ancre de haute intensité dirige le jugement plus que la somme agrégée.
• Résidus de fondement : En contrôlant la force de la composante, la Loyauté a présenté un résidu positif ($+9,58$), indiquant qu'elle reçoit un poids supplémentaire dans les jugements composites. Inversement, le Soin a montré un résidu négatif ($-9,22$).
• Convergence : Les vecteurs ELO composites à 160 dimensions à travers les modèles étaient hautement corrélés (moyenne $r=0,939$), indiquant que le comportement de composition extrait est robuste à travers différentes architectures de modèles et pipelines d'entraînement.

Signification et affirmations

L'article soutient que les audits moraux doivent évoluer au-delà de la vérification des classements d'actes isolés pour mesurer les règles de composition. Les conclusions suggèrent que :

• Les classements simples sont insuffisants : La préférence d'un modèle pour des actes isolés ne prédit pas pleinement son comportement lorsque plusieurs signaux moraux sont présents dans la même option.
• La composition est non linéaire : Les modèles n'additionnent pas simplement les valeurs morales ; ils compressent les preuves et sont influencés par l'ancrage d'intensité.
• Primitives comportementales partagées : La cohérence de ces règles de composition à travers divers modèles de pointe implique que ce sont des propriétés fondamentales des architectures de LLM actuelles, ce qui a des implications sur la manière dont les preuves morales s'accumulent, dominent ou s'annulent dans les sociétés d'agents complexes et les pipelines de propagation de biais.

Les auteurs maintiennent une portée modeste, notant que le benchmark mesure les choix révélés sous un cadrage de type « dilemme du tramway » et ne constitue pas une théorie complète de la moralité des modèles. Ils reconnaissent des limites concernant l'échelle d'intensité à 5 niveaux, l'utilisation de scénarios étiquetés par des LLM pour l'intensité, et l'exclusion des modèles plus petits à poids ouverts et des contextes multilingues.