Aligning Large Language Model Agents with Rational and Moral Preferences: A Supervised Fine-Tuning Approach

Cette étude propose une approche d'affinage supervisé qui aligne les agents basés sur les grands modèles de langage avec des préférences économiques rationnelles ou morales, en générant des stratégies optimales selon les modèles d'*homo economicus* et d'*homo moralis* pour induire des comportements stratégiques cohérents et interprétables dans des environnements économiques.

L'essentiel

Le Titre : "Donner une boussole morale et rationnelle aux IA"

Imaginez que les Intelligences Artificielles (IA), et plus particulièrement les "agents autonomes" (des robots logiciels qui prennent des décisions seuls), sont comme de nouveaux employés très intelligents que nous engageons pour gérer nos entreprises, fixer les prix de nos produits ou même conduire nos voitures.

Le problème ? Ces employés sont un peu trop gentils ou trop confus quand il s'agit de jouer le jeu de l'économie.

1. Le Problème : L'IA est trop "gentille" (et pas assez stratégique)

Dans l'article, les chercheurs ont observé que les IA du commerce (comme GPT-4) se comportent bizarrement dans des jeux économiques classiques.

• L'analogie : Imaginez un jeu de "Dilemme du Prisonnier" (où deux suspects doivent choisir de se trahir ou de coopérer). Un humain rationnel calculera : "Si je me tais, je risque de me faire avoir, donc je vais me trahir pour me protéger."
• La réalité de l'IA : L'IA, elle, dit : "Oh, on va tous coopérer ! C'est plus gentil !" même si cela lui coûte de l'argent. Elle ignore les incitations financières et refuse de jouer le jeu stratégique. Elle est comme un enfant qui partage ses bonbons même si les autres ne le méritent pas.

2. La Solution : L'entraînement sur mesure (Le "Fine-Tuning")

Les chercheurs ne veulent pas juste donner des ordres à l'IA (ce qu'on appelle le "prompting"). C'est comme donner un mode d'emploi à un employé : il peut l'oublier ou mal l'interpréter.
À la place, ils ont décidé de rééduquer l'IA.

Ils ont créé une petite "école" virtuelle avec seulement 400 exercices (un nombre très faible pour une IA) basés sur des théories économiques précises. Ils ont enseigné à l'IA deux types de personnalités :

• Type A : "Homo Economicus" (Le Rationnel)
  • L'analogie : C'est le capitaliste pur. Son seul but est de maximiser son propre profit. Il ne se soucie pas des autres, sauf si cela l'aide à gagner de l'argent. Il est froid, calculateur et très réactif aux prix.
• Type B : "Homo Moralis" (Le Moral)
  • L'analogie : C'est le citoyen éthique inspiré du philosophe Kant. Il se demande : "Et si tout le monde agissait comme moi ?". S'il pense que mentir est mal, il ne mentira pas, même si cela lui rapporte de l'argent, car il veut que cette règle s'applique à tout le monde. Il cherche l'équilibre entre son intérêt et le bien commun.

3. Les Résultats : Des IA qui ont enfin un "caractère"

Après cet entraînement, les chercheurs ont testé ces IA dans des situations réelles :

• Le Test de la Voiture Autonome (Le Dilemme Moral) :

  • La situation : Une voiture doit choisir entre écraser 10 piétons ou tuer son passager (vous ou votre famille).
  • L'IA de base : Elle dit toujours "sauvez les piétons", même si c'est votre famille dans la voiture. Elle est trop idéaliste.
  • L'IA "Rationnelle" : Elle dit : "Si c'est ma famille, je protège ma famille. Si ce sont des inconnus, je sauve le plus grand nombre." Elle adapte son comportement à l'enjeu personnel.
  • L'IA "Morale" : Elle reste cohérente. "Je protège le plus grand nombre, peu importe qui est dans la voiture." Elle applique sa règle universelle.

• Le Test de la Guerre des Prix (La Concurrence) :

  • La situation : Deux entreprises vendent le même produit. Doivent-elles s'entendre pour fixer un prix haut (collusion) ou se faire concurrence ?
  • L'IA de base : Elle a tendance à fixer des prix très hauts, presque comme un monopole, ce qui est dangereux pour le marché.
  • L'IA "Rationnelle" : Elle joue le jeu de la concurrence. Si on lui demande de faire baisser les prix, elle le fait agressivement.
  • L'IA "Morale" : Elle est plus stable. Elle ne change pas radicalement ses prix selon les conseils qu'on lui donne. Elle évite les extrêmes, ce qui peut empêcher les ententes illicites (collusion) tout en restant compétitive.

4. Pourquoi c'est important ?

Cet article nous dit que choisir comment nous formons nos IA est un choix stratégique, pas juste technique.

• Si vous voulez un agent de vente qui maximise vos profits à tout prix, vous devez l'entraîner comme un "Homo Economicus".
• Si vous voulez un agent qui gère des dilemmes éthiques (comme une voiture autonome) de manière cohérente, vous devez l'entraîner comme un "Homo Moralis".

En résumé :
Au lieu de laisser les IA agir au hasard ou avec une "gentillesse" maladroite, les chercheurs montrent qu'on peut leur donner une boussole interne précise. C'est comme choisir entre élever un enfant pour qu'il soit un entrepreneur ambitieux ou un citoyen responsable. Le résultat dépend de l'éducation (l'entraînement) qu'on lui donne, et cela change tout à la façon dont ils interagissent avec le monde.

Résumé technique

---

1. Problématique

L'essor des agents autonomes basés sur les grands modèles de langage (LLM) dans les marchés et les organisations soulève des inquiétudes concernant leur comportement dans des environnements stratégiques. Les auteurs constatent que les LLM « hors de la boîte » (off-the-shelf), comme GPT-4o, présentent des déviations systématiques par rapport à un comportement sensible aux incitations économiques :

• Coopération excessive : Ils coopèrent trop souvent dans des jeux comme le Dilemme du Prisonnier, même lorsque la trahison est rationnelle.
• Insensibilité aux incitations : Leurs choix ne s'ajustent pas correctement aux changements de structures de gains (payoffs).
• Incohérence croyance-action : Leurs croyances sur le comportement des autres ne correspondent pas à leurs propres actions.

Le problème central est que les méthodes d'alignement actuelles (comme le RLHF - Reinforcement Learning from Human Feedback) sont conçues pour des assistants conversationnels (aide, honnêteté, innocuité) et ne capturent pas les structures de gains ou les considérations d'équilibre stratégique nécessaires aux agents économiques. L'objectif de l'article est de proposer une méthode pour aligner les agents LLM sur des fonctions d'utilité explicites et théoriques (économiques et morales) afin de générer des comportements stratégiques cohérents et interprétables.

2. Méthodologie

Les auteurs développent un pipeline de fine-tuning supervisé (SFT) basé sur des données synthétiques générées à partir de la théorie économique, plutôt que sur des annotations humaines.

A. Modèles de préférence théoriques

Deux types d'agents sont définis selon des spécifications utilitaires issues de la théorie économique comportementale :

1. Homo Economicus : L'agent maximise strictement son propre intérêt (utilité propre).
2. Homo Moralis : L'agent maximise une utilité combinant son intérêt propre et une préoccupation morale de type kantien (universalisabilité). Il pèse ce qui se passerait si tous les agents adoptaient la même stratégie.

B. Génération de données d'entraînement

• Source : Les données sont générées en résolvant des jeux économiques canoniques (Dilemme du Prisonnier Séquentiel, Jeu de Confiance, Jeu de l'Ultimatum) sous les deux fonctions d'utilité ci-dessus.
• Processus : Pour chaque configuration de gains (payoffs), le modèle calcule la stratégie optimale (réponse meilleure) pour chaque type d'agent.
• Format : Le jeu de données contient 400 exemples par type d'agent. Chaque exemple est une conversation structurée (System, User, Assistant) incluant un raisonnement étape par étape (Chain-of-Thought) justifiant l'action optimale basée sur la fonction d'utilité cible.

C. Fine-tuning

Le modèle de base GPT-4o est fine-tuné sur ces données synthétiques. L'objectif est d'internaliser la logique de décision (maximisation de l'utilité) directement dans les paramètres du modèle, plutôt que de dépendre de l'instruction via le prompt (prompt engineering).

D. Évaluation

L'évaluation se fait sur trois niveaux :

1. Jeux économiques : Comparaison des stratégies et des croyances des agents fine-tunés par rapport à GPT-4o de base et aux données humaines.
2. Dilemmes moraux (Moral Machine) : Test de la cohérence entre le jugement moral et les préférences d'achat dans des scénarios de véhicules autonomes.
3. Collusion algorithmique : Simulation d'un jeu de fixation de prix en duopole répété pour observer les dynamiques de collusion tacite.
4. Benchmarks de sécurité : Vérification que l'alignement économique n'altère pas la sécurité (hallucinations, biais, refus excessifs).

3. Résultats Clés

A. Performance dans les jeux économiques

• GPT-4o de base : Coopère excessivement et ignore les incitations financières.
• Agents fine-tunés :
  • L'agent Rationnel adopte un comportement de maximisation de l'utilité propre, refusant de coopérer lorsque la trahison est dominante, et ajustant ses croyances de manière cohérente.
  • L'agent Moral montre des taux de coopération élevés lorsque l'universalisation de la coopération est bénéfique, mais réduit la coopération lorsque la logique kantienne l'exige (ex: trahir si tous trahissent).
  • Les agents fine-tunés sont plus cohérents (croyances-actions alignées) et plus sensibles aux incitations que le modèle de base.

B. Application au Moral Machine (Véhicules Autonomes)

• Jugement moral : Tous les agents (y compris le de base) privilégient l'option utilitariste (sauver plus de vies) dans l'abstrait.
• Comportement d'achat (Préférences révélées) :
  • Le modèle de base montre une asymétrie : il préfère acheter des véhicules utilitaristes même pour lui-même, ce qui est incohérent avec les préférences humaines (qui préfèrent la sécurité personnelle).
  • L'agent Rationnel montre une sensibilité contextuelle : il est prêt à acheter un véhicule utilitariste pour des collègues (87,5 %) mais beaucoup moins pour sa famille (20 %), reflétant une maximisation d'utilité personnelle face au risque.
  • L'agent Moral maintient des préférences stables et cohérentes (environ 65-67 % d'achat utilitariste) quel que soit le passager, respectant le principe d'universalisation.

C. Collusion Algorithmique (Duopole)

• GPT-4o de base : Tendance forte à la collusion tacite, fixant des prix proches du niveau de monopole, surtout sous des incitations à long terme.
• Agent Rationnel : Se comporte de manière stratégique, convergeant vers l'équilibre de Nash sous des incitations compétitives et maintenant une collusion modérée sous des incitations coopératives.
• Agent Moral : Présente une stabilité des prix supérieure. Il est moins sensible aux changements de prompts (coopération vs compétition) et fixe des prix plus bas (parfois en dessous de Nash) sous des incitations compétitives, évitant ainsi les dynamiques de collusion extrême.

D. Impact sur la sécurité

Le fine-tuning sur des préférences économiques n'a pas dégradé les performances de sécurité. Au contraire, les agents fine-tunés ont montré une meilleure résistance aux jailbreaks, une réduction des biais sociaux (BBQ) et une meilleure calibration des refus (XSTest) par rapport au modèle de base, tout en conservant une précision factuelle similaire.

4. Contributions Principales

1. Changement de paradigme de l'alignement : Passage d'une approche de « post-entraînement » (ajustement des sorties via le feedback) à une approche de « conception pré-déploiement » (intégration de fonctions d'utilité normatives dans le modèle).
2. Méthode de fine-tuning interprétable : Démonstration qu'un petit jeu de données synthétique (400 exemples) basé sur la théorie économique suffit à induire des changements comportementaux profonds et interprétables.
3. Preuve de concept sur la cohérence stratégique : Les agents alignés sur des préférences explicites sont plus cohérents, moins sujets aux biais de coopération excessive et plus sensibles aux incitations que les modèles de base.
4. Implications pour la régulation et le design : La méthode offre un cadre pour concevoir des agents IA dont les objectifs stratégiques sont transparents et alignés avec des normes économiques ou morales spécifiques, réduisant les risques de collusion ou de comportements incohérents.

5. Signification et Conclusion

Cet article démontre que l'alignement des agents LLM dans des environnements multi-agents ne doit pas seulement viser la sécurité ou l'utilité humaine générale, mais doit intégrer des structures de préférences formelles.

• Pour les organisations : Il est possible de « programmer » des agents pour qu'ils adoptent des comportements spécifiques (ex: concurrence agressive vs coopération morale) via un fine-tuning ciblé, ce qui est crucial pour les applications en finance, en négociation ou en tarification.
• Pour la recherche : L'étude valide l'utilisation de la théorie économique pour guider l'alignement de l'IA, offrant une alternative aux méthodes de renforcement complexes (RL) par une approche supervisée légère et interprétable.
• Limites : Les agents sont construits sur des modèles de base déjà alignés par RLHF (OpenAI), ce qui signifie que leurs préférences sont modulées dans un espace de comportement déjà contraint. Néanmoins, la méthode prouve que des ajustements mineurs peuvent orienter significativement le comportement stratégique.

En résumé, l'article propose une voie prometteuse pour transformer les LLM d'assistants passifs en acteurs stratégiques cohérents, dont les décisions peuvent être prédites et alignées sur des objectifs économiques et éthiques précis.