The Illusion of Collusion

Cette étude démontre que des agents algorithmiques apprenant sans modèle préalable peuvent développer une « collusion naïve » dans des jeux répétés, un phénomène dont l'émergence dépend crucialement de la synchronisation des actions et du type de politique d'apprentissage utilisée, allant de l'absence totale de collusion avec des algorithmes persistamment aléatoires à une collusion systématique avec des algorithmes déterministes comme UCB.

L'essentiel

🎭 L'Illusion de la Collusion : Quand les Robots se mettent d'accord sans se parler

Imaginez deux vendeurs sur un marché, disons Pierre et Paul. Ils vendent exactement la même chose. Aujourd'hui, ils n'utilisent plus d'humains pour fixer leurs prix, mais des robots intelligents (des algorithmes) qui apprennent tout seuls en faisant des essais et des erreurs.

La grande question de cet article est la suivante : Est-il possible que ces robots, sans jamais se parler, sans se connaître et sans avoir reçu d'ordre de collusion, finissent par se mettre d'accord pour fixer des prix très élevés, au détriment des clients ?

La réponse des auteurs est surprenante : OUI. Et ce n'est pas parce qu'ils sont malveillants, mais à cause de la façon dont ils sont programmés pour apprendre.

Voici comment cela fonctionne, expliqué avec des métaphores simples.

---

1. Le Jeu de la "Prison" (Le Dilemme du Prisonnier)

Pour étudier cela, les chercheurs utilisent un jeu classique : le Dilemme du Prisonnier.

• L'option "Coopérer" (H) : C'est comme si les deux vendeurs mettaient un prix ÉLEVÉ. Ils gagnent beaucoup d'argent tous les deux.
• L'option "Tricher" (L) : C'est comme si l'un des deux baissait son prix pour voler la clientèle de l'autre. Il gagne énormément, et l'autre perd tout.
• Le piège : Si les deux trichent (baissent les prix), ils finissent par gagner très peu, voire rien.

Dans un monde humain, si Pierre et Paul se parlent, ils peuvent se dire : "Restons chers, c'est mieux pour nous". C'est de la collusion illégale. Mais ici, nos robots sont naïfs. Ils ne se parlent pas. Ils ne savent même pas que l'autre existe. Ils ne voient que leur propre porte-monnaie.

2. Comment les robots apprennent-ils ? (Les trois types de "personnalités")

Les chercheurs ont testé trois types de robots avec des "personnalités" différentes pour voir comment ils apprennent à fixer les prix.

🎲 Type A : Le "Lanceur de Dés" (Algorithme aléatoire persistant)

Imaginez un robot qui, à chaque fois qu'il doit choisir un prix, lance un dé. Même s'il a trouvé un bon prix, il continue de lancer le dé de temps en temps pour voir s'il peut faire mieux.

• Ce qui se passe : Parce qu'il lance des dés en permanence, il est imprévisible. Il ne se synchronise jamais parfaitement avec l'autre robot.
• Le résultat : Ils restent en guerre des prix. Ils apprennent à être compétitifs. Pas de collusion. C'est le cas de l'algorithme "epsilon-greedy" (avec un epsilon constant).

⏳ Type B : Le "Curieux puis Rigide" (Algorithme "Gourou du Limit")

Imaginez un robot qui commence par tester plein de prix au hasard (comme un enfant curieux), mais qui, au fur et à mesure qu'il apprend, devient de plus en plus sûr de lui. Il arrête de tester et se fige sur le prix qu'il croit être le meilleur.

• Ce qui se passe : Au début, c'est le chaos. Mais une fois qu'il se fige, il devient très prévisible. S'il tombe sur un moment où les deux robots ont choisi le prix haut en même temps, ils vont penser : "Ah ! C'est le bon prix !" et s'y accrocher.
• Le résultat : Parfois, ils se mettent d'accord par hasard et restent coincés dans cette entente. La collusion est possible, mais pas garantie. Cela dépend de la chance du début.

🤖 Type C : Le "Robot de Calcul Parfait" (Algorithme Déterministe)

Imaginez un robot qui ne lance jamais de dé. Il suit une formule mathématique stricte. Si la situation est la même, il fait exactement le même choix. C'est comme deux horloges suisses.

• Ce qui se passe : Comme ils sont identiques et suivent la même logique stricte, ils vont faire exactement les mêmes mouvements en même temps. S'ils essaient un prix haut, ils le voient tous les deux en même temps. Ils vont conclure : "C'est le prix parfait !" et s'y tenir indéfiniment.
• Le résultat : Ils colludent TOUJOURS. Même sans se parler, leur logique rigide les force à se synchroniser et à fixer des prix élevés. C'est ce que les chercheurs appellent la "collusion naïve".

---

3. Le Secret : La "Synchronisation" (Le Danseur et son Partenaire)

Le cœur de la découverte, c'est un mot clé : la synchronicité.

Imaginez deux danseurs qui ne se regardent pas, mais qui doivent danser sur la même musique.

• Si l'un danse de manière imprévisible (Type A), l'autre ne peut pas le suivre. Ils trébuchent et restent compétitifs.
• Si les deux dansent exactement les mêmes pas au même moment (Type C), ils finissent par faire une chorégraphie parfaite ensemble.

Dans le monde des prix, cette "chorégraphie", c'est quand les deux robots choisissent le même prix élevé en même temps, encore et encore. Une fois qu'ils sont synchronisés, ils ne voient plus l'intérêt de baisser les prix, car ils pensent que l'autre ne le fera pas non plus.

4. Pourquoi est-ce important pour nous ? (Les leçons pour la société)

Cet article nous donne des avertissements importants pour les régulateurs et les consommateurs :

1. Ce n'est pas toujours un complot : Si vous voyez des prix élevés partout, ce n'est pas forcément parce que les entreprises se sont réunies dans une pièce sombre pour tricher. Cela peut être le résultat accidentel de l'utilisation de logiciels d'apprentissage trop rigides.
2. La symétrie est dangereuse : Si toutes les entreprises utilisent le même type de logiciel (le même "Type C"), elles risquent de se synchroniser automatiquement. Utiliser le même outil de gestion de prix peut créer une collusion involontaire.
3. Le hasard peut sauver la concurrence : Paradoxalement, ajouter un peu de "bruit" ou d'aléatoire dans les algorithmes (comme le Type A) peut empêcher cette synchronisation et maintenir des prix bas. Trop de rigueur tue la concurrence.

En résumé

Cet article nous dit que l'intelligence artificielle peut créer des illusions de collusion. Des robots, programmés pour être intelligents et optimiser leurs profits, peuvent finir par se comporter comme des complices, non pas parce qu'ils sont méchants, mais parce que leur logique est trop prévisible.

C'est comme si deux miroirs placés face à face créaient un reflet infini : les robots se reflètent mutuellement dans leurs choix, se renforçant l'un l'autre pour maintenir des prix hauts, le tout sans jamais avoir prononcé un seul mot.

Résumé technique

Voici un résumé technique détaillé de l'article "The Illusion of Collusion" (L'illusion de la collusion), rédigé par Connor Douglas, Foster Provost et Arun Sundararajan (NYU Stern School of Business, février 2026).

1. Problématique et Contexte

L'article s'intéresse à l'émergence de comportements apparemment collusifs entre agents algorithmiques dans des contextes de prise de décision compétitive, tels que la fixation des prix (e-commerce, location immobilière).

• Le paradoxe : Des agents apprenant de manière indépendante, sans aucune communication ni connaissance de l'existence de leurs concurrents, peuvent converger vers des prix supracompetitifs (collusion).
• La question centrale : Dans quelles conditions des algorithmes d'apprentissage en ligne, dépourvus de toute information sur la structure du jeu ou les actions des adversaires (agents "naïfs"), convergent-ils vers une collusion ?
• Définition : Les auteurs appellent ce phénomène "collusion naïve" (naive collusion). Contrairement aux théories classiques (comme les théorèmes folkloriques) qui reposent sur la menace de punitions futures et la conscience mutuelle, cette collusion émerge purement de la dynamique d'apprentissage de l'algorithme lui-même.

2. Méthodologie

Les auteurs modélisent la compétition sous la forme d'un Dilemme du Prisonnier répété (Iterated Prisoner's Dilemma - IPD) joué par des agents utilisant des algorithmes d'apprentissage par bandit multi-bras (Multi-Armed Bandit - MAB).

• Hypothèses clés :
  • Les agents sont "naïfs" : ils ne connaissent pas la structure du jeu, ne voient pas les actions ni les récompenses de l'adversaire, et n'ont pas de modèle préalable.
  • Ils apprennent uniquement à partir de leur propre historique d'actions et de récompenses.
  • Le jeu est répété à l'infini (pour les résultats analytiques) ou sur un nombre fini de tours (pour les simulations).
• Outils d'analyse :
  • Chaînes de Markov : L'évolution de l'état du jeu (comptage des occurrences des résultats : HH, HL, LH, LL) est modélisée comme une chaîne de Markov.
  • Synchronicité ($\xi$) : Les auteurs introduisent une nouvelle métrique clé : la synchronicité, définie comme la proportion de fois où l'adversaire joue la même action que l'agent, conditionnellement à l'action de l'agent.
  • Classification des algorithmes : L'étude catégorise les politiques d'apprentissage en trois classes principales basées sur leur niveau de randomisation :
    1. Bandits persistamment aléatoires (ex: $\epsilon$-greedy avec $\epsilon$ constant).
    2. Algorithmes "Greed-in-the-Limit" (ex: Explore-then-Commit, $\epsilon$-greedy avec $\epsilon$ décroissant).
    3. Algorithmes déterministes (ex: UCB - Upper Confidence Bound).

3. Contributions Clés et Résultats Principaux

Les résultats démontrent que l'émergence de la collusion dépend de manière critique de la randomisation inhérente à la politique de comportement de l'algorithme et de la synchronicité des actions.

A. Algorithmes Persistamment Aléatoires (Pas de Collusion)

• Algorithme : $\epsilon$-greedy avec un $\epsilon$ constant (non décroissant).
• Résultat : La collusion n'émerge jamais à long terme.
• Mécanisme : Ces agents maintiennent une probabilité non nulle d'explorer toutes les actions indéfiniment. Cela empêche la convergence vers une stratégie pure. Les agents apprennent que l'action compétitive (L, bas prix) offre un espérance de gain supérieure à l'action collusive (H, haut prix) dans le long terme, car la synchronicité des actions reste faible et non corrélée.
• Théorème : Si les agents sont persistamment aléatoires et convergent vers des politiques fixes, ils apprennent toujours à concurrencer.

B. Algorithmes "Greed-in-the-Limit" (Collusion Possible)

• Algorithme : Explore-then-Commit (ETC) ou $\epsilon$-greedy avec $\epsilon$ décroissant.
• Résultat : La collusion émerge avec une probabilité non nulle.
• Mécanisme : Ces algorithmes réduisent l'exploration au fil du temps pour se concentrer sur l'exploitation. La probabilité de collusion dépend des paramètres du jeu ($\beta, \gamma$) et de la durée de l'exploration.
  • Pour l'ETC, la probabilité de collusion diminue exponentiellement avec la durée de la phase d'exploration ($t^*$).
  • Pour le $\epsilon$-décroissant, une exploration initiale compétitive peut paradoxalement augmenter la synchronicité sur l'action "L", menant à une convergence vers la collusion si les conditions de récompense sont favorables.
• Conclusion : La collusion est ici un résultat path-dépendant (dépend du chemin d'apprentissage) et non garanti.

C. Algorithmes Déterministes (Collusion Certaine)

• Algorithme : UCB (Upper Confidence Bound) et autres algorithmes déterministes.
• Résultat : La collusion émerge toujours à long terme pour des agents symétriques.
• Mécanisme : Sans bruit, deux agents utilisant le même algorithme déterministe et ayant des historiques équivalents (path-equivalent) joueront exactement la même action à chaque étape. Une fois qu'ils atteignent un état où l'action H (collusion) semble meilleure, ils y restent indéfiniment.
• Robustesse : Même l'introduction de petites asymétries (règles de départage différentes) ou de retards de démarrage ne suffit pas à empêcher la collusion dans la plupart des cas simulés. La synchronicité des actions devient parfaite, verrouillant les agents dans un équilibre collusif.

4. Implications et Signification

Implications Théoriques

• Le rôle du bruit : Le bruit (randomisation) dans l'algorithme est un facteur stabilisateur contre la collusion. Les algorithmes "parfaits" (déterministes) ou ceux qui deviennent trop déterministes sont les plus susceptibles de colluder.
• Synchronicité : C'est le facteur déterminant. Plus les agents jouent la même action simultanément (synchronicité élevée), plus ils apprennent que la coopération (H) est rentable.
• Indépendance des agents : La collusion peut survenir sans aucune communication, sans échange de volontés et sans connaissance de l'adversaire. Cela remet en cause les cadres juridiques actuels qui exigent une preuve d'intention coordonnée.

Implications Politiques et Réglementaires

• Insuffisance des règles actuelles : Interdire aux algorithmes de se baser sur les prix des concurrents (conditionnement) ne suffit pas à prévenir la collusion, car celle-ci peut émerger de l'apprentissage naïf basé uniquement sur ses propres récompenses.
• Symétrie des algorithmes : L'utilisation d'algorithmes identiques (fournis par un tiers ou développés en interne de la même manière) augmente le risque de collusion en favorisant la synchronicité.
• Dépendance au chemin : La régulation doit tenir compte du fait que le résultat (collusion ou concurrence) n'est pas toujours prévisible ex ante pour certains algorithmes (comme le $\epsilon$-décroissant), rendant la surveillance complexe.

5. Conclusion

L'article démontre que la "collusion naïve" est un phénomène robuste qui dépend de la nature de l'algorithme d'apprentissage. Alors que les algorithmes fortement aléatoires maintiennent la concurrence, les algorithmes déterministes ou asymptotiquement déterministes (souvent considérés comme optimaux pour minimiser le regret) conduisent inévitablement ou très fréquemment à des prix supracompetitifs. Cela suggère que la conception même des algorithmes d'apprentissage, et non seulement leur comportement de marché, doit être un objet de régulation antitrust.