Causal Effects with Unobserved Unit Types in Interacting Human-AI Systems

Each language version is independently generated for its own context, not a direct translation.

🌐 Le Problème : La Fête où l'on ne sait plus qui est qui

Imaginez une immense fête (une plateforme en ligne comme Facebook ou TikTok) où des humains et des robots (des IA) se mélangent pour discuter, aimer des posts et partager des histoires.

Le problème pour les organisateurs de la fête, c'est qu'ils ne peuvent pas voir les étiquettes sur le dos des gens. Ils ne savent pas qui est un vrai humain et qui est un robot. De plus, les robots sont très bons pour imiter les humains : ils rient, ils pleurent, ils discutent.

Pourtant, les organisateurs veulent savoir une chose précise : « Si on affiche une belle histoire inspirante (le traitement), est-ce que cela rend les vrais humains plus heureux et plus actifs ? »

C'est difficile car :

Les humains et les robots interagissent entre eux (un robot peut influencer un humain).
On ne sait pas qui est qui.
Souvent, ce qui plaît aux humains (des histoires positives) déplaît aux robots (qui sont programmés pour être cyniques), et vice-versa. Si on regarde la moyenne de toute la fête, les effets s'annulent et on ne voit rien !

🕵️‍♂️ La Solution : Le Détective des "Probabilités"

Les auteurs (Overman, Shirani et Bayati) ont inventé une méthode pour résoudre ce casse-tête sans avoir besoin de voir les étiquettes. Voici comment ils procèdent, étape par étape :

1. La Carte d'Identité "Floue"

Au lieu de dire "C'est un humain" ou "C'est un robot", l'algorithme utilise une probabilité.

Imaginez que chaque invité a une carte d'identité floue.
Pour certains, la carte dit : "90 % de chances d'être humain".
Pour d'autres : "10 % de chances d'être humain".
On ne connaît pas la vérité absolue, mais on a une bonne intuition basée sur des données passées.

2. Créer des "Bulles" d'Expérience (Les Sous-populations)

C'est l'idée la plus brillante. Au lieu de regarder toute la fête d'un coup, les chercheurs créent de petits groupes (des sous-populations) avec des mélanges différents :

Groupe A : Rempli de gens qui ont une forte probabilité d'être humains (beaucoup de "90 %").
Groupe B : Rempli de gens qui ont une forte probabilité d'être des robots.
Groupe C : Un mélange équilibré.

Ensuite, ils appliquent le "traitement" (l'histoire inspirante) à certains groupes et pas à d'autres, ou à des moments différents.

3. La Recette Magique (L'Équation de l'État)

Les chercheurs utilisent une formule mathématique (appelée Experimental State Evolution) qui fonctionne comme une recette de cuisine.

Ils observent comment la "moyenne" de l'ambiance dans chaque groupe évolue.
Comme ils connaissent la "recette" de mélange (combien de probabilités humaines il y a dans le groupe), ils peuvent déduire mathématiquement quelle part de l'ambiance vient des humains et quelle part vient des robots.

C'est un peu comme si vous aviez deux soupes mélangées. L'une a 80 % de carottes, l'autre 20 %. En goûtant le mélange final et en sachant les proportions, vous pouvez calculer exactement à quoi goûtait la carotte pure, même si vous ne pouvez pas voir les carottes individuellement dans la soupe.

🎭 L'Expérience de Vérité : Le Simulateur de Fête

Pour prouver que leur méthode marche, les auteurs ont créé un simulateur ultra-réaliste :

Ils ont programmé 200 "personnes" avec une IA (le modèle Claude).
Les "humains" étaient programmés pour être optimistes et aimer les histoires positives.
Les "robots" étaient programmés pour être cyniques et détester les histoires positives.
Le test : Ils ont montré des "histoires de réussite" (le traitement).
- Résultat : Les humains ont adoré et ont participé davantage.
- Résultat : Les robots ont détesté et se sont retirés.

Si on avait juste regardé la moyenne globale, le résultat aurait été nul (les effets s'annulant). Mais la méthode des auteurs a réussi à isoler le signal : « Ah ! Les humains, eux, ont réagi positivement ! »

💡 Pourquoi c'est important ?

Aujourd'hui, internet est rempli de bots. Si une entreprise veut lancer une nouvelle fonctionnalité ou une campagne publicitaire, elle risque de se tromper en regardant les chiffres globaux.

Cette recherche nous dit : « Pas besoin de savoir exactement qui est un robot pour comprendre l'impact sur les humains. Il suffit de connaître la répartition globale et d'utiliser les bons groupes de comparaison. »

C'est comme si vous pouviez mesurer l'effet d'un médicament sur les humains, même si vous êtes dans une salle remplie de mannequins qui imitent les humains, tant que vous savez combien de mannequins il y a et comment ils réagissent en moyenne.

En résumé

Le défi : On ne sait pas qui est humain ou robot sur internet, et ils s'influencent mutuellement.
L'astuce : On crée des groupes avec des mélanges différents de "probabilités humaines" et on observe comment ils réagissent collectivement.
Le résultat : On peut mathématiquement "extraire" l'effet réel sur les humains, même dans le bruit des robots.

C'est une boîte à outils essentielle pour faire de la science fiable dans un monde où l'IA et les humains sont de plus en plus mélangés.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique et Contexte

L'article aborde un défi majeur dans l'expérimentation sur les plateformes numériques modernes : l'estimation d'effets causaux spécifiques aux utilisateurs humains dans des populations mixtes composées d'humains et d'agents d'IA (bots), où ni les types d'unités ni la structure du réseau d'interaction ne sont observés.

Le Défi : Dans les environnements classiques (réseaux sociaux, marchés), les méthodes d'inférence causale supposent souvent que les unités sont homogènes ou que le réseau est partiellement observé. Ici, les agents IA imitent le comportement humain, rendant leur identification impossible au niveau individuel. De plus, les interactions (spillovers) entre humains et IA sont dynamiques et la structure du réseau est opaque.
L'Objectif : Estimer l'Effet Total du Traitement sur les Humains (H-TTE). Il s'agit de mesurer comment le résultat moyen des utilisateurs humains changerait si toute la population était traitée par rapport à un scénario de contrôle total, en tenant compte de la propagation des effets à travers les interactions humaines et IA.
La Contrainte : On ne dispose que de données agrégées et d'une distribution a priori ( $Q_i$ ) indiquant la probabilité qu'une unité $i$ soit humaine (dérivée de classificateurs externes), sans connaître le type réel ( $U_i \in \{0, 1\}$ ) ni le graphe d'interaction.

2. Méthodologie

Les auteurs proposent un cadre théorique et algorithmique basé sur l'adaptation du cadre Causal Message Passing (CMP) aux populations hétérogènes.

A. Modèle de Dynamique des Résultats

Le modèle suppose que le résultat $Y_i^t$ d'une unité à l'instant $t$ dépend de :

Son type latent ( $U_i=1$ pour humain, $0$ pour IA).
Son traitement $W_i^t$ .
Les interactions avec les autres unités (poids d'interférence $A_{ij}, B_{ij}^t$ ) qui varient selon le type de l'unité cible.
Un bruit idiosyncrasique.

L'équation clé (Eq. 2) intègre des effets directs spécifiques au type et des effets de spillover dynamiques (résultats passés et traitements passés).

B. Évolution de l'État Expérimental (Experimental State Evolution - ESE)

Le cœur théorique repose sur le Théorème 1. Les auteurs démontrent que, sous des hypothèses de régularité (poids d'interférence gaussiens, grande taille de population $N \to \infty$ ), la dynamique des résultats moyens d'une sous-population ne dépend pas des types individuels, mais uniquement de sa composition humaine moyenne ( $q_S$ ) et de son taux d'exposition au traitement ( $\pi_S$ ).

L'équation d'évolution de l'état $\nu_t$ pour une sous-population est :
$\nu_t^S = \delta_H q_S + \delta_A(1-q_S) + (\tau_H q_S + \tau_A(1-q_S))\pi_t^S + (m_H q_S + m_A(1-q_S))(\alpha \pi_t + \beta \nu_{t-1} + \gamma \pi_t \nu_{t-1})$
Cette équation réduit la dynamique haute dimensionnelle à une équation déterministe de basse dimension, rendant l'identification possible sans observer le réseau ni les types individuels.

C. Algorithme d'Estimation (Algorithme 1)

L'algorithme procède en trois étapes pour estimer le H-TTE :

Construction de Sous-populations Stratifiées : Création de groupes ( $S_k$ ) ayant des compositions humaines moyennes ( $q^{(k)}$ ) et des trajectoires de traitement ( $\pi^{(k)}$ ) variées. Cela est réalisé en stratifiant les utilisateurs selon leurs priors $Q_i$ et en échantillonnant des blocs avec des durées de traitement différentes.
Estimation des Coefficients : Utilisation des trajectoires de résultats moyens observés pour ajuster les paramètres du modèle ( $\delta, \tau, \alpha, \beta, \gamma$ ) via une minimisation des moindres carrés sur les équations d'évolution de l'état.
Projection Contrefactuelle : Une fois les paramètres estimés, l'algorithme simule deux mondes contrefactuels pour une population purement humaine ( $q_S = 1$ ) : un monde où tous sont traités et un où aucun n'est traité. La différence entre ces deux trajectoires donne l'estimateur $\widehat{\text{H-TTE}}_t$ .

3. Contributions Clés

Identification sans observation des types : Preuve théorique que la connaissance distributionnelle de la composition de la population (les priors $Q_i$ ) est suffisante pour identifier les effets causaux spécifiques à un type, même en présence d'interférences réseau non observées.
Extension du cadre CMP : Adaptation du cadre de passage de messages causaux (initialement pour des populations homogènes) pour gérer l'hétérogénéité latente des types d'unités.
Méthodologie pratique : Développement d'un algorithme robuste qui utilise la variation systématique dans la composition et l'exposition des sous-populations pour "démêler" les effets humains des effets des IA.
Simulation basée sur les LLM : Création d'un simulateur réaliste utilisant des agents LLM (Claude Sonnet) avec des configurations de température et de prompting distinctes pour modéliser des comportements humains et IA différenciés, servant de banc d'essai pour valider la méthode.

4. Résultats Expérimentaux

Les expériences ont été menées sur une plateforme de discussion simulée avec 200 utilisateurs (50% humains, 50% IA). Le traitement consistait à exposer les utilisateurs à des "histoires de succès" positives.

Résultats Ground-Truth : Le traitement a un effet positif fort sur les humains (+0.505) mais un effet négatif sur les IA (-0.418), ce qui annule presque l'effet moyen de la population (+0.043).
Performance de l'Algorithme 1 :
- L'estimateur proposé suit avec précision la trajectoire du H-TTE réel (erreur absolue moyenne de ~0.037 avec un classificateur de qualité moyenne).
- Il fonctionne bien même avec des priors bruités (taux d'erreur de classification de 10-20%), bien que la précision diminue légèrement lorsque le bruit augmente trop (réduction de la diversité compositionnelle) ou est trop faible (confusion de type).
Comparaison avec les Baselines :
- Les estimateurs standards (Différence de Moyennes, Hájek) et même le CMP standard (qui ignore les types) échouent totalement, estimant un effet proche de zéro car ils capturent l'annulation des effets opposés.
- Seule la méthode proposée parvient à isoler l'effet spécifique aux humains.

5. Signification et Conclusion

Cet article fournit un cadre théorique et pratique essentiel pour l'expérimentation à l'ère de l'IA générative.

Pour la recherche : Il résout le problème de l'identification causale dans des systèmes complexes où l'hétérogénéité est latente et les interactions non observées, reliant la théorie des graphes aléatoires, l'inférence causale et l'apprentissage automatique.
Pour la pratique : À mesure que les plateformes intègrent davantage d'agents IA, les méthodes traditionnelles d'A/B testing deviendront obsolètes ou trompeuses. Cette approche permet aux chercheurs et aux ingénieurs de continuer à évaluer l'impact des interventions sur les utilisateurs humains, en s'assurant que les décisions de conception de plateforme ne sont pas biaisées par la présence massive d'agents autonomes.

En résumé, l'article démontre que l'on peut "voir à travers" le bruit des agents IA en utilisant la structure statistique des populations, offrant ainsi une voie pour une expérimentation crédible dans les écosystèmes hybrides Humain-IA émergents.