Building an Atlas of Social Experiments to Link Studies, Reconcile Conflicts, and Bridge Gaps

Résumé technique : EXATLAS – Construire un atlas d'expériences sociales

Énoncé du problème
Les sciences sociales et comportementales génèrent des milliers d'expériences chaque année, mais leurs résultats échouent souvent à s'accumuler en une carte cohérente des connaissances. Comme l'a noté Watts (2017), le domaine souffre d'un « problème d'incohérence » : les chercheurs examinent des phénomènes apparentés sans les intégrer, des résultats concurrents coexistent sans être tranchés, et des études isolées s'accumulent sans théories expliquant leurs relations. L'organisation actuelle de la littérature repose sur une similarité de surface ou une récupération superficielle, ce qui échoue à capturer la nature compositionnelle des paysages expérimentaux. Le simple fait de demander aux grands modèles de langage (LLM) de résumer ou de prédire des résultats manque souvent de l'ancrage probatoire rigoureux nécessaire pour détecter les conflits, relier des résultats cohérents ou identifier des lacunes authentiques dans la littérature.

Méthodologie : Le cadre EXATLAS
Les auteurs présentent EXATLAS, un cadre conçu pour transformer une archive d'expériences sociales en un « atlas » structuré où les études se lient, entrent en conflit ou laissent des lacunes franchissables. Le cadre repose sur le postulat que les paysages expérimentaux sont intrinsèquement compositionnels : une découverte cible peut être reconstruite à partir d'une combinaison pondérée d'études antérieures, même si aucune étude antérieure ne lui correspond exactement.

Le cadre procède en deux étapes principales :

1. Représentation et évaluation de la compositionnalité :

   • Enrichissement : Les expériences sont encodées sous forme de tuples $(T_i, O_i, Z_i, \tau_i)$, représentant le traitement, le résultat, le contexte et l'effet observé. Un LLM (OpenAI o3) enrichit les brèves descriptions de traitement/résultat avec le contexte du document complet pour améliorer la précision sémantique.
   • Encodage vectoriel (Embedding) : Les expériences sont mappées dans un espace partagé traitement-résultat à l'aide d'encodages textuels. La représentation $x_i$ concatène les encodages du traitement, du résultat et de leur produit élément par élément pour capturer les relations conjointes.
   • Recherche locale : Pour une expérience cible $e_t$, EXATLAS recherche un ensemble de candidats locaux $C(t)$ d'expériences antérieures. Il résout un problème d'optimisation sous contraintes pour trouver des poids $\alpha_{tj}$ qui minimisent la distance euclidienne entre la représentation cible et la somme pondérée des représentations sources.
   • Mécanisme de rejet : Un résidu normalisé $\rho_t$ est calculé. Si $\rho_t$ dépasse un seuil $\lambda$, la cible est jugée non compositionnelle (une lacune). Si $\rho_t \le \lambda$, la cible est compositionnelle. Cette conception rend le cadre « rejetable », empêchant une composition forcée lorsque le soutien local est insuffisant.

2. Organisation de l'atlas (Trois résultats) :

   • Lien (Cohérence) : Si la cible est compositionnelle et que la direction de l'effet composé correspond à la direction observée, la cible est liée aux preuves antérieures cohérentes.
   • Réconciliation (Conflit) : Si la cible est compositionnelle mais que la direction composée diverge du résultat observé, le système identifie une tension théorique. Un LLM est sollicité avec les preuves conflictuelles pour proposer une méta-théorie ou une structure de modérateur (par exemple, une interaction cachée $2 \times 2$) expliquant la divergence.
   • Pont (Lacune) : Si la cible est non compositionnelle, le système identifie une lacune. Un LLM propose itérativement des « expériences de pont » à ajouter à l'archive jusqu'à ce que la cible devienne compositionnelle, suggérant ainsi efficacement de nouvelles orientations de recherche pour combler le déficit de preuves.

Contributions clés

1. Un cadre rejetable : EXATLAS introduit une méthode pour composer les preuves expérimentales qui rejette explicitement les cibles dépourvues de soutien local, distinguant les anomalies kuhnienes (conflits au sein d'une région compositionnelle) des extensions lakatosiennes (lacunes nécessitant de nouvelles frontières).
2. Bornes d'erreur théoriques : Les auteurs fournissent une borne d'erreur théorique pour la composition, sous l'hypothèse de la régularité locale de la surface de l'effet du traitement. L'erreur se décompose en erreur d'extrapolation, biais du modèle local (courbure) et variation résiduelle non observée.
3. Modes de défaillance génératifs : Le cadre traite ses « échecs » (conflits et lacunes) comme des sorties génératives. Les conflits déclenchent des propositions de réconciliation théorique, et les lacunes déclenchent des conceptions d'expériences de pont actionnables.

Résultats empiriques

• Précision de la composition : Sur un ensemble retenu de 72 expériences issues d'une archive de 360 (provenant de revues de premier plan en gestion et psychologie), EXATLAS a certifié 72 cibles comme étant localement soutenues. Pour celles-ci, la direction de l'effet prédit correspondait à la direction observée dans 98,61 % (71/72) des cas. Cela surpasse nettement les lignes de base, y compris la prédiction directe par LLM, la RAG (recherche augmentée par récupération) par expérience la plus proche et les simulations de participants synthétiques.
• Réconciliation des conflits : Dans une évaluation humaine de 13 cas de conflits, des experts ont constaté que les réconciliations générées par le LLM d'EXATLAS identifiaient souvent les mêmes grandes orientations que les experts humains, mais fournissaient des mécanismes ou des structures de modérateur plus explicites. Dans certains cas, le LLM a mis en lumière des anomalies structurelles cachées (par exemple, un conflit inter-cellulaire dans la littérature sur l'embauche impliquant l'âge, la créativité et la compétition) que les experts humains avaient manquées sans assistance algorithmique.
• Qualité des expériences de pont : Des évaluateurs humains ont évalué les expériences de pont proposées par rapport à une ligne de base de « composition forcée » (qui ignore le mécanisme de rejet). Bien que les scores de faisabilité soient comparables, les propositions de pont d'EXATLAS ont été notées significativement plus élevées en Plausibilité ($p=0,040$) et en Connectivité ($p=0,031$), indiquant qu'elles sont plus ancrées théoriquement et mieux liées à la littérature source.

Signification et affirmations
L'article affirme que l'archive des expériences sociales contient plus de structure latente que les pratiques actuelles n'en extraient. En rendant cette structure explicite, EXATLAS sert non seulement d'outil de résumé, mais d'« atlas » pour guider la théorie et l'expérimentation futures.

Les auteurs sont modestes quant à leur portée, affirmant explicitement qu'ils ne prétendent pas que les LLM remplacent les participants humains ou que la composition par encodage textuel est universellement précise. Au contraire, ils soutiennent qu'une archive expérimentale, lue de manière compositionnelle, permet d'obtenir une estimation calibrée de là où les preuves s'étendent, où elles font défaut et où ces limites pointent vers des orientations de recherche significatives. Le cadre fournit une infrastructure pour traiter le « problème d'incohérence » en traitant la littérature comme une carte plutôt que comme un tas d'études isolées.

Limites
Les auteurs reconnaissent que la haute précision (98,6 %) ne s'applique qu'aux cibles localement soutenues et ne doit pas être généralisée aux extrapolations au-delà de l'archive. Ils notent que le cadre ne peut pas prouver, à partir du texte seul, que l'espace d'encodage préserve les mécanismes causaux ; il traite la géométrie des caractéristiques comme un dispositif de récupération et de reconstruction. De plus, le module de réconciliation est un générateur, pas un vérificateur, et l'archive sous-jacente hérite des biais concernant ce qui est publié et codé.