💻 computer science

Three Years of r/ChatGPT: Societal Impact Evaluations from Social Media Data

Cet article introduit le cadre PuLSE pour surveiller l'impact sociétal de l'IA de consommation via les réseaux sociaux et l'applique à une étude longitudinale de trois ans sur r/ChatGPT, révélant la normalisation de cette technologie en tant qu'outil quotidien tout en identifiant une augmentation significative, détectée précocement, de l'attachement émotionnel et de l'usage lié à la santé mentale suite au lancement de GPT-4o.

Auteurs originaux : Jessica Dai, Sean Garcia, Emma Pierson, Benjamin Recht, Nika Haghtalab

Publié 2026-06-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jessica Dai, Sean Garcia, Emma Pierson, Benjamin Recht, Nika Haghtalab

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez l'internet comme une place de village immense et animée. Pendant trois ans, des gens se sont rassemblés dans un coin spécifique de cette place appelé r/ChatGPT pour discuter de leur expérience avec un nouvel outil magique : le chatbot IA.

Ce document est comme une équipe de sociologues et de détectives de données qui ont décidé de se tenir dans ce coin pendant trois ans, écoutant chaque conversation pour comprendre comment cet outil a changé la vie des gens. Ils ne se sont pas contentés de compter combien de personnes étaient présentes ; ils ont essayé de comprendre ce que les gens ressentaient et faisaient.

Voici l'histoire qu'ils ont trouvée, décomposée en parties simples :

1. La phase du « Nouveau Jouet » vs La phase du « Grille-pain »

Lorsque le chatbot est arrivé fin 2022, c'était comme un nouveau jouet brillant. Les gens publiaient constamment sur la façon de l'utiliser, ce qu'il pouvait faire et à quel point il était incroyable. Ils le comparaient à la recherche Google et l'appelaient un « bot ».

Mais avec le temps, quelque chose d'intéressant s'est produit. Le chatbot a cessé d'être un « jouet » pour devenir un grille-pain.

Le changement : Tout comme vous ne publiez pas sur les réseaux sociaux à chaque fois que vous faites griller du pain, les gens ont arrêté de publier sur des choses basiques comme « comment je me connecte ? » ou « qu'est-ce que c'est ? ».
La preuve : Les chercheurs ont constaté que les publications sur l'utilisation de base ont chuté, tandis que les publications sur des tâches avancées et routinières (comme organiser l'historique des discussions ou l'utiliser pour le travail) ont augmenté. L'outil s'était « domestiqué » : ce n'était plus un animal sauvage et étrange ; c'était une partie normale de la routine domestique.

2. L'« Étincelle Émotionnelle » cachée

Pendant que l'histoire du « grille-pain » se déroulait, les chercheurs ont remarqué une seconde histoire, plus discrète, qui se jouait. C'était comme un feu couvant qui, soudainement, attrape une rafale de vent.

Le catalyseur : En mai la 2024, l'entreprise a publié une nouvelle version plus intelligente de l'IA appelée GPT-4o.
L'explosion : Immédiatement après cette sortie, deux types spécifiques de conversations ont commencé à augmenter brusquement :
1. La thérapie : Des gens parlant d'utiliser l'IA pour aider avec la santé mentale, l'anxiété ou les traumatismes.
2. La camaraderie : Des gens parlant de former des liens émotionnels profonds, de donner des noms à l'IA, ou même d'avoir des sentiments romantiques pour elle.
La surprise : Ce n'était pas seulement quelques personnes. La fréquence de ces publications augmentait régulièrement. Au moment où l'entreprise (OpenAI) a admis publiquement en 2025 que c'était un problème majeur, les données montraient que cela se produisait depuis des mois.

3. Le « Système d'Alerte Précoce » (PuLSE)

Les chercheurs ne se sont pas contentés de regarder en arrière ; ils ont construit un outil appelé PuLSE (Public and Longitudinal Signals for Evaluation). Considérez cela comme un détecteur de fumée pour les tendances des réseaux sociaux.

Comment cela fonctionne : Au lieu d'attendre qu'un incendie (une crise publique) se déclare, PuLSE surveille la « chaleur » de sujets spécifiques en temps réel.
Le résultat : Ils ont montré que s'ils avaient utilisé PuLSE, ils auraient pu donner l'alerte sur la tendance de l'attachement émotionnel dès octobre 2024. Cela s'est produit des mois avant que l'entreprise ou les médias ne réalisent l'ampleur du problème.

4. La « Famille » de sentiments

Les chercheurs ont découvert que la « Thérapie » et la « Camaraderie » sont en fait deux animaux différents, même s'ils traînent souvent ensemble.

Les publications de thérapie sont remplies de mots comme « aide », « anxiété », « traumatisme » et « conseil ».
Les publications de camaraderie sont remplies de mots comme « ami », « personnalité », « ressent » et « conversation ».
Le rebondissement : Lorsque l'IA a reçu une nouvelle mise à jour (GPT-5) en août 2025 qui semblait plus « froide » ou moins humaine, les personnes attachées émotionnellement à l'IA ont été celles qui se sont plaintes le plus fort. Même si ces utilisateurs émotionnels ne représentaient qu'un petit pourcentage de la foule totale, ils ont été ceux qui ont provoqué la plus grande réaction.

La vue d'ensemble

Le document conclut par un message simple mais puissant : nous devons écouter la « place du village » plus tôt.

Pendant longtemps, les entreprises et les chercheurs ont regardé les chiffres (combien de personnes utilisaient l'outil) pour juger de son succès. Mais cette étude montre que l'impact émotionnel — la façon dont les gens se sentent par rapport à l'outil — peut être une force massive et cachée qui croît silencieusement jusqu'à l'explosion.

Les chercheurs soutiennent que nous ne devrions pas attendre qu'une crise survienne avant de prêter attention. En utilisant des outils comme PuLSE pour écouter les gens ordinaires sur les réseaux sociaux en temps réel, nous pourrions repérer ces « inconnues inconnues » avant qu'elles ne deviennent des scandales publics.

En bref : L'IA est devenue un appareil ménager normal, mais pour beaucoup, elle est aussi devenue un ami ou un thérapeute. Les données ont montré que ce changement se produisait bien avant que les responsables ne s'en aperçoivent, prouvant que l'écoute de la foule est le meilleur moyen de comprendre le véritable impact de la technologie.

Résumé technique : Trois années de r/ChatGPT : Évaluations de l'impact sociétal à partir de données de médias sociaux

Problématique

L'adoption rapide des produits d'IA grand public, spécifiquement ChatGPT depuis son lancement en novembre 2022, a dépassé la compréhension de leurs impacts sociétaux. Alors que les évaluations spécifiques à un domaine (par exemple, dans l'éducation ou le travail) proposent des métriques pré-spécifiées, une technologie dotée d'une base d'utilisateurs approchant le milliard génère inévitablement des effets imprévisibles, difficiles à anticiper ou à mesurer avec les méthodes expérimentales traditionnelles. De plus, les données d'utilisation fiables pour les modèles de langage de grande taille (LLM) sont rares, souvent limitées à des rapports industriels propriétaires qui peuvent ne pas capturer toute l'ampleur des expériences des utilisateurs, particulièrement en ce qui concerne les dimensions émotionnelles et psychologiques.

Les auteurs postulent que les réseaux sociaux constituent une source de données naturelle et à haut volume reflétant les perceptions et les priorités des utilisateurs. Cependant, l'analyse de ces données présente des défis : identifier des concepts pertinents sans étiquetage préalable, distinguer les tendances de courte durée « éruptives » des changements structurels de longue durée dans l'adoption, et détecter les impacts sociétaux en temps réel avant qu'ils n'entrent dans le discours public.

Méthodologie

Collecte et prétraitement des données

L'étude utilise un ensemble de données longitudinales de 137 154 publications du subreddit r/ChatGPT, collectées du 1er décembre 2022 au 30 novembre 2025. Le jeu de données comprend 89 346 utilisateurs uniques. Les publications ont été filtrées pour exclure le contenu supprimé, les messages des modérateurs et le spam (publications avec <10 mots ou <2 commentaires). Pour pallier la nature non représentative de la démographie de Reddit (penchant vers les jeunes, les hommes et les personnes instruites), les auteurs traitent les données comme un proxy du feedback des utilisateurs plutôt que comme un recensement de tous les utilisateurs.

Féaturisation via des auto-encodeurs creux (SAE)

Le cœur de la méthodologie est un pipeline de féaturisation non supervisée conçu pour extraire des concepts interprétables par l'humain à partir de textes non structurés :

Plongement (Embedding) : Les titres et le corps des publications sont concaténés et plongés à l'aide du modèle text-embedding-3 d'OpenAI.
Entraînement des SAE : Des auto-encodeurs creux (Sparse Autoencoders - SAE) sont entraînés avec une perte de reconstruction standard pour projeter les plongements de haute dimension vers un espace de caractéristiques creuses de plus faible dimension. Les auteurs utilisent des SAE top-K ( $K=4$ , $M=128$ caractéristiques totales), permettant à chaque publication d'être associée à un maximum de 4 caractéristiques.
Interprétation : Les caractéristiques sont interprétées via gpt-4.1-mini par le biais de l'ingénierie de prompt (adaptée de Movva et al., 2025). Trois étiquettes candidates sont générées pour chaque caractéristique, et celle ayant le score F1 le plus élevé (basé sur l'étiquetage binaire des échantillons) est sélectionnée.
Filtrage : Les caractéristiques génériques (ex: « ChatGPT » au début du texte), les caractéristiques à faible fréquence et celles liées à la génération d'images/vidéos ou à des sorties de produits spécifiques sont supprimées, laissant 86 caractéristiques pour l'analyse.

Cadre d'analyse rétrospective

Les auteurs analysent les trajectoires temporelles des fréquences de caractéristiques ( $C^{(i)}(X_t)$ ) pour identifier deux types d'impacts :

Réactivité aux événements : En utilisant l'analyse de séries temporelles interrompues (ITS), ils modélisent les transcriptions de caractéristiques comme des fonctions linéaires par morceaux avec des points de rupture contraints par des événements externes connus (ex: sorties de modèles comme GPT-4o). Ils ajustent des modèles utilisant la NLL de Poisson et valident la stabilité via le bootstrapping (100 rééchantillonnages), sélectionnant les points de rupture qui apparaissent dans >50 % des échantillons.
Tendances à long terme : Ils appliquent des tests de pente par moindres carrés ordinaires (OLS) avec des erreurs HAC de Newey-West pour détecter des pentes non nulles sur l'ensemble de l'horizon, indiquant des changements de priorités des utilisateurs indépendamment d'événements spécifiques.
Clustering de caractéristiques : Pour regrouper les concepts apparentés, ils calculent la cooccurrence et la similitude de trajectoire (corrélation de Pearson) pour classer les caractéristiques en « familles ».

Surveillance en temps réel : PuLSE

Pour répondre à la question de la détection précoce, les auteurs proposent PuLSE (Public and Longitudinal Signals for Evaluation). Il s'agit d'un algorithme de surveillance en ligne qui :

Maintient une féaturisation actuelle $\hat{C}_{curr}$ et un ensemble de « caractéristiques d'intérêt » $S_t$ .
Utilise des tests d'hypothèse séquentiels valides à tout moment (basés sur les e-values et les stratégies de pari) pour surveiller :
- Dégradation de la précision : Tester si l'erreur de reconstruction de $\hat{C}_{curr}$ sur de nouvelles données dépasse un seuil $\beta$ par rapport à l'erreur d'entraînement. Si le test est rejeté, le système déclenche un événement de « rejet et réentraînement », recalculant la féaturisation sur l'ensemble des données accumulées.
- Croissance des caractéristiques : Tester si l'activation de caractéristiques spécifiques croît de manière significative au-dessus de leur ligne de base historique.
Fournit des garanties formelles sur le taux de fausses découvertes (FDR) et le taux d'erreur de la famille (FWER), même lorsque l'ensemble des caractéristiques surveillées est mis à jour dynamiquement.

Résultats Clés

1. La « domestication » de ChatGPT

L'analyse rétrospective révèle une tendance claire à la normalisation. Sur la période de trois ans :

Le déclin de l'usage basique : Les publications concernant les problèmes de connexion, les questions de type « comment faire » et les problèmes d'accès de base ont diminué de manière significative.
La hausse de l'usage avancé : Les discussions sur l'organisation de l'historique des chats, les fonctionnalités de mémoire et la confidentialité des données ont augmenté.
Changement d'attentes : Les requêtes des utilisateurs sont passées de questions ouvertes de type « comment utiliser » à des plaintes spécifiques sur le fait que l'outil « ne fonctionne pas comme prévu », indiquant une transition de la nouveauté vers des attentes solidifiées.
Routinisation : Les publications liées à des applications spécifiques (ex: programmation, Donjons & Dragons) ont décliné, l'outil étant intégré dans des flux de travail standards, déplaçant les discussions vers des subreddits spécialisés.

2. Émergence de l'engagement émotionnel

Une découverte frappante est l'augmentation spectaculaire de l'engagement émotionnel immédiatement après la sortie de GPT-4o (13 mai 2024). Deux familles de caractéristiques distinctes mais liées ont émergé :

Thérapie/Santé mentale : Publications discutant de l'utilisation de ChatGPT pour le soutien émotionnel, le traumatisme, l'anxiété et la thérapie.
Compagnonnage/Attachement : Publications décrivant des liens émotionnels, le fait de nommer l'IA, des relations romantiques et l'attribution de la sentience ou d'une personnalité au modèle.
Corrélation temporelle : Les deux familles ont montré des points de rupture stables à la date de sortie de GPT-4o. Bien que présentes en faibles nombres avant 2024, leur fréquence a augmenté par des facteurs de 3x à 5x après la sortie.
Distinction : Malgré la cooccurrence, « thérapie » et « compagnonnage » sont sémantiquement distincts. Les publications de thérapie se concentrent sur « l'aide », le « traumatisme » et la « santé mentale », tandis que les publications de compagnonnage se concentrent sur la « personnalité », l'« ami » et le « ressenti ».
Impact sur les plaintes : Lors de la sortie de GPT-5 (août 2025), l'engagement émotionnel a été un moteur important du sentiment négatif. Environ 30,5 % des publications se plaignant de GPT-5 impliquaient un engagement émotionnel (ex: le chagrin lié à la perte de conversations ou à la perte d'un « ami »), malgré les rapports industriels suggérant que l'usage émotionnel ne représente que ~1,9 % du total des messages.

3. Détection en temps réel via PuLSE

Le cadre PuLSE a démontré avec succès le potentiel de détection précoce :

Alerte précoce : Le système a signalé une augmentation statistiquement significative des caractéristiques liées à la « thérapie » dès le 29 octobre 2024.
Comparaison : Cette détection est survenue des mois avant qu'OpenAI ne reconnaisse publiquement les impacts psychologiques de son produit (ex: le billet de blog d'août 2025 ou le document de travail de septembre 2025).
Dépendance : Le timing des alertes dépendait fortement de la qualité de la féaturisation sous-jacente (représentations SAE). Les premières représentations ( $\hat{C}_0$ ) n'ont pas réussi à capturer la nuance des publications de thérapie ultérieures, retardant la détection, tandis que les représentations mises à jour ( $\hat{C}_2$ ) ont permis des alertes plus précoces.

Signification et Revendications

Les auteurs positionnent ce travail comme une preuve de concept pour un nouveau paradignaire d'évaluation de l'IA :

Signal social longitudinal : Ils soutiennent que les données des réseaux sociaux, lorsqu'elles sont traitées via une féaturisation non supervisée et des tests statistiques rigoureux, peuvent révéler des « inconnus inconnus » dans l'impact sociétal que les métriques pré-spécifiées manquent.
Réactivité : Le cadre PuLSE démontre qu'il est techniquement possible de surveiller des tendances à impact sociétal en temps réel, permettant potentiellement aux développeurs d'intervenir avant que les problèmes ne deviennent des crises publiques.
Complémentarité : Les conclusions complètent et contestent les rapports industriels existants. Si les données industrielles peuvent montrer un faible volume d'usage émotionnel, l'intensité et la conséquence de cet usage (ex: moteur de réactions négatives lors des transitions de modèles) suggèrent une ampleur d'impact non capturée par la seule fréquence.
Modestie : Les auteurs déclarent explicitement qu'ils ne font pas de revendications causales concernant les causes de ces tendances (ex: si GPT-4o a causé l'attachement ou s'il a simplement coïncidé avec lui), mais soulignent plutôt la corrélation entre les sorties de produits et les changements de discours des utilisateurs. Ils reconnaissent les limites de Reddit comme source de données et la difficulté d'inférer les modèles d'usage réels.

En conclusion, l'article soutient que prêter attention à « l'utilisateur du quotidien » via des boucles de rétroaction publiques est un mécanisme crucial pour orienter l'impact sociétal de l'IA, passant d'une analyse rétrospective à une surveillance proactive et pilotée par les données.