Technische Samenvatting: Drie jaar r/ChatGPT: Evaluaties van de maatschappelijke impact vanuit sociale media-data

Probleemstelling

De snelle adoptie van consumenten-AI-producten, specifiek ChatGPT sinds de lancering in november 2022, heeft de snelheid van het begrip van hun maatschappelijke impact overtroffen. Terwijl domeinspecifieke evaluaties (bijv. in onderwijs of arbeid) vooraf vastgestelde metrieken bieden, genereert een technologie met een gebruikersbasis die de miljard nadert onvermijdelijk onvoorspelbare effecten die moeilijk te anticiperen of te meten zijn met traditionele experimentele methoden. Bovendien is betrouwbare gebruiksdata voor Large Language Models (LLM's) schaars, vaak beperkt tot propriëtaire industriële rapporten die mogelijk niet de volledige omvang van gebruikerservaringen vatten, met name wat betregens emotionele en psychologische dimensies betreft.

De auteurs stellen dat sociale media een natuurlijke, hoog-volume databron vormen die de percepties en prioriteiten van gebruikers weerspiegelt. Het analyseren van deze data brengt echter uitdagingen met zich mee: het identificeren van relevante concepten zonder voorafgaande labels, het onderscheiden tussen kortstondige "bursty" trends en langdurige structurele veranderingen in adoptie, en het detecteren van maatschappelijke impact in realtime voordat deze het publieke debat binnentreedt.

Methodologie

Datacollectie en Preprocessing

De studie maakt gebruik van een longitudinale dataset van 137.154 posts van de r/ChatGPT subreddit, verzameld van 1 december 2022 tot 30 november 2025. De dataset bevat 89.346 unieke gebruikers. Posts werden gefilterd om verwijderde inhoud, moderator-posts en spam (posts met <10 woorden of <2 reacties) uit te sluiten. Om de niet-representatieve aard van de Reddit-demografie aan te pakken (die neigt naar jong, mannelijk en hoogopgeleid), behandelen de auteurs de data als een proxy voor gebruikersfeedback in plaats van een volkstelling van alle gebruikers.

Featurizatie via Sparse Autoencoders (SAEs)

De kern van de methodologie is een ongesuperviseerde featurizatie-pipeline die is ontworpen om menselijk interpreteerbare concepten uit ongestructureerde tekst te extraheren:

1. Embedding: Posttitels en tekstlichamen worden geconcateneerd en geëmbed via OpenAI's text-embedding-3 model.
2. SAE Training: Sparse Autoencoders (SAEs) worden getraind met een standaard reconstructieverlies om de hoog-dimensionale embeddings naar een laag-dimensionale ruimte van ijle (sparse) features te mappen. De auteurs gebruiken top-K SAEs ($K=4$, $M=128$ totale features), waardoor elke post geassocieerd kan worden met maximaal 4 features.
3. Interpretatie: Features worden geïnterpreteerd via gpt-4.1-mini door middel van prompting (aangepast van Movva et al., 2025). Drie kandidaat-labels worden gegenereerd voor elke feature, en het label met de hoogste F1-score (gebaseerd op binaire labeling van samples) wordt geselecteerd.
4. Filtering: Generieke features (bijv. "ChatGPT" aan het begin van de tekst), laag-frequente features en features gerelateerd aan beeld/videogeneratie of specifieke productreleases worden verwijderd, waardoor 86 features overblijven voor analyse.

Retrospectief Analyseframework

De auteurs analyseren de temporele trajecten van feature-frequenties ($C^{(i)}(X_t)$) om twee soorten impacts te identificeren:

1. Event Reactivity: Met behulp van interrupted time series (ITS) analyse modelleren zij feature-transcripts als stuksgewijze lineaire functies met changepoints die beperkt zijn tot bekende externe gebeurtenissen (bijv. model releases zoals GPT-4o). Zij passen modellen toe met Poisson NLL en valideren stabiliteit via bootstrapping (100 resamples), waarbij changepoints worden geselecteerd die in >50% van de samples voorkomen.
2. Long-Run Trends: Zij passen Ordinary Least Squares (OLS) hellingstests toe met Newey-West HAC-fouten om niet-nul hellingen over de gehele horizon te detecteren, wat wijst op verschuivende gebruikersprioriteiten onafhankelijk van specifieke gebeurtenissen.
3. Feature Clustering: Om gerelateerde concepten te groeperen, berekenen zij co-occurrence en traject-gelijkenis (Pearson correlatie) om features te clusteren in "families".

Real-Time Monitoring: PuLSE

Om de vraag over vroege detectie te beantwoorden, stellen de auteurs PuLSE (Public and Longitudinal Signals for Evaluation) voor. Dit is een online monitoringsalgoritme dat:

• Een huidige featurizatie $\hat{C}_{curr}$ en een set "features of interest" $S_t$ bijhoudt.
• Gebruikmaakt van anytime-valid sequential hypothesis tests (gebaseerd op e-values en betting strategieën) om te monitoren op:
  • Nauwkeurigheidsdegradatie: Testen of de reconstructiefout van $\hat{C}_{curr}$ op nieuwe data de drempelwaarde $\beta$ overschrijdt ten opzichte van de trainingsfout. Indien afgewezen, triggert het systeem een "reject and retrain" event, waarbij de featurizatie opnieuw wordt berekend op alle geaccumuleerde data.
  • Feature Groei: Testen of de activatie van specifieke features significant boven hun historische baseline groeit.
• Biedt formele garanties op de False Discovery Rate (FDR) en de Family-Wise Error Rate (FWER), zelfs wanneer de set gemonitorde features dynamisch wordt bijgewerkt.

Belangrijkste Resultaten

1. De "Domesticatie" van ChatGPT

De retrospectieve analyse onthult een duidelijke trend van normalisatie. Over de driejarige periode:

• Basisongebruik neemt af: Posts over inlogproblemen, "hoe werkt dit"-vragen en basisproblemen met toegang namen significant af.
• Geavanceerd gebruik stijgt: Discussies over het organiseren van chatgeschiedenissen, geheugenfuncties en gegevensprivacy namen toe.
• Verschuiving in verwachtingen: Gebruikersvragen verschoven van open vragen als "hoe gebruik ik dit" naar specifieke klachten over "niet werken zoals verwacht", wat wijst op een transitie van nieuwigheid naar gevestigde verwachtingen.
• Routinisering: Applicatie-specifieke posts (bijv. programmeren, D&D) namen af naarmate de tool geïntegreerd werd in standaard workflows, waarbij discussies verplaatsten naar gespecialiseerde subreddits.

2. Opkomst van Emotionele Betrokkenheid

Een opvallende bevinding is de dramatische stijging van emotionele betrokkenheid direct na de release van GPT-4o (13 mei 2024). Twee duidelijke maar gerelateerde families van features kwamen naar voren:

• Therapie/Mentale Gezondheid: Posts die discussiëren over het gebruik van ChatGPT voor emotionele steun, trauma, angst en therapie.
• Gezelschap/Hechting: Posts die emotionele banden beschrijven, het geven van namen aan de AI, romantische relaties en het toeschrijven van sentience of persoonlijkheid aan het model.
• Temporele Correlatie: Beide families vertoonden stabiele changepoints op de releasedatum van GPT-4o. Hoewel ze vóór 2024 in kleine aantallen aanwezig waren, nam hun frequentie na de release met factoren van 3x tot 5x toe.
• Onderscheidbaarheid: Ondanks co-occurrence zijn "therapie" en "gezelschap" semantisch verschillend. Therapie-posts focussen op "hulp", "trauma" en "mentale gezondheid", terwijl gezelschap-posts focussen op "persoonlijkheid", "vriend" en "gevoel".
• Impact op Klachten: Tijdens de GPT-5 release (augustus 2025) was emotionele betrokkenheid een belangrijke drijfveer van negatieve sentiment. Ongeveer 30,5% van de posts die klaagden over GPT-5 betroffen emotionele betrokkenheid (bijv. rouw over verloren gesprekken of het verlies van een "vriend"), ondanks dat industriële rapporten suggereren dat emotioneel gebruik slechts ~1,9% van de totale berichten beslaat.

3. Real-Time Detectie via PuLSE

Het PuLSE-framework demonstreerde succesvol het potentieel voor vroege detectie:

• Vroege Waarschuwing: Het systeem signaleerde een statistisch significante toename van "therapie-gerelateerde" features al op 29 oktober 2024.
• Vergelijking: Deze detectie vond maanden plaats vóór OpenAI publiekelijk de psychologische impact van hun product erkende (bijv. de blogpost van augustus 2025 of het working paper van september 2025).
• Afhankelijkheid: De timing van de waarschuwingen was sterk afhankelijk van de kwaliteit van de onderliggende featurizatie (SAE-representaties). Vroege representaties ($\hat{C}_0$) slaagden er niet in de nuance van latere therapie-posts te vatten, wat de detectie vertraagde, terwijl geüpdatete representaties ($\hat{C}_2$) vroegere waarschuwingen mogelijk maakten.

Betekenis en Claims

De auteurs positioneren dit werk als een proof-of-concept voor een nieuw paradigma in AI-evaluatie:

• Longitudinaal Sociaal Signaal: Zij beargumenteren dat sociale media-data, wanneer verwerkt via ongesuperviseerde featurizatie en rigoureuze statistische toetsing, "onbekende onbekenden" in maatschappelijke impact kunnen onthullen die vooraf vastgestelde metrieken missen.
• Tijdigheid: Het PuLSE-framework toont aan dat het technisch haalbaar is om voor maatschappelijk impactvolle trends in realtime te monitoren, wat ontwikkelaars de mogelijkheid biedt om in te grijpen voordat problemen publieke crises worden.
• Complementariteit: De bevindingen complementeren en dagen bestaande industriële rapporten uit. Terwijl industriële data wellicht een lage volume van emotioneel gebruik laten zien, suggereert de intensiteit en de gevolgen van dat gebruik (bijv. het drijven van aanzienlijke tegenreactie tijdens modeltransities) een omvang van impact die niet enkel door frequentie wordt gevangen.
• Bescheidenheid: De auteurs verklaren expliciet dat zij geen causale claims maken over de oorzaken van deze trends (bijv. of GPT-4o de hechting veroorzaakte of er slechts mee samenviel), maar eerder de correlatie tussen productreleases en verschuivingen in gebruikersdiscours benadrukken. Zij erkennen de beperkingen van Reddit als databron en de moeilijkheid van het afleiden van grondwaarheid-gebruikspatronen.

Concluderend stellen de auteurs dat het aandacht besteden aan de "dagelijkse gebruiker" via publieke feedbackloops een cruciaal mechanisme is voor het sturen van de maatschappelijke impact van AI, waarbij men beweegt van retrospectieve analyse naar proactieve, datagedreven monitoring.