AI as We Describe It: How Large Language Models and Their Applications in Health are Represented Across Channels of Public Discourse

Probleemstelling

Grote Taalmodellen (LLMs) worden snel geïntegreerd in hoog-risico domeinen zoals de gezondheidszorg, met toepassingen variërend van communicatieondersteuning tot besluitvorming. Er is echter een fundamenteel verschil tussen hoe LLMs werken (probabilistische generatie van nieuwe content) en hoe het publiek ze waarneemt (vaak als betrouwbare informatiebronnen of menselijke entiteiten).

De kernproblematiek is dat de huidige publieke discoursen onduidelijk zijn over de balans tussen de potentie en de beperkingen van LLMs. Er bestaat een risico dat het publiek, geleid door verouderde mentale modellen of antropomorfisme (het toeschrijven van menselijke eigenschappen), onveilig met deze technologie omgaat. Dit kan leiden tot echte schade, zoals het verspreiden van desinformatie, het ondermijnen van kritisch denken, of zelfs het verergeren van psychische problemen. De auteurs stellen dat het niet duidelijk is of de huidige narratieven een gebalanceerd beeld schetsen van zowel de kansen als de risico's.

Methodologie

De studie voert een grootschalige, kwantitatieve analyse uit van publieke discoursen over LLM-toepassingen in de gezondheidszorg.

• Datacollectie:

  • Tijdspanne: December 2022 tot december 2024 (gebaseerd op de lancering van ChatGPT).
  • Kanalen: Vijf prominente discourskanalen werden onderzocht: Nieuwsartikelen, Research Persberichten, YouTube-video's, TikTok-video's en Reddit-posts.
  • Dataset: Er werden 62.783 items verzameld met zoekopdrachten die ten minste één LLM-gerelateerde term en één gezondheidsgerelateerde term bevatten. Na filtering met LLM-ondersteuning (GPT-4o-mini) bleven 21.773 relevante items over.
  • Filtering: Een extra ronde van filtering met GPT-4o-mini (few-shot learning) zorgde ervoor dat de content daadwerkelijk ging over het adopteren van LLMs voor gezondheidsdoeleinden en niet over andere contexten.

• Analytische Dimensies:
  De analyse richtte zich op drie hoofddimensies, gebaseerd op Agenda-Setting theorie:

  1. Lexicale Stijl: Emotionele toon (positief/negatief), analytische stijl, 'clout' (zelfverzekerdheid/autoriteit) en authenticiteit.
  2. Informatieve Inhoud: Framing (episodisch vs. thematisch), specifieke gezondheidsdomeinen, en de openbaarmaking van risico's en het generatieve karakter van LLMs.
  3. Symbolische Representatie: De mate van antropomorfisme (hoe menselijk LLMs worden voorgesteld).

• Technische Validatie:

  • Gebruik van LIWC voor emotionele analyse.
  • Gebruik van RoBERTa-modellen voor framing-classificatie.
  • Gebruik van een gemaskerd taalmodel voor het berekenen van een antropomorfisme-score (verhouding tussen menselijke en niet-menselijke voornaamwoorden).
  • Validatie via menselijke annotatie en cross-model validatie (GPT-4o-mini vs. Gemini-2.5) om betrouwbaarheid te garanderen.

Belangrijkste Resultaten

1. Lexicale Stijl en Toon:

   • De algemene toon is positief en wordt in de tijd steeds positiever.
   • TikTok en YouTube tonen de meest optimistische toon.
   • Nieuws heeft een gemiddeld neutrale toon, terwijl Reddit de grootste variatie in emotie vertoont.
   • Professionele kanalen (Nieuws, Research) zijn meer analytisch en formeel. Sociale media (TikTok, YouTube) tonen meer 'clout' (zelfverzekerdheid) en een conversatiestijl.

2. Informatieve Inhoud en Framing:

   • Episodische Framing: Discussies zijn voornamelijk episodisch (gericht op geïsoleerde gevallen of individuele verhalen) in plaats van thematisch (brede systemische implicaties).
   • Risicocommunicatie: Er is een ernstig gebrek aan diepgaande risicocommunicatie. Risico's worden vaak gereduceerd tot kwesties van informatiekwaliteit (bijv. hallucinaties, onnauwkeurigheden).
   • Generatief Karakter: Uitleg over het fundamenteel generatieve en probabilistische karakter van LLMs (het verschil met traditionele zoekmachines) is bijna afwezig in alle kanalen (<3% in nieuws, Reddit en TikTok).
   • Platformverschillen:
     • TikTok en Reddit: Leggen de nadruk op consumentengezondheid, vooral mentale gezondheid en emotionele begeleiding. Ze noemen risico's zelden.
     • Nieuws en Research: Focus op klinische besluitvorming, diagnostiek en onderzoek. Ze bespreken risico's en bredere maatschappelijke implicaties vaker.
     • YouTube: Fungeert als middenweg met educatieve en zakelijke content die een breder scala aan subdomeinen dekt.

3. Symbolische Representatie (Antropomorfisme):

   • Over het algemeen is de antropomorfisme-score neutraal tot laag.
   • TikTok en Reddit vertonen echter een grotere variatie en bevatten soms sterk antropomorfiserende uitingen (bijv. "mijn ChatGPT-therapeut", "hij houdt van mij").
   • Research Pers is het minst antropomorphiserend en gebruikt meer technische beschrijvingen.

Belangrijkste Bijdragen

1. Grootschalige Vergelijking: Dit is de eerste studie die publieke discoursen over LLMs in de gezondheidszorg analyseert over zowel professionele (top-down) als publieke (bottom-up) kanalen.
2. Taxonomie van Toepassingen: De auteurs hebben zes brede gezondheidsdomeinen en 20 subcategorieën geïdentificeerd waarin LLMs worden toegepast (bijv. klinische ondersteuning, workflow-optimalisatie, consumentengezondheid).
3. Diagnostisch Instrument: De studie positioneert publiek discours als een diagnostisch hulpmiddel om gaten in geletterdheid (literacy) en governance te identificeren.

Betekenis en Implicaties

De bevindingen hebben belangrijke gevolgen voor communicatiestrategieën, ontwerp en governance:

• Gaten in Geletterdheid: Het gebrek aan uitleg over het generatieve karakter van LLMs leidt tot verkeerde mentale modellen. Gebruikers behandelen LLMs als traditionele bronnen, wat gevaarlijk is in de gezondheidszorg.
• Asymmetrische Informatie: Professionele kanalen negeren vaak de hoge publieke interesse in mentale gezondheid en emotionele begeleiding, terwijl sociale media deze gaten vullen maar zonder adequate risicowaring. Dit creëert een gevaarlijke situatie waar kwetsbare gebruikers (bijv. jongeren) op AI vertrouwen voor therapeutische doeleinden zonder de beperkingen te kennen.
• Aanbevelingen voor Governance en Ontwerp:
  • Communicatie moet verder gaan dan het simpelweg melden dat iets "een AI is". Er moet mechanistische uitleg worden gegeven over hoe LLMs werken (probabilistisch, geen echt begrip).
  • Ontwerpers en beleidsmakers moeten rekening houden met de specifieke risico's in hoog-gebruikte domeinen zoals mentale gezondheid, waar de grens tussen "gezelschap" en "therapie" vervaagt.
  • Discoursanalyse kan gebruikt worden om te bepalen waar publieke aandacht ligt en waar professionele communicatie ontbreekt, zodat gerichte interventies mogelijk zijn.

Kortom, de studie waarschuwt dat de huidige publieke perceptie van LLMs in de gezondheidszorg te optimistisch en onvolledig is, wat de weg vrijmaakt voor potentieel ernstige schade als er geen ingrijpende verbeteringen worden aangebracht in transparantie, educatie en regulering.