Technische Samenvatting: ThoughtTrace: Begrip van Gebruikersgedachten in Real-World LLM-interacties

Probleemstelling

Conversatie-AI-systemen hebben een enorme schaal bereikt, maar bestaande datasets en onderzoek vangen voornamelijk waarneembare gebruikersuitingen op in plaats van de onderliggende cognitieve processen die deze aandrijven. Huidige benaderingen behandelen conversatietranscripten als de primaire eenheid van observatie, waardoor het begrip van gebruikersintentie beperkt blijft tot wat expliciet wordt verwoord. Dit creëert een 'oppervlakkig' beeld van mens-AI-interactie dat de latente motieven, beperkingen en reacties mist die gebruikersgedrag vormen. Hoewel recent werk machine Theory of Mind (ToM) en gebruikerssimulaties heeft verkend, vertrouwen deze inspanningen vaak op gestructureerde, beperkte mentale variabelen of synthetische data, en slagen ze er niet in de dynamische, onuitgesproken cognitieve context van real-world interacties vast te leggen.

Methodologie

De auteurs introduceren ThoughtTrace, een grootschalige dataset en framework ontworpen om real-world multi-turn mens-AI-conversaties te koppelen aan door gebruikers zelf gerapporteerde latente gedachten.

Dataverzameling

• Deelnemers & Schaal: Het onderzoek omvatte 1.058 unieke gebruikers die 2.155 conversaties voerden, wat resulteerde in 17.058 interactierondes en 10.174 gedachtenannotaties.
• Modellen: Interacties vonden plaats over 20 verschillende taalmodellen, variërend van frontier-modellen (bijv. GPT-5.4, Gemini 3.1 Pro Preview, Claude Opus 4.6) tot kleinere open-weight modellen. Gebruikers waren niet op de hoogte van het specifieke model waarmee ze interacteerden.
• Procedure: Deelnemers voltooiden twee open-ended, zelf gedefinieerde taken (bijv. plannen, probleemoplossing) binnen een venster van 10 minuten. Cruciaal was dat ze, naast natuurlijk chatten, hun gedachten in real-time privé annoteerden:
  • Redenen: Uitleg waarom ze een specifiek gebruikersbericht stuurden (bijv. taakmotivatie, contextverankering).
  • Reacties: Interne reacties op het vorige bericht van de assistent (bijv. tevredenheid, ontevredenheid over stijl of inhoud).
• Demografie: De dataset bevat rijke metadata over leeftijd, geslacht, opleiding, beroep en frequentie van AI-gebruik, waarmee een representatief spectrum van frequente AI-gebruikers wordt gewaarborgd.

Gedachtentaxonomie

De auteurs categoriseerden gedachten in twee hoofdvormen met specifieke subtypes:

1. Redenen (7 types): Taakmotivatie & Doel, Taakcontinuatie, Taakheroriëntatie, Contextverankering & Beperkingen, Inhoudsverwachting, Stijlverwachting, en Sociaal/Onder anderen.
2. Reacties (5 types): Expliciete Bevestiging, Gedeeltelijke Tevredenheid, Inhoudelijke Relevantie, Presentatiestijl, en Scope-aanpassing.

Belangrijkste Bijdragen

1. Nieuwe Data-modaliteit: ThoughtTrace is de eerste grootschalige dataset die naturalistische multi-turn conversaties koppelt aan rijke, first-person cognitieve sporen (redenen en reacties) en demografische metadata.
2. Karakterisering van Gedachten: Het artikel stelt vast dat gedachten een onderscheidende data-modaliteit zijn met vier kern eigenschappen:
   • Onderscheidend van Berichten: Gedachten vatten substantiële latente informatie samen die niet wordt verwoord in de conversatie. Embedding-analyse toont significante semantische verschuivingen tussen berichten en hun corresponderende redenen/reacties.
   • Moeilijk te Infereren: Frontier LLM's (GPT-5.4, Gemini 3.1, Claude Opus 4.6) worstelen om deze gedachten alleen uit context te infereren, met lage semantische similariteitsscores (gemiddeld ~2,9 voor redenen en ~2,5 voor reacties op een schaal van 1-5) in vergelijking met menselijke annotaties.
   • Diverse Inhoud: Gedachten omvatten een breed spectrum aan intenties, van hoog niveau motivaties tot specifieke signalen van ontevredenheid.
   • Stadium-afhankelijk: Gedachtedynamiek verschuift over conversatiestadia (bijv. Taakmotivatie domineert vroege rondes, terwijl Taakcontinuatie en contextverankering redenen later prevaleren).
3. Gedemonstreerde Nuttigheid: Het artikel valideert de praktische waarde van gedachten voor downstream modelleringstaken.

Experimentele Resultaten

1. Voorspellen van Gebruikersgedrag

De auteurs evalueerden of toegang tot gedachtenannotaties de mogelijkheid van LLM's verbetert om het volgende bericht van een gebruiker te voorspellen.

• Opzet: Drie frontier-modellen kregen de opdracht het volgende gebruikersbericht te voorspellen op basis van of (a) alleen conversatiegeschiedenis, of (b) conversatiegeschiedenis verrijkt met de door de gebruiker geannoteerde redenen en reacties.
• Uitkomst: Gedachte-verrijkte voorspelling presteerde significant beter dan de alleen-geschiedenis baseline. De gemiddelde semantische similariteitsscore steeg van 21,6 naar 30,6, wat een relatieve winst van 41,7% vertegenwoordigt. Dit geeft aan dat latente gedachten bruikbare signalen bieden voor het anticiperen op gebruikersbehoeften die niet uit oppervlakkige dialoog te herstellen zijn.

2. Verbeteren van Modeluitlijning

De auteurs testten of gedachten betere signalen bieden voor het trainen van gepersonaliseerde assistenten in vergelijking met standaard feedback op basis van berichten.

• Opzet: Ze genereerden 'herschrijvingen' van onbevredigende antwoorden van de assistent.
  • Bericht-gestuurd: Herschrijvingen gebaseerd op het vervolgbericht van de gebruiker (standaardbenadering).
  • Gedachte-gestuurd: Herschrijvingen gebaseerd op de expliciete ontevredenheidsreactie van de gebruiker en de onderliggende reden.
  • Deze werden gebruikt om een Qwen3.5-4B-model te trainen via Direct Preference Optimization (DPO).
• Uitkomst: Modellen getraind met gedachte-gestuurde herschrijvingen behaalden een winstpercentage van 47,9% op de Arena-Hard-benchmark, en presteerden beter dan het basismodel (+25,6%) en de WildChat-baseline (+6,6%). Opmerkelijk is dat gedachte-gestuurde herschrijvingen op dezelfde dataset 4,5% beter presteerden dan bericht-gestuurde herschrijvingen, wat suggereert dat gedachten rijkere signalen van ontevredenheid coderen dan gebruikers expliciet verwoorden in vervolgberichten. Bovendien kwamen gedachten 2,2× meer gevallen van ontevredenheid aan het licht dan berichten alleen.

Betekenis en Claims

Het artikel positioneert ThoughtTrace als een fundamentele resource voor het bestuderen van de cognitieve dynamiek achter mens-AI-interactie. De betekenis ligt op drie gebieden:

• Gebruikersmodellering: Het maakt een systematische studie mogelijk van hoe conversatiecontext latente gedachten vormt en hoe deze gedachten vervolgens gebruikersuitingen aandrijven, waardoor men verder gaat dan oppervlakkig gedrag naar interne intentie.
• Modeltraining: Het biedt een nieuw supervisie-signaal dat modellen in staat stelt te leren van en uit te lijnen met de latente doelen, voorkeuren en reacties van gebruikers, wat potentieel leidt tot meer proactieve en gepersonaliseerde assistenten.
• Evaluatie: Het ondersteunt benchmarks voor gedachtenvoorspelling en biedt op gedachten gerichte maatstaven voor gebruikerstevredenheid, waarbij evaluatie verschuift van oppervlakkige correctheid naar latente intentie en subjectieve ervaring.

De auteurs erkennen beperkingen, waaronder de potentiële reactiviteit van het vragen aan gebruikers om gedachten te externaliseren (wat redenering kan polariseren) en het feit dat de dataset alleen bewust toegankelijke cognitie vastlegt, waardoor subbewuste processen onwaarneembaar blijven. Ze betogen echter dat deze bewust verwoorde gedachten een waardevol, eerder niet-geregistreerd signaal vertegenwoordigen voor het verbeteren van AI-assistentie.