💻 computer science

Dynamic User-State Modeling for LLM-Assisted Cultural Heritage Exploration: A Secondary Analysis of Semantic, Behavioral, and Psychometric Signals

Questo studio propone un framework di modellazione dinamica dello stato dell'utente che integra segnali semantici, comportamentali e psicometrici per predire le metriche dell'esperienza utente nell'esplorazione del patrimonio culturale assistita da LLM, dimostrando che i sistemi adattivi possono personalizzare efficacemente la guida conversazionale in base alla curiosità individuale e ai modelli di interazione.

Autori originali: Hongjiang Li

Pubblicato 2026-09-30

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Hongjiang Li

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate di camminare attraverso un vasto museo digitale dove le esposizioni non sono solo immagini statiche, ma storie viventi in attesa di essere esplorate. In questa versione moderna di un sito culturale, i visitatori possono vagare tra le collezioni, porre domande e costruire i propri percorsi attraverso la storia. Per anni, i ricercatori hanno cercato di migliorare queste esperienze digitali aggiungendo un'intelligenza artificiale capace di dialogare, rispondendo alle domande e suggerendo cosa osservare successivamente. L'obiettivo è sempre stato quello di aiutare le persone a connettersi con il passato, ma una sfida fondamentale rimane: non tutti esplorano allo stesso modo. Alcuni visitatori sono profondamente curiosi e pongono domande complesse, mentre altri preferiscono essere guidati con dolcezza o potrebbero sentirsi sopraffatti da troppa libertà. Un approccio standardizzato, in cui l'IA parla a tutti con lo stesso tono e offre lo stesso livello di aiuto, spesso manca l'obiettivo. Non riesce a notare quando un visitatore si sta allontanando dai propri interessi o quando sta facendo fatica a trovare il passo successivo.

È qui che entra in gioco un nuovo studio di ricercatori della Xiamen University Tan Kah Kee College. Si sono posti una domanda semplice ma difficile: possiamo insegnare a un'IA a comprendere lo stato mutevole della mente di un visitatore mentre esplora? Invece di limitarsi a guardare il punteggio finale di quanto un utente abbia apprezzato l'esperienza, il team voleva vedere se fosse possibile prevedere la soddisfazione e la fiducia di un utente osservando come interagisce in tempo reale. Si sono concentrati su tre aspetti specifici: le parole effettive scritte dall'utente e le risposte fornite dall'IA, le azioni fisiche compiute dall'utente come cliccare e scorrere, e i tratti della personalità dell'utente, nello specifico il suo naturale livello di curiosità. Combinando questi tre flussi di informazioni, hanno costruito un modello che tratta ogni visitatore come un individuo unico con uno stato mentale variabile, piuttosto che come un semplice numero in un sondaggio.

Per testare questa idea, i ricercatori hanno analato i dati di 44 persone che avevano precedentemente visitato un sito del patrimonio digitale. Questi visitatori avevano trascorso del tempo esplorando diversi temi storici, ponendo domande e leggendo risposte generate da un modello linguistico di grandi dimensioni. I ricercatori hanno preso questi dati esistenti e li hanno scomposti in piccoli pezzi significativi. Hanno osservato quanto una domanda corrispondesse all'esposizione specifica che l'utente stava visualizzando in quel momento, quanto la conversazione si allontanasse dal tema principale e se le risposte fornite dall'IA sembrassero pertinenti e coerenti. Hanno anche tracciato il tempo trascorso dall'utente sul sito, quanti reperti ha visitato e la velocità con cui passava da un'azione all'altra. Fondamentalmente, hanno incluso anche una misura della curiosità dell'utente, tratta da un inventario psicologico standard, per vedere se il naturale desiderio di apprendimento di una persona cambiasse il modo in cui rispondeva all'aiuto dell'IA.

I risultati hanno rivelato che il modo in cui le persone interagiscono con l'IA culturale è molto più complesso del semplice scegliere tra un tour guidato o un'esplorazione libera. Lo studio ha dimostrato che l'IA poteva prevedere con successo quanto un utente avrebbe apprezzato l'esperienza e quanta fiducia avrebbe riposto nel sistema, ancora prima che la sessione fosse terminata. Questa previsione non è avvenuta perché l'IA conosceva il nome o l'età dell'utente, ma perché osservava il flusso della conversazione e il comportamento dell'utente. Ad esempio, lo studio ha mostrato che il comportamento fisico dell'utente, come il tempo di attesa tra un clic e l'altro o la profondità dello scorrimento, era un forte indicatore di quanto l'utente ritenesse il sistema utilizzabile. Al contrario, quanto bene le risposte dell'IA rimanessero in tema e seguissero le domande dell'utente era un predittore migliore della percezione dell'utente riguardo alle prestazioni del sistema.

Una delle scoperte più interessanti riguardava l'abitudine dell'IA di suggerire domande. In alcune versioni del sito, l'IA offriva un elenco di domande raccomandate da cliccare. I ricercatori hanno scoperto che quando gli utenti sceglievano queste domande suggerite, la conversazione tendeva a rimanere più focalizzata sull'esposizione corrente e fluiva in modo più armonioso. Gli utenti si sentivano più connessi al contenuto culturale e le risposte fornite dall'IA erano più coerenti con l'argomento. Tuttavia, lo studio ha anche rilevato che questi suggerimenti non rendevano necessariamente l'esplorazione più nuova o creativa. Gli utenti che scrivevano le proprie domande si avventuravano spesso in territori più unici, anche se la conversazione era talvolta meno coerente. Ciò suggerisce che le domande raccomandate agiscono come un corrimano di sicurezza, mantenendo il visitatore su un percorso chiaro, ma non incoraggiano necessariamente il tipo di scoperta selvaggia e creativa che alcune menti curiose potrebbero cercare.

I ricercatori hanno anche scoperto che il livello di aiuto di cui un utente ha bisogno dipende fortemente dalla sua naturale curiosità. Le persone che hanno ottenuto punteggi più bassi nelle scale di curiosità tendevano a beneficiare maggiormente dei suggerimenti e della guida dell'IA. Hanno trovato le domande pre-scritte utili per iniziare. Tuttavia, per gli utenti con alti livelli di curiosità, la guida extra non faceva molta differenza. Questi utenti erano già in grado di formulare le proprie domande e di esplorare autonomamente. Questo dato mette in discussione l'idea che ogni visitatore necessiti della stessa quantità di assistenza. Al contrario, suggerisce che i sistemi di IA più efficaci sarebbero quelli capaci di percepire quando un utente sta faticando a trovare un argomento e offrire aiuto, ma che sanno poi fare un passo indietro quando l'utente mostra segni di profondo impegno autodiretto.

Forse il risultato più pratico per il futuro dei musei digitali è che l'IA non deve aspettare la fine di una sessione per comprendere l'utente. Lo studio ha dimostito che, a metà di un'interazione, il sistema aveva già raccolto informazioni sufficienti sul comportamento dell'utente e sul flusso della conversazione per formulare una previsione ragionevolmente accurata della sua esperienza. Ciò significa che, in un contesto reale, un'IA potrebbe potenzialmente regolare il proprio comportamento mentre l'utente sta ancora esplorando. Potrebbe decidere di offrire più suggerimenti se percepisce che l'utente è smarrito, o potrebbe smettere di offrire aiuto se percepisce che l'utente è in uno stato di "flow". Il sistema non ha bisogno di conoscere l'intera storia dell'utente per apportare queste regolazioni; deve solo osservare lo sviluppo dell'attuale conversazione.

Lo studio ha anche sottolineato l'importanza di guardare il quadro d'insieme. Se i ricercatori avessero guardato solo il testo della conversazione, avrebbero perso indizi importanti sulla usabilità. Se avessero guardato solo la personalità dell'utente, avrebbero perso il modo specifico in cui interagiva con l'interfaccia. È stata la combinazione di parole, azioni e personalità ad permettere al modello di vedere l'immagine completa dell'esperienza dell'utente. Questo approccio va oltre il semplice chiedere agli utenti se il sito sia piaciuto alla fine. Invece, tratta l'esperienza come una storia dinamica che viene scritta in tempo reale, con l'IA che agisce come un co-autore capace di adattare il proprio stile per adattarsi allo scrittore.

Sebbene i risultati siano promettenti, i ricercatori avvertono con cautela che si tratta di un'analisi secondaria di un gruppo relativamente piccolo di 44 persone. I risultati non sono una prova definitiva che questo metodo funzionerà per tutti, ma forniscono una forte evidenza del fatto che è possibile modellare queste interazioni complesse. Lo studio evidenzia anche che la capacità dell'IA di rimanere in tema non garantisce che i fatti presentati siano storicamente accurati; il modello misura quanto bene le parole si incastrino tra loro, non se siano vere. I sistemi futuri dovrebbero combinare questa comprensione dello stato dell'utente con un controllo dei fatti affidabile per essere veramente efficaci.

In definitiva, questa ricerca suggerisce un cambiamento nel modo in cui pensiamo all'intelligenza artificiale nel patrimonio culturale. Invece di costruire una singola guida perfetta per tutti, possiamo costruire sistemi sensibili all'individuo. Questi sistemi riconoscerebbero che le necessità di un visitatore cambiano da un momento all'altro. Capirebbero che un momento di confusione è un'opportunità per offrire aiuto, mentre un momento di profondo focus è un segnale per fare un passo indietro. Prestando attenzione ai segnali sottili di curiosità, comportamento e conversazione, queste guide digitali potrebbero diventare molto più di semplici macchine informative. Potrebbero diventare partner nell'esplorazione, aiutando ogni visitatore a trovare la propria connessione unica con il passato. La strada da percorrere non consiste nel rendere l'IA più intelligente in senso generale, ma nel renderla più consapevole dell'essere umano seduto dall'altra parte dello schermo.

Sintesi Tecnica: Modellazione Dinamica dello Stato dell'Utente per l'Esplorazione del Patrimonio Culturale Assistita da LLM

1. Definizione del Problema

Sebbene i Large Language Models (LLM) consentano un'esplorazione informativa aperta negli ambienti digitali del patrimonio culturale, le attuali implementazioni forniscono spesso un supporto conversazionale uniforme. Questo approccio "taglia unica" non riesce ad accomodare l'eterogeneità dei comportamenti degli utenti, dei livelli di curiosità e delle strategie di esplorazione. Le valutazioni esistenti dell'IA nel patrimonio culturale si concentrano ampiamente sugli esiti aggregati (ad esempio, punteggi medi di usabilità), il che oscura il motivo per cui utenti che interagiscono con la stessa assistenza IA riportano esperienze divergenti. Inoltre, l'analisi semantica tradizionale spesso comprime le interazioni evolutive in valori di similarità statici, fallendo nel distinguere tra esplorazione stabile, deriva semantica graduale o espansione coerente.

Questo studio inquadra l'interazione assistita da LLM nel patrimonio culturale come un problema di modellazione dinamica dello stato dell'utente. La sfida centrale è determinare se la traiettoria delle domande dell'utente, delle risposte dell'LLM, dei comportamenti di interazione osservabili e delle caratteristiche psicometriche continue possa predire congiuntamente le differenze individuali nei punteggi della System Usability Scale (SUS) e del Trust of Automated Systems Test Performance (TOAST-P), indipendentemente dalle differenze medie dell'interfaccia.

2. Metodologia

Fonte dei Dati e Design
Lo studio è un'analisi computazionale secondaria di un dataset anonimizzato derivante da uno studio utente precedente [1] che ha coinvolto 44 partecipanti (20 donne, 24 uomini) che hanno interagito con tre condizioni di interfaccia: un sito web curato, un'interfaccia LLM a testo libero e un'interfaccia LLM guidata con suggerimenti di domande dipendenti dal contesto.

Dataset Primario: 88 sessioni assistite da LLM (2 per partecipante) utilizzate per la modellazione predittiva.
Dataset Secondario: 132 sessioni totali (incluso il contesto curato) utilizzate per l'analisi cross-interfaccia.
Esiti: Punteggi predetti SUS (0–100) e TOAST-P (1–7).

Ingegneria delle Caratteristiche (Feature Engineering)
Il framework integra tre fonti di informazione complementari:

Rappresentazione Semantica Dinamica dell'Interazione (DSIR): Un vettore a 28 dimensioni derivato da embedding multilingue (BGE-M3) di domande dell'utente, risposte dell'LLM, contenuti dei Punti di Interesse (POI) e percorsi tematici. Cattura sette descrittori interpretabili:
- Rilevanza Contestuale Locale: Allineamento semantico tra domanda e attuale POI.
- Deriva Tematica: Scostamento dal percorso tematico più ampio.
- Allineamento Semantico Risposta-Contesto (ACSA): Coerenza tra risposta e POI.
- Allineamento Domanda-Risposta: Corrispondenza semantica tra query e risposta.
- Novità Semantica: Unicità della domanda rispetto ai turni precedenti.
- Continuità del Follow-up: Sviluppo della domanda successiva basata sulla risposta precedente.
- Estensione Semantica Culturalmente Vincolata (SES): Risposte che sono nuove ma tematicamente coerenti e non ridondanti.
- Aggregazione: Ogni descrittore è riassunto da media, deviazione standard, massimo e pendenza temporale.
Segnali Comportamentali: Sette caratteristiche che includono durata della sessione, numero di POI esplorati, conteggio dei clic, profondità di scorrimento normalizzata, numero totale di domande inviate, intervallo medio di azione e profondità di esplorazione.
Dati Psicometrici/Profilo: Punteggi continui della Curiosity and Exploration Inventory-II (CEI-II), familiarità con l'LLM e familiarità generale con il computer. Le variabili demografiche (età, genere, istruzione) sono state escluse dal modello primario per evitare l'instabilità delle variabili categoriche sparse.

Architettura del Modello
È stata impiegata un'architettura a gating adattivo a bassa capacità per prevenire l'overfitting su un campione limitato (44 partecipanti indipendenti):

Proiezione della Sorgente: I vettori semantici, comportamentali e di profilo sono proiettati in uno spazio latente condiviso a 16 dimensioni.
Gating Adattivo: Un meccanismo di routing calcola i pesi normalizzati ( $\alpha_s, \alpha_b, \alpha_p$ ) per ogni sorgente, permettendo al modello di allocare dinamicamente l'attenzione in base alla sessione.
Apprendimento Multi-Task: Una rappresentazione nascosta condivisa alimenta teste di regressione separate per SUS e TOAST-P, ottimizzate congiuntamente tramite regolarizzazione L2.
Validazione: Una validazione incrociata raggruppata per partecipante (5-fold) rigorosa assicura che non vi sia perdita di dati (data leakage), poiché tutte le sessioni di un singolo partecipante sono mantenute interamente all'interno del set di addestramento o di quello di test.

3. Contributi Chiave

Rappresentazione Semantica Dinamica: Introduzione di DSIR, che modella l'esplorazione culturale come una traiettoria semantica che evolve temporalmente piuttosto che come una statica sovrapposizione di argomenti, catturando rilevanza locale, deriva e continuità.
Fusione Multi-Sorgente con Controllo della Perdita di Dati: Un framework che integra dati semantici, comportamentali e psicometrici continui, prevenendo rigorosamente la perdita di dati a livello di partecipante.
Pattern Predittivi Differenziati: Dimostrazione che l'usabilità (SUS) e la prestazione percepita del sistema (TOAST-P) sono guidate da segnali di interazione distinti.
Predizione Precoce della Sessione: Evidenza che un'informazione predittiva sostanziale è disponibile già al punto medio di una sessione di interazione.

4. Risultati

Prestazioni Predittive

Il modello Adaptive Fusion ha ottenuto gli errori più bassi: MAE = 5.74 per SUS e MAE = 0.49 per TOAST-P.
Rispetto a un baseline "solo condizione", il modello ha ridotto l'MAE del 21.6% (SUS) e del 23.4% (TOAST-P), provando che la variazione individuale esiste oltre le differenze medie dell'interfaccia.
Analisi dei Residui della Condizione: Anche dopo aver rimosso le medie medie della condizione, il modello ha spiegato il 30% della varianza SUS all'interno della condizione e il 26% della varianza TOAST-P.

Ablazione e Analisi delle Sorgenti

Semantica vs Comportamentale: Rimuovere le caratteristiche comportamentali ha aumentato l'MAE di SUS dell'11.0%, mentre rimuovere le caratteristiche semantiche ha aumentato l'MAE di TOAST-P del 16.3%.
- Conclusione: I pattern comportamentali (intervalli di azione, profondità di esplorazione) sono predittori primari dell'usabilità, mentre la coerenza semantica (ACSA, deriva tematica) è primaria per la prestazione percepita.
Dinamico vs Statico: Sostituire le distribuzioni statiche degli argomenti con BGE-M3 ha migliorato i risultati, ma l'aggiunta delle caratteristiche dinamiche DSIR ha fornito ulteriori guadagni, confermando che la struttura temporale aggiunge valore oltre la qualità dell'encoder.
Strategia di Fusione: Il gating adattivo ha superato la fusione fissa (Early/Late/Equal), sebbene il margine sia stato modesto, suggerendo che il guadagno principale derivi dalla rappresentazione multi-sorgente stessa.

Risultati Specifici sulla Dinamica dell'Interazione

Raccomandazioni di Domande: Nella condizione guidata, le domande raccomandate selezionate hanno mostrato una maggiore rilevanza locale e una minore deriva tematica rispetto alle domande scritte manualmente. Tuttavia, esse non hanno aumentato significativamente la novità semantica o l'estensione semantica. Le raccomandazioni sembrano strutturare la coerenza piuttosto che aumentare uniformemente la diversità dell'esplorazione.
Interazione con la Curiosità: Il beneficio delle interfacce guidate (rispetto al testo libero) è diminuito all'aumentare della curiosità continua (CEI-II). Tuttavia, questa relazione è continua e non deterministica; gli utenti con alta curiosità hanno comunque mostrato variabilità nella loro risposta alla guida.
Predizione Precoce: Utilizzando solo il primo 50% degli eventi di interazione, si è ottenuta una performance vicina alla predizione della sessione completa (aumento dell'MAE di circa l'8-10%), indicando che lo stato dell'utente può essere inferito prima del completamento della sessione.

5. Significato e Rivendicazioni

L'articolo sostiene di fornire un supporto empirico per il passaggio da sistemi di IA culturale con assistenza conversazionale uniforme a un'adattabilità consapevole dello stato dell'utente.

Eterogeneità Individuale: Lo studio dimosta che gli utenti che interagiscono con la stessa assistenza IA mostrano differenze sistematiche e prevedibili nell'esperienza, basate sulle loro traiettorie di interazione e sui livelli di curiosità.
Spostamento Metodologico: Si argomenta di trattare l'esperienza dell'utente come il risultato di uno stato di interazione in evoluzione piuttosto che esclusivamente come funzione dell'appartenenza a un'interfaccia.
Implicazioni di Design: I risultati suggeriscono che i sistemi adattivi dovrebbero monitorare la deriva semantica e lo sforzo comportamentale per personalizzare la guida. Le raccomandazioni potrebbero essere più efficaci per gli utenti che faticano a iniziare o sostenere l'esplorazione, mentre l'esplorazione autonoma potrebbe essere preferibile per gli utenti altamente curiosi.
Modestia delle Rivendicazioni: L'autore dichiara esplicitamente che si tratta di associazioni predittive, non di meccanismi causali. Vengono riconosciuti i limiti, tra cui il piccolo campione (44 partecipanti), la natura di analisi secondaria dei dati e l'impossibilità di separare completamente il contenuto del percorso tematico dalle condizioni dell'interfaccia. Non si afferma che il meccanismo di gating sia un avanzamento algoritmico decisivo, ma piuttosto che la rappresentazione informata dal dominio sia il principale motore delle prestazioni.

Lo studio conclude che, sebbene la personalizzazione sia promettente, richiede una rappresentazione accurata degli stati evolutivi dell'utente, un'interpretazione statistica conservativa e una futura validazione prospettica prima del deployment.