💻 computer science

Dynamic User-State Modeling for LLM-Assisted Cultural Heritage Exploration: A Secondary Analysis of Semantic, Behavioral, and Psychometric Signals

Este estudo propõe uma estrutura de modelagem dinâmica do estado do usuário que integra sinais semânticos, comportamentais e psicométricos para prever métricas de experiência do usuário na exploração do patrimônio cultural assistida por LLM, demonstrando que sistemas adaptativos podem ajustar efetivamente a orientação conversacional à curiosidade e aos padrões de interação individuais.

Autores originais: Hongjiang Li

Publicado 2026-09-30

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hongjiang Li

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine caminhar por um vasto museu digital onde as exposições não são apenas imagens estáticas, mas histórias vivas esperando para serem exploradas. Nesta versão moderna de um sítio cultural, os visitantes podem percorrer coleções, fazer perguntas e construir seus próprios caminhos através da história. Durante anos, pesquisadores tentaram tornar essas experiências digitais melhores adicionando inteligência artificial que possa conversar, respondendo a perguntas e sugerindo o que observar em seguida. O objetivo sempre foi ajudar as pessoas a se conectarem com o passado, mas um desafio fundamental permanece: nem todos exploram da mesma maneira. Alguns visitantes são profundamente curiosos e fazem perguntas complexas, enquanto outros preferem ser guiados suavemente ou podem se sentir sobrecarregados pelo excesso de liberdade. Uma abordagem de tamanho único, onde a IA fala com todos no mesmo tom e oferece o mesmo nível de ajuda, frequentemente não atinge o alvo. Ela falha ao não notar quando um visitante está se afastando de seus interesses ou quando está tendo dificuldades para encontrar o próximo passo.

É aqui que um novo estudo de pesquisadores da Faculdade Xiamen University Tan Kah Kee entra. Eles fizeram uma pergunta simples, mas difícil: podemos ensinar uma IA a entender o estado mutável da mente de um visitante enquanto ele explora? Em vez de apenas olhar para a pontuação final de quanto um usuário gostou da experiência, a equipe queria ver se poderiam prever a satisfação e a confiança de um usuário observando como ele interagia em tempo real. Eles focaram em três coisas específicas: as palavras reais que o usuário digitou e as respostas que a IA deu, as ações físicas que o usuário realizou, como clicar e rolar, e os próprios traços de personalidade do usuário, especificamente seu nível natural de curiosidade. Ao combinar esses três fluxos de informação, eles construíram um modelo que trata cada visitante como um indivíduo único com um estado mental em mudança, em vez de apenas um número em uma pesquisa.

Para testar essa ideia, os pesquisadores analisaram dados de 44 pessoas que haviam visitado anteriormente um sítio de patrimônio digital. Esses visitantes passaram tempo explorando diferentes temas históricos, fazendo perguntas e lendo respostas geradas por um modelo de linguagem de grande escala. Os pesquisadores pegaram esses dados existentes e os decomporam em pedaços minúsculos e significativos. Eles observaram o quão de perto uma pergunta correspondia ao exibido específico que o usuário estava visualizando naquele momento, o quanto a conversa se desviava do tema principal e se as respostas fornecidas pela IA pareciam relevantes e coerentes. Eles também rastrearam quanto tempo o usuário passou no site, quantas exposições visitou e com que rapidez se movia de uma ação para a próxima. Crucialmente, eles também incluíram uma medida da curiosidade do usuário, obtida de um inventário psicológico padrão, para ver se o desejo natural de aprender de uma pessoa mudava como ela respondia à ajuda da IA.

Os resultados revelaram que a maneira como as pessoas interagem com a IA cultural é muito mais complexa do que simplesmente escolher entre um tour guiado ou uma exploração livre. O estudo descobriu que a IA conseguia prever com sucesso o quanto um usuário aproveitaria a experiência e o quanto ele confiaria no sistema, mesmo antes da sessão terminar. Essa previsão funcionou não porque a IA sabia o nome ou a idade do usuário, mas porque ela estava observando o fluxo da conversa e o comportamento do usuário. Por exemplo, o estudo mostrou que o comportamento físico de um usuário, como o tempo de espera entre cliques ou a profundidade da rolagem, era um forte indicador de quão utilizável eles consideravam o sistema. Em contraste, o quão bem as respostas da IA permaneciam no tópico e seguiam as perguntas do usuário era um melhor preditor de se o usuário sentia que o sistema estava performando bem.

Uma das descobertas mais interessantes diz respeito ao hábito da IA de sugerir perguntas. Em algumas versões do site, a IA oferecia uma lista de perguntas recomendadas para o usuário clicar. Os pesquisadores descobriram que, quando os usuários escolhiam essas perguntas sugeridas, a conversa tendia a permanecer mais focada na exposição atual e fluía mais suavemente. Os usuários se sentiam mais conectados ao conteúdo cultural, e as respostas fornecidas pela IA eram mais consistentes com o tópico. No entanto, o estudo também descobriu que essas sugestões não necessariamente tornavam a exploração mais nova ou criativa. Usuários que escreviam suas próprias perguntas frequentemente aventuravam-se em territórios mais únicos, mesmo que a conversa fosse às vezes menos coerente. Isso sugere que as perguntas recomendadas atuam como um corrimão de segurança, mantendo o visitante em um caminho claro, mas não necessariamente incentivam o tipo de descoberta selvagem e criativa que algumas mentes curiosas podem buscar.

Os pesquisadores também descobriram que o nível de ajuda que um usuário precisa depende fortemente de sua curiosidade natural. Pessoas que pontuaram mais baixo nas escalas de curiosidade tendiam a se beneficiar mais das sugestões e orientação da IA. Eles acharam as perguntas pré-escritas úteis para começar. No entanto, para usuários com altos níveis de curiosidade, a orientação extra não fazia muita diferença. Esses usuários já eram bons em formular suas próprias perguntas e explorar por conta própria. Essa descoberta desafia a ideia de que todos os visitantes precisam da mesma quantidade de assistência. Em vez disso, sugere que os sistemas de IA mais eficazes seriam aqueles que conseguem sentir quando um usuário está lutando para encontrar um tópico e oferecer ajuda, mas depois recuam quando o usuário mostra sinais de engajamento profundo e autodirigido.

Talvez a descoberta mais prática para o futuro dos museus digitais seja que a IA não precisa esperar o fim de uma sessão para entender o usuário. O estudo mostrou que, pelo meio de uma interação, o sistema já havia reunido informações suficientes sobre o comportamento do usuário e o fluxo da conversa para fazer uma previsão razoavelmente precisa de sua experiência. Isso significa que, em um cenário do mundo real, uma IA poderia potencialmente ajustar seu comportamento enquanto o usuário ainda está explorando. Ela poderia decidir oferecer mais sugestões se sentir que o usuário está perdido, ou poderia parar de oferecer ajuda se sentir que o usuário está em um estado de fluxo. O sistema não precisa conhecer todo o histórico do usuário para fazer esses ajustes; ele só precisa observar a conversa atual se desenrolar.

O estudo também destacou a importância de olhar para o quadro completo. Se os pesquisadores tivessem olhado apenas para o texto da conversa, teriam perdido pistas importantes sobre usabilidade. Se tivessem olhado apenas para a personalidade do usuário, teriam perdido as maneiras específicas pelas quais ele interagiu com a interface. Foi a combinação das palavras, das ações e da personalidade que permitiu ao modelo ver o quadro completo da experiência do usuário. Essa abordagem vai além de simplesmente perguntar aos usuários se eles gostaram do site ao final. Em vez disso, trata a experiência como uma história dinâmica que está sendo escrita em tempo real, com a IA atuando como um coautor que pode adaptar seu estilo para se ajustar ao escritor.

Embora os resultados sejam promissores, os pesquisadores tomam o cuidado de notar que esta é uma análise secundária de um grupo relativamente pequeno de 44 pessoas. Os resultados não são uma prova final de que este método funcionará para todos, mas fornecem evidências fortes de que é possível modelar essas interações complexas. O estudo também aponta que a capacidade da IA de permanecer no tópico não garante que os fatos que ela apresenta sejam historicamente precisos; o modelo mede o quão bem as palavras se encaixam, não se elas são verdadeiras. Sistemas futuros precisariam combinar esse entendimento do estado do usuário com uma verificação de fatos confiável para serem verdadeiramente eficazes.

Em última análise, esta pesquisa sugere uma mudança na forma como pensamos sobre a inteligência artificial no patrimônio cultural. Em vez de construir um guia único e perfeito para todos, podemos construir sistemas que sejam sensíveis ao indivíduo. Esses sistemas reconheceriam que as necessidades de um visitante mudam de momento a momento. Eles entenderiam que um momento de confusão é uma oportunidade para oferecer ajuda, enquanto um momento de foco profundo é um sinal para recuar. Ao prestar atenção aos sinais sutis de curiosidade, comportamento e conversa, esses guias digitais poderiam se tornar mais do que máquinas de informação. Eles poderiam se tornar parceiros na exploração, ajudando cada visitante a encontrar sua própria conexão única com o passado. O caminho a seguir não é sobre tornar a IA mais inteligente em um sentido geral, mas sobre torná-la mais consciente do humano sentado do outro lado da tela.

Resumo Técnico: Modelagem Dinâmica do Estado do Usuário para Exploração de Patrimônio Cultural Assistida por LLM

1. Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) permitam a exploração aberta de informações em ambientes de patrimônio cultural digital, as implementações atuais frequentemente fornecem um suporte conversacional uniforme. Essa abordagem de "tamanho único" falha em acomodar a heterogeneidade dos comportamentos, níveis de curiosidade e estratégias de exploração dos usuários. As avaliações existentes de IA no patrimônio cultural focam amplamente em resultados agregados (ex: médias de pontuação de usabilidade), o que obscurece o porquê de usuários que interagem com a mesma assistência de IA relatarem experiências divergentes. Além disso, a análise semântica tradicional frequentemente comprime interações evolutivas em valores de similaridade estáticos, falhando em distinguir entre exploração estável, deriva semântica gradual ou expansão coerente.

Este estudo reformula a interação de patrimônio cultural assistida por LLM como um problema de modelagem dinâmica do estado do usuário. O desafio central é determinar se a trajetória das perguntas do usuário, das respostas do LLM, dos comportamentos de interação observáveis e das características psicométricas contínuas podem, conjuntamente, prever as diferenças individuais nas pontuações da Escala de Usabilidade do Sistema (SUS) e nos testes de Desempenho de Confiança em Sistemas Automatizados (TOAST-P), independentemente das diferenças médias de interface.

2. Metodologia

Fonte de Dados e Design
O estudo é uma análise computacional secundária de um conjunto de dados anonimizado de um estudo de usuário anterior [1] envolvendo 44 participantes (20 mulheres, 24 homens) que interagiram com três condições de interface: um website curado, uma interface de texto livre com LLM e uma interface de LLM guiada com sugestões de perguntas dependentes do contexto.

Conjunto de Dados Primário: 88 sessões assistidas por LLM (2 por participante) utilizadas para modelagem preditiva.
Conjunto de Dados Secundário: 132 sessões totais (incluindo a condição curada) utilizadas para análise entre interfaces.
Resultados (Outcomes): Pontuações preditas de SUS (0–100) e TOAST-P (1–7).

Engenharia de Atributos (Feature Engineering)
O framework integra três fontes de informação complementares:

Representação de Interação Semântica Dinâmica (DSIR): Um vetor de 28 dimensões derivado de embeddings multilíngues (BGE-M3) de perguntas do usuário, respostas do LLM, conteúdo de Pontos de Interesse (POI) e caminhos temáticos. Captura sete descritores interpretáveis:
- Relevância Contextual Local: Alinhamento semântico entre a pergunta e o POI atual.
- Deriva Temática: Desvio do caminho temático mais amplo.
- Alinhamento Semântico Resposta–Contexto (ACSA): Consistência entre a resposta e o POI.
- Alinhamento Pergunta–Resposta: Correspondência semântica entre a consulta e a resposta.
- Novidade Semântica: Unicidade da pergunta em relação às voltas (turns) anteriores.
- Continuidade de Seguimento: Desenvolvimento da próxima pergunta baseada na resposta anterior.
- Extensão Semântica de Restrição Cultural (SES): Respostas que são novas, porém tematicamente consistentes e não redundantes.
- Agregação: Cada descritor é resumido por média, desvio padrão, máximo e inclinação temporal (slope).
Sinais Comportamentais: Sete atributos incluindo duração da sessão, número de POIs explorados, contagem de cliques, profundidade de rolagem normalizada, total de perguntas enviadas, intervalo médio de ação e profundidade de exploração.
Dados Psicométricos/Perfil: Pontuações contínuas do Inventário de Curiosidade e Exploração-II (CEI-II), familiaridade com LLM e familiaridade geral com computadores. Variáveis demográficas (idade, gênero, educação) foram excluídas do modelo primário para evitar instabilidade de variáveis categóricas esparsas.

Arquitetura do Modelo
Uma arquitetura de portão adaptativo de baixa capacidade foi empregada para evitar o sobreajuste (overfitting) devido ao pequeno tamanho da amostra (44 participantes independentes):

Projeção de Fonte: Vetores semânticos, comportamentais e de perfil são projetados em um espaço latente compartilhado de 16 dimensões.
Portão Adaptativo (Adaptive Gating): Um mecanismo de roteamento calcula pesos normalizados ( $\alpha_s, \alpha_b, \alpha_p$ ) para cada fonte, permitindo que o modelo aloque atenção dinamicamente com base na sessão.
Aprendizado Multitarefa: Uma representação oculta compartilhada alimenta cabeças de regressão separadas para SUS e TOAST-P, otimizadas conjuntamente com regularização L2.
Validação: Validação cruzada agrupada por participante (5-fold) rigorosa garante que não haja vazamento de dados (data leakage), pois todas as sessões de um único participante são mantidas inteiramente dentro do conjunto de treinamento ou de teste.

3. Principais Contribuições

Representação Semântica Dinâmica: Introdução da DSIR, que modela a exploração cultural como uma trajetória semântica que evolui temporalmente, em vez de uma sobreposição de tópicos estática, capturando relevância local, deriva e continuidade.
Fusão de Múltiplas Fontes com Controle de Vazamento: Um framework que integra dados semânticos, comportamentais e psicométricos contínuos, prevenindo rigorosamente o vazamento de dados ao nível do participante.
Padrões Preditivos Diferenciados: Demonstração de que a usabilidade (SUS) e o desempenho percebido do sistema (TOAST-P) são impulsionados por sinais de interação distintos.
Predição de Início de Sessão: Evidência de que informações preditivas substanciais estão disponíveis já no meio de uma sessão de interação.

4. Resultados

Desempenho Preditivo

O modelo de Fusão Adaptativa alcançou os menores erros: MAE = 5,74 para SUS e MAE = 0,49 para TOAST-P.
Comparado a um baseline de "apenas condição", o modelo reduziu o MAE em 21,6% (SUS) e 23,4% (TOAST-P), provando que a variação individual existe além das diferenças médias de interface.
Análise de Resíduo de Condição: Mesmo após remover as médias das condições, o modelo explicou 30% da variância de SUS dentro da condição e 26% da variância de TOAST-P.

Ablação e Análise de Fonte

Semântica vs. Comportamental: Remover atributos comportamentais aumentou o MAE de SUS em 11,0%, enquanto remover atributos semânticos aumentou o MAE de TOAST-P em 16,3%.
- Conclusão: Padrões comportamentais (intervalos de ação, profundidade de exploração) são preditores primários de usabilidade, enquanto a coerência semântica (ACSA, deriva temática) é primária para o desempenho percebido.
Dinâmico vs. Estático: Substituir distribuições de tópicos estáticas por BGE-M3 melhorou os resultados, mas adicionar os atributos dinâmicos da DSIR proporcionou ganhos adicionais, confirmando que a estrutura temporal agrega valor além da qualidade do encoder.
Estratégia de Fusão: O portão adaptativo superou a fusão fixa (Precoce/Tardia/Igual), embora a margem tenha sido modesta, sugerindo que o ganho principal vem da própria representação de múltiplas fontes.

Achados Específicos sobre Dinâmicas de Interação

Recomendações de Perguntas: Na condição guiada, as perguntas recomendadas selecionadas mostraram maior relevância local e menor deriva temática em comparação com as perguntas escritas manualmente. No entanto, elas não aumentaram significativamente a novidade semântica ou a extensão semântica. As recomendações parecem estruturar a coerência em vez de aumentar uniformemente a diversidade da exploração.
Interação da Curiosidade: O benefício das interfaces guiadas (vs. texto livre) diminuiu conforme a curiosidade contínua (CEI-II) aumentava. No entanto, essa relação era contínua e não determinística; usuários de alta curiosidade ainda mostraram variabilidade em sua resposta à orientação.
Predição Precoce: Utilizar apenas os primeiros 50% dos eventos de interação resultou em um desempenho próximo à predição de sessão completa (aumento de MAE de ~8–10%), indicando que o estado do usuário pode ser inferido antes da conclusão da sessão.

5. Significância e Alegações

O artigo afirma fornecer suporte empírico para a mudança de sistemas de IA cultural de assistência conversacional uniforme para adaptação consciente do estado do usuário.

Heterogeneidade Individual: O estudo demonstra que usuários interagindo com a mesma assistência de IA exibem diferenças sistemáticas e previsíveis de experiência baseadas em suas trajetórias de interação e níveis de curiosidade.
Mudança Metodológica: Argumenta-se para tratar a experiência do usuário como um resultado de um estado de interação em evolução, e não apenas como uma função da participação na interface.
Implicações de Design: Os achados sugerem que sistemas adaptativos devem monitorar a deriva semântica e o esforço comportamental para personalizar a orientação. Recomendações podem ser mais eficazes para usuários que lutam para iniciar ou sustentar a exploração, enquanto a exploração autônoma pode ser preferível para usuários altamente curiosos.
Modéstia das Alegações: O autor afirma explicitamente que estas são associações preditivas, não mecanismos causais. Reconhece limitações, incluindo o pequeno tamanho da amostra (44 participantes), a natureza de análise secundária dos dados e a incapacidade de separar totalmente o conteúdo do caminho temático das condições de interface. Não se alega que o mecanismo de portão seja um avanço algorítmico decisivo, mas sim que a representação informada pelo domínio é o principal motor de desempenho.

O estudo conclui que, embora a personalização seja promissora, ela requer representação cuidadosa do estado evolutivo do usuário, interpretação estatística conservadora e validação prospectiva futura antes da implementação.