💻 computer science

Dynamic User-State Modeling for LLM-Assisted Cultural Heritage Exploration: A Secondary Analysis of Semantic, Behavioral, and Psychometric Signals

본 연구는 LLM 지원 문화유산 탐색에서 사용자 경험 지표를 예측하기 위해 의미적, 행동적, 심리적 신호를 통합하는 동적 사용자 상태 모델링 프레임워크를 제안하며, 이를 통해 적응형 시스템이 개인의 호기심과 상호작용 패턴에 맞춰 대화형 안내를 효과적으로 맞춤화할 수 있음을 입증한다.

원저자: Hongjiang Li

게시일 2026-09-30

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Hongjiang Li

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 디지털 박물관을 걷고 있다고 상상해 보십시오. 그곳의 전시물은 단순히 정지된 이미지가 아니라 탐험을 기다리는 살아있는 이야기들입니다. 이 현대적인 문화 공간에서 방문객들은 컬렉션을 돌아다니고, 질문을 던지며, 역사를 통해 자신만의 경로를 구축할 수 있습니다. 수년 동안 연구자들은 대화가 가능한 인공지능을 추가하여 질문에 답하고 다음에 무엇을 볼지 제안하게 함으로써 이러한 디지털 경험을 개선하려고 노력해 왔습니다. 목표는 항상 사람들이 과거와 연결되도록 돕는 것이었지만, 근본적인 과제가 남아 있었습니다. 모든 사람이 똑같은 방식으로 탐험하지는 않는다는 점입니다. 어떤 방문객은 깊은 호기심을 가지고 복잡한 질문을 던지는 반면, 어떤 이들은 부드러운 안내를 선호하거나 너무 많은 자유로 인해 압도당함을 느낄 수도 있습니다. AI가 모두에게 동일한 어조로 말하고 동일한 수준의 도움을 제공하는 일률적인 접근 방식은 종종 목표를 놓치곤 합니다. 그것은 방문객이 자신의 관심사에서 벗어나고 있는지, 혹은 다음 단계로 나아가는 데 어려움을 겪고 있는지를 알아차리지 못합니다.

여기서 샤먼시 타카키 대학(Xiamen University Tan Kah Kee College) 연구진의 새로운 연구가 등장합니다. 그들은 단순하지만 어려운 질문을 던졌습니다. "우리가 AI에게 방문객이 탐험하며 변화하는 마음의 상태를 이해하도록 가르칠 수 있을까?" 연구팀은 사용자가 경험을 얼마나 좋아했는지에 대한 최종 점수만을 보는 대신, 실시간으로 상호작용하는 모습을 관찰함으로써 사용자의 만족도와 신뢰도를 예측할 수 있는지 알고 싶었습니다. 그들은 세 가지 특정 요소에 집중했습니다. 사용자가 입력한 실제 단어와 AI가 제공한 답변, 클릭 및 스크롤과 같은 사용자의 물리적 행동, 그리고 사용자의 성격 특성, 특히 타고난 호기심 수준입니다. 이 세 가지 정보의 흐름을 결합함으로써, 그들은 모든 방문객을 설문조사의 숫자 하나로 취급하는 대신, 변화하는 마음 상태를 가진 고유한 개인으로 다루는 모델을 구축했습니다.

이 아이디어를 테스트하기 위해 연구진은 이전에 디지털 유산 사이트를 방문했던 44명의 데이터를 분석했습니다. 이 방문객들은 다양한 역사적 주제를 탐구하고, 질문을 던지며, 대규모 언어 모델이 생성한 답변을 읽으며 시간을 보냈습니다. 연구진은 기존 데이터를 가져와 이를 작고 의미 있는 조각들로 나누었습니다. 그들은 질문이 그 순간 사용자가 보고 있는 특정 전시물과 얼마나 밀접하게 일치하는지, 대화가 주요 주제에서 얼마나 벗어났는지, 그리고 AI가 제공한 답변이 얼마나 관련성 있고 일관성이 있는지를 살펴보았습니다. 또한 사용자가 사이트에 머문 시간, 방문한 전시물의 수, 한 행동에서 다음 행동으로 넘어가는 속도 등을 추적했습니다. 결정적으로, 연구진은 사용자의 자연스러운 학습 욕구가 AI의 도움에 어떻게 반응하는지를 확인하기 위해 표준 심리 검사에서 추출한 사용자의 호기심 척도를 포함했습니다.

결과는 사람들이 문화적 AI와 상호작용하는 방식이 단순히 가이드 투어를 선택하느냐 자유로운 탐색을 하느냐의 문제보다 훨씬 더 복잡하다는 것을 보여주었습니다. 연구는 AI가 세션이 끝나기도 전에 사용자가 경험을 얼마나 즐길지, 그리고 시스템을 얼마나 신뢰할지를 성공적으로 예측할 수 있음을 발견했습니다. 이 예측은 AI가 사용자의 이름이나 나이를 알았기 때문이 아니라, 대화의 흐름과 사용자의 행동을 관찰했기 때문에 가능했습니다. 예를 들어, 연구는 사용자가 클릭 사이에 얼마나 기다렸는지 또는 얼마나 깊게 스크롤했는지와 같은 물리적 행동이 시스템의 사용성을 판단하는 강력한 지표라는 것을 보여주었습니다. 반면, AI의 답변이 주제에서 얼마나 벗어나지 않고 질문을 잘 따랐는지는 사용자가 시스템의 성능을 얼마나 잘 수행한다고 느끼는지에 대한 더 나은 예측 인자였습니다.

가장 흥러운 발견 중 하나는 AI의 질문 제안 습관에 관한 것이었습니다. 사이트의 일부 버전에서는 AI가 사용자가 클릭할 수 있는 추천 질문 목록을 제공했습니다. 연구진은 사용자들이 이러한 추천 질문을 선택했을 때 대화가 현재 전시물에 더 집중되고 더 매끄럽게 흘러간다는 것을 발견했습니다. 사용자들은 문화적 콘텐츠와 더 긴밀하게 연결되었고, AI가 제공한 답변은 주제와 더 일관성을 유지했습니다. 그러나 연구는 이러한 제안이 반드시 탐색을 더 새롭거나 창의적으로 만드는 것은 아니라는 점도 발견했습니다. 자신의 질문을 직접 작성하는 사용자들은 비록 대화의 일관성은 떨어질지라도 더 독특한 영역으로 나아가는 경향이 있었습니다. 이는 추천 질문이 방문객을 명확한 경로에 머물게 하는 안전 난간 역할을 하지만, 호기심 많은 마음이 갈구할 수 있는 종류의 거칠고 창의적인 발견을 반드시 장려하는 것은 아님을 시사합니다.

연구진은 사용자가 필요로 하는 도움의 수준이 타고난 호기심에 크게 의존한다는 사실도 발견했습니다. 호기심 척도가 낮은 사람들은 AI의 제안과 안내로부터 더 많은 혜택을 받는 경향이 있었습니다. 그들은 미리 작성된 질문들이 시작 단계에서 도움이 된다고 느꼈습니다. 그러나 호기심 수준이 높은 사용자들에게는 추가적인 안내가 큰 차이를 만들지 못했습니다. 이 사용자들은 이미 스스로 질문을 구성하고 스스로 탐구하는 능력이 뛰어났습니다. 이 발견은 모든 방문객에게 동일한 양의 도움이 필요하다는 생각에 도전합니다. 대신, 가장 효과적인 AI 시스템은 사용자가 주제를 찾는 데 어려움을 겪고 있다는 신호를 감지했을 때 도움을 주고, 사용자가 깊은 자기 주도적 몰입 상태를 보일 때는 한 발 물러설 줄 아는 시스템이라는 점을 시사합니다.

디지털 박물관의 미래를 위한 가장 실용적인 발견은 아마도 AI가 사용자를 이해하기 위해 세션이 끝날 때까지 기다릴 필요가 없다는 점일 것입니다. 연구는 상호작용의 중간 지점에 도달했을 때, 시스템이 사용자의 행동과 대화의 흐름에 대해 충분한 정보를 수집하여 경험에 대한 상당히 정확한 예측을 할 수 있음을 보여주었습니다. 이는 실제 환경에서 AI가 사용자가 여전히 탐색하는 동안 행동을 조정할 수 있음을 의미합니다. 사용자가 길을 잃었다고 감지되면 더 많은 제안을 제공하기로 결정하거나, 사용자가 몰입 상태(flow state)에 있다는 것을 감지하면 도움을 멈추기로 결정할 수 있습니다. 시스템은 이러한 조정을 하기 위해 사용자의 전체 이력을 알 필요가 없습니다. 오직 현재 진행 중인 대화를 관찰하기만 하면 됩니다.

이 연구는 또한 전체적인 그림을 보는 것의 중요성을 강조했습니다. 만약 연구진이 대화의 텍스트만을 살펴보았다면 사용성(usability)에 대한 중요한 단서를 놓쳤을 것입니다. 만약 사용자의 성격만을 살펴보았다면 인터페이스와 상호작용하는 구체적인 방식들을 놓쳤을 것입니다. 단어, 행동, 그리고 성격의 결합이야말로 모델이 사용자의 경험이라는 전체 그림을 볼 수 있게 해주었습니다. 이 접근 방식은 단순히 끝난 후에 사용자에게 사이트가 좋았는지 묻는 것을 넘어섭니다. 대신, 이것을 실시간으로 쓰여지는 역동적인 이야기로 취급하며, AI는 그 글을 쓰는 사람의 스타일에 맞춰 적응할 수 있는 공동 저가 되어줍니다.

연구진은 이 연구가 상대적으로 적은 인원인 44명을 대상으로 한 이차 분석임을 유의하며 신중한 태도를 보였습니다. 결과는 이 방법이 모든 사람에게 통할 것이라는 최종적인 증명은 아니지만, 이러한 복잡한 상호작용을 모델링하는 것이 가능하다는 강력한 증거를 제공합니다. 또한 연구는 AI가 주제를 유지하는 능력이 제시된 사실의 역사적 정확성을 보장하는 것은 아니라는 점을 지적합니다. 모델은 단어들이 얼마나 잘 어우러지는지를 측정하는 것이지, 그것이 진실인지 여부를 측정하는 것이 아닙니다. 미래의 시스템은 진정으로 효과적이기 위해 이러한 사용자 상태에 대한 이해와 신뢰할 수 있는 사실 확인 기능을 결มี해야 할 것입니다.

궁극적으로 이 연구는 문화 유산 분야에서 인공지능을 생각하는 방식의 변화를 시사합니다. 모두를 위한 단 하나의 완벽한 가이드를 만드는 대신, 우리는 개인에게 민감하게 반응하는 시스템을 구축할 수 있습니다. 이러한 시스템은 방문객의 요구가 매 순간 변한다는 것을 인식할 것입니다. 그것은 혼란의 순간을 도움을 제공할 기회로 이해하고, 깊은 집중의 순간을 물러나야 할 신호로 이해할 것입니다. 호기심, 행동, 그리고 대화의 미묘한 신호에 주의를 기울임으로써, 이러한 디지털 가이드는 단순한 정보 기계 이상의 존재가 될 수 있습니다. 그들은 탐험의 파트너가 되어, 각 방문객이 과거와 연결되는 자신만의 고유한 연결 고리를 찾을 수 있도록 도울 수 있습니다. 앞으로의 길은 AI를 일반적인 의미에서 더 똑똑하게 만드는 것이 아니라, 화면 반대편에 앉아 있는 인간을 더 잘 인지하도록 만드는 것에 있습니다.

기술 요약: LLM 지원 문화유산 탐색을 위한 동적 사용자 상태 모델링

1. 문제 정의

대규모 언어 모델(LLM)은 디지털 문화유산 환경에서 개방형 정보 탐색을 가능하게 하지만, 현재의 구현 방식은 대개 균일한 대화 지원을 제공합니다. 이러한 "일률적인(one-size-fits-all)" 접근 방식은 사용자 행동, 호기심 수준, 그리고 탐색 전략의 이질성을 수용하지 못합니다. 문화유산 분야 내 AI에 대한 기존 평가는 주로 집계된 결과(예: 평균 사용성 점수)에 집중되어 있으며, 이는 동일한 AI 지원을 받는 사용자들이 왜 서로 다른 경험을 보고하는지에 대한 이유를 은폐합니다. 또한, 전통적인 의미론적 분석은 진화하는 상호작용을 정적인 유사도 값으로 압축하여, 안정적인 탐색과 점진적인 의미적 표류(semantic drift), 또는 일관된 확장을 구분하지 못하는 한계가 있습니다.

본 연구는 LLM 지원 문화유산 상호작용을 동적 사용자 상태 모델링 문제로 재정의합니다. 핵심 과제는 사용자의 질문 궤적, LLM 응답, 관찰 가능한 상호작용 행동, 그리고 지속적인 심리 측정적 특성이 인터페이스 차이와 무관하게 시스템 사용성 척도(SUS) 점수 및 자동화 시스템 신뢰도 테스트(TOAST-P) 점수의 개인차를 공동으로 예측할 수 있는지 여부를 결정하는 것입니다.

2. 방법론

데이터 소스 및 설계
본 연구는 세 가지 인터페이스 조건(큐레이션된 웹사이트, 자유 텍스트 LLM 인터페이스, 문맥 의존적 질문 제안이 포함된 가이드형 LLM 인터페이스)과 상호작용한 44명의 참가자(여성 20명, 남성 24명)를 대상으로 한 이전 사용자 연구[1]의 익명화된 데이터셋을 활용한 이차 계산 분석입니다.

주요 데이터셋: 예측 모델링에 사용된 88개의 LLM 지원 세션 (참가자당 2회).
이차 데이터셋: 교차 인터페이스 분석에 사용된 총 132개의 세션 (큐레이션 조건 포함).
결과 변수: 예측된 SUS (0–100) 및 TOAST-P (1–7) 점수.

특징 공학 (Feature Engineering)
본 프레임워크는 세 가지 상호 보완적인 정보원을 통합합니다:

동적 의미적 상호작용 표현 (DSIR): 사용자 질문, LLM 답변, 관심 지점(POI) 콘텐츠, 그리고 주제적 경로의 다국어 임베딩(BGE-M3)으로부터 도출된 28차원 벡터입니다. 이는 다음의 7가지 해석 가능한 기술자를 포착합니다:
- 국소 문맥 관련성 (Local Contextual Relevance): 질문과 현재 POI 간의 의미적 정렬.
- 주제적 표류 (Thematic Drift): 광범위한 주제적 경로로부터의 이탈.
- 응답-문맥 의미 정렬 (ACSA): 답변과 POI 간의 일관성.
- 질문-응답 정렬 (Question–Answer Alignment): 질의와 응답 간의 의미적 대응.
- 의미적 참신성 (Semantic Novelty): 이전 턴(turn)과 비교한 질문의 독특함.
- 후속 연속성 (Follow-up Continuity): 이전 답변에 기반한 다음 질문의 발전 양상.
- 문화적 제약 하의 의미적 확장 (SES): 새로우면서도 주제적으로 일관되고 중복되지 않는 답변.
- 집계: 각 기술자는 평균, 표준 편차, 최댓값, 그리고 시간적 기울기로 요약됩니다.
행동 신호 (Behavioral Signals): 세션 지속 시간, 탐색한 POI 수, 클릭 횟수, 정규화된 스크롤 깊이, 총 질문 제출 수, 평균 행동 간격, 탐색 깊이를 포함한 7가지 특징.
심리 측정/프로필 데이터: 지속적인 호기심 및 탐색 검사-II (CEI-II) 점수, LLM 친숙도, 일반적인 컴퓨터 친숙도. 인구 통계적 변수(연령, 성별, 교육 수준)는 희소한 범주형 불안정성을 피하기 위해 기본 모델에서 제외되었습니다.

모델 아키텍처
작은 샘플 크기(44명의 독립적 참가자)에 따른 과적합을 방지하기 위해 **저용량 적응형 게이트 구조(low-capacity adaptive gated architecture)**가 채택되었습니다:

소스 투영 (Source Projection): 의미적, 행동적, 프로필 벡터를 공유된 16차원 잠재 공간으로 투영합니다.
적응형 게이팅 (Adaptive Gating): 라우팅 메커리즘이 각 소스에 대한 정규화된 가중치( $\alpha_s, \alpha_b, \alpha_p$ )를 계산하여, 세션에 따라 모델이 동적으로 주의를 할당하도록 합니다.
다중 작업 학습 (Multi-Task Learning): 공유된 은닉 표현은 별도의 회귀 헤드로 전달되며, L2 규제와 함께 공동으로 최적화됩니다.
검증: 모든 세션이 하나의 참가자에게 속하므로, 데이터 누수를 방지하기 위해 참가자 그룹화 교차 검증(5-fold)을 엄격히 적용하였습니다.

3. 주요 기여

동적 의미적 표현: 단순한 정적 토픽 중첩이 아닌, 국소적 관련성, 표류, 연속성을 포착하며 시간적으로 진화하는 의미적 궤적으로서의 문화적 탐색을 모델링하는 DSIR을 도입했습니다.
누출 제어된 다중 소스 융합: 참가자 수준의 데이터 누출을 엄격히 방지하면서 의미적, 행동적, 지속적 심리 측정 데이터를 통합하는 프레임워크를 제시했습니다.
차별화된 예측 패턴: 사용성(SUS)과 인지된 시스템 성능(TOAST-P)이 서로 다른 상호작용 신호에 의해 구동됨을 입증했습니다.
초기 세션 예측: 상호작용 세션의 중간 지점에서도 상당한 예측 정보가 확보될 수 있음을 보여주었습니다.

4. 결과

예측 성능

적응형 융합(Adaptive Fusion) 모델이 가장 낮은 오차를 달성했습니다: SUS의 경우 MAE = 5.74, TOAST-P의 경우 MAE = 0.49.
"조건 전용(condition-only)" 베이스라인과 비교했을 때, 모델은 MAE를 SUS에서 21.6%, TOAST-P에서 23.4% 감소시켰으며, 이는 평균적인 인터페이스 차이 너머에 개별적 변이가 존재함을 증명합니다.
조건 잔차 분석 (Condition-Residual Analysis): 평균 조건 값을 제거한 후에도 모델은 조건 내 SUS 분산의 **30%**와 TOST-P 분산의 **26%**를 설명했습니다.

절제 실험 및 소스 분석 (Ablation and Source Analysis)

의미적 vs. 행동적: 행동 특징을 제거하면 SUS MAE가 11.0% 증가한 반면, 의미적 특징을 제거하면 TOAST-P MAE가 16.3% 증가했습니다.
- 결론: 행동 패턴(행동 간격, 탐색 깊이)은 사용성의 주요 예측 인자인 반면, 의미적 일관성(ACSA, 주제적 표류)은 인지된 성능의 주요 예측 인자입니다.
동적 vs. 정적: 정적 토픽 분포를 BGE-M3로 대체했을 때 결과가 개선되었으나, DSIR 동적 특징을 추가했을 때 추가적인 이득이 확인되어 시간적 구조가 인코더 품질 이상의 가치를 더함을 입증했습니다.
융합 전략: 적응형 게이팅이 고정 융합(Early/Late/Equal)보다 우수한 성능을 보였으나, 그 차이는 미미했습니다. 이는 주요한 이득이 알고리즘 자체보다는 다중 소스 표현 자체에서 온다는 것을 시사합니다.

상호작용 역학에 관한 구체적 발견

질문 추천: 가이드형 조건에서 선택된 추천 질문은 수동으로 작성된 질문에 비해 높은 국소 관련성과 낮은 주제적 표류를 보였습니다. 그러나 추천 질문이 의미적 참신성이나 의미적 확장을 유의미하게 높이지는 않았습니다. 즉, 추천은 탐색의 다양성을 일률적으로 높이기보다 일관성을 구축하는 역할을 하는 것으로 보입니다.
호기심 상호작용: 가이드형 인터페이스의 이점(자유 텍스트 대비)은 지속적 호기심(CEI-II)이 높아질수록 감소했습니다. 그러나 이 관계는 연속적이며 비결정론적이었습니다. 높은 호기심을 가진 사용자라도 가이드에 대한 반응에는 여전히 변동성을 보였습니다.
조기 예측: 상호작용 이벤트의 단 **50%**만을 사용했을 때도 전체 세션 예측과 유사한 성능을 보였습니다(MAE 증가율 약 8–10%). 이는 세션 완료 전에도 사용자 상태를 추론할 수 있음을 나타냅니다.

5. 의의 및 주장

본 논문은 문화 AI 시스템을 균일한 대화형 지원에서 사용자 상태 인식형 적응 시스템으로 전환해야 한다는 경험적 근거를 제공한다고 주장합니다.

개별적 이질성: 본 연구는 동일한 AI 지원을 사용하는 사용자라도 그들의 상호작용 궤적과 호기심 수준에 따라 체계적이고 예측 가능한 경험의 차이를 보인다는 점을 입증했습니다.
방법론적 전환: 사용자 경험을 단순히 인터페이스 멤버십의 함수가 아니라, 진화하는 상호작용 상태의 결과로 취급할 것을 제안합니다.
설계 시사점: 적응형 시스템은 의미적 표류와 행동적 노력을 모니터링하여 가이드를 맞춤화해야 합니다. 추천 시스템은 탐색을 시작하거나 지속하는 데 어려움을 겪는 사용자에게 가장 효과적일 수 있는 반면, 높은 호기심을 가진 사용자에게는 자율적 탐색이 더 선호될 수 있습니다.
주장의 신중함: 저자는 이러한 결과가 인과 기제가 아닌 예측적 연관성임을 명시적으로 밝힙니다. 또한 44명의 적은 샘플 크기, 이차 분석의 특성, 주제적 경로 내용과 인터페이스 조건을 완전히 분리하기 어려운 점 등의 한계를 인정합니다. 또한 게이팅 메커니즘이 결정적인 알고리즘적 진보라고 주장하는 것이 아니라, 도메인 지식 기반의 표현이 성능의 주요 동인임을 강조합니다.

본 연구는 개인화가 유망한 전망을 가지고 있으나, 이를 위해서는 진화하는 사용자 상태에 대한 정교한 표현, 보수적인 통계적 해석, 그리고 배포 전의 향후 전향적 검증이 필요하다고 결론짓습니다.