“It feels like an activity, not a test”: Developing and pilot-testing a sticker-based Likert scale for adolescent museum visitors at the Huangmei Opera Museum

기술 요약: "시험이 아니라 활동처럼 느껴진다": 청소년 박물관 방문객을 위한 스티커 기반 리커트 척도 개발 및 파일럿 테스트

문제 제기
박물관은 해석 및 교육 프로그램을 개선하기 위해 젊은 관람객으로부터 체계적인 피드백을 얻고자 하는 노력을 지속하고 있다. 그러나 8세에서 17세 사이의 아동 및 청소년을 평가하는 것은 방법론적으로 까다로운 과제이다. 기존의 텍스트 중심 설문지는 제한된 시간, 다양한 문해력 수준, 가변적인 주의 집중 시간, 그리고 설문조사를 "학교 수업 같은" 부담으로 인식하는 경향성 등으로 인해 실제 박물관 환경에서 실패하는 경우가 많다. 기존의 연령 적합적 정량 도구들은 제한적이며, 그림이나 이모지 기반의 척도가 존재하기는 하지만, 청소년에게 매력적이면서도 표준 심리 측정 기법과 분석적으로 호환 가능한 도구가 필요하다. 구체적인 과제는 응답 부담을 높이거나 데이터 품질을 저하시키지 않으면서도 복잡한 경험 구조(예: 즐거움, 상호작작용성, 문화적 인식)를 포착할 수 있는 측정 도구를 만드는 것이다.

연구 방법
본 연구는 중국 안칭의 황메이 오페라 박물관에서 수행된 현장 기반의 도구 지향적 파일럿 설계를 채택하였다.

• 참가자: 박물관 출구에서 인터셉트 방식으로 모집된 8세에서 17세 사이의 방문객 30명을 편의 표집하였다. 모든 참가자는 부모 또는 보호자를 동반하였다.
• 도구: 스티커 기반의 리커트 척도가 담긴 1페이지 분량의 설문지가 개발되었다. 응답자는 체크박스에 표시하는 대신, 황메이 오페라 테마의 캐릭터 얼굴 스티커를 5점 척도 그리드("매우 반대"에서 "매우 찬성"까지) 위에 붙였다. 이 도구는 다섯 가지 경험 차원인 즐거움, 문화적 인식, 상호작용성, 기술적 참신성, 재방문 의도를 조작적으로 정의하였다.
• 절차: 연구진은 방문 직후에 설문지를 실시하였다. 참가자들에게는 짧은 시연이 제공되었으며, 이후 참가자들은 독립적으로 과제를 수행하였다. 연구진은 완료 시간과 응답 행동(예: 망설임, 도움 필요 여부, 스티커 부착 정확도)을 기록하였다.
• 데이터 분석: 스티커 위치를 기준으로 데이터를 수치화(1~5)하여 코딩하였다. 분석은 두 가지 층위로 진행되었다:
  1. 측정 성능: 타당성(완료 시간, 결측치), 응답 과정(독립성, 도움 수준), 응답 분포(차별화 vs. 군집화), 그리고 예비 내부 구조(Cronbach's alpha, 항목 간 상관관계)를 분석하였다.
  2. 예시적 경험 관계: 다섯 가지 차원 간의 연관성을 탐색하기 위해 항목 수준의 패턴에 대한 기술적 분석을 수행하였으며, 이는 도구의 유용성을 보여주는 이차적 시연 역할을 하였다.

주요 결과

• 타당성 및 수용성: 본 도구는 높은 타당성을 보였다. 30개의 설문지 모두 결측치 없이 완료되었다. 완료 시간은 10분에서 16분 사이였다(평균 약 13분).
• 응답 과정: 참가자의 76.7%가 독립적으로 과제를 완료하였다. 16.7%는 가끔 도움이 필요했으며, 6.7%는 지속적인 지원이 필요했다. 관찰 결과, 일부 참가자들이 척도의 좌우 공간 방향성에 대해 일시적인 혼란을 겪었으며, 때때로 언어적 판단과 반대되는 열에 스티커를 배치하는 모습이 관찰되었다.
• 응답 분포: 해당 형식은 차별화된 응답을 성공적으로 이끌어냈다. 데이터셋 전반에 걸쳐 5개의 응답 범주가 모두 활용되었다. 그러나 특정 항목에서 강한 왜도가 나타났다:
  • 바닥 효과(Floor Effects): "상호작용성"(I9, I10) 관련 항목은 강한 음의 왜도(평균 < 2.0)를 보였으며, 응답의 86~90%가 "반대" 범위에 있었다.
  • 천장 효과(Ceiling Effects): "더 재미있는 경험에 대한 욕구"(I12) 및 "새로운 방식에 대한 재방문 의사"(I13) 관련 항목은 강한 양의 왜도(평균 > 4.7)를 보였으며, 100%의 응답이 "찬성" 범위에 있었다.
• 내부 구조: 예비 신뢰도 추정치는 소규모 표본과 제한된 분산으로 인해 혼재된 결과를 보였다.
  • 문화적 인식(4개 항목)은 완만한 내부 일관성($\alpha = 0.43$)을 보였다.
  • 즐거움(2개 항목)과 상호작용성(2개 항목)은 불안정하거나 거의 0에 가까운 항목 간 상관관계($\alpha = 0.13$ 및 $-0.04$)를 보였으며, 이는 이 특정 파일럿 맥락에서 해당 차원들이 단일 반영적 구성 개념으로서 기능하지 않거나 더 많은 항목이 필요함을 시사한다.

의의 및 주장
본 논문은 황메이 오페라 박물관에 대한 종합적인 평가보다는 방법론적 기여에 주안점을 두고 있다. 핵심 주장은 다음과 같이 도구의 잠재력에 초점을 맞추어 절제되어 있다:

1. 스티커 기반 형식의 타당성: 본 연구는 스티커 기반 리커트 형식이 현장에서 청소년 방문객을 대상으로 한 정량적 평가를 위한 실용적이고 매력적인 옵션이라는 초기 증거를 제공한다. 이는 평가 과업을 유형의 활동으로 전환함으로써 "시험"이라는 인식을 줄이는 데 성공하였다.
2. 분석적 호환성: 비전통적인 응답 메커니즘에도 불구하고, 생성된 데이터는 표준 정량 분석(서열 코딩, 기술 통계, 내부 일관성 검사)과 호환된다.
3. 설계 개선 사항 식별: 본 파일럿 연구는 특히 언어적 판단을 그리드에 매핑하는 공간적 매핑(방향성 오류)과 관련된 사용성 문제를 성공적으로 식별하였다. 저자들은 이러한 오류를 완화하기 위해 향후 반복 작업 시 더 강력한 시각적 단서(예: 화살표, 방향 확인)를 포함해야 한다고 주장한다.
4. 현재 타당성 검증의 한론: 저자들은 본 도구가 아직 완전히 검증되지 않았음을 명시적으로 밝히고 있다. 혼재된 내부 구조 결과와 단일 사이트의 소규모 표본은, 이 도구가 견고한 심리 측정 도구로 간주되기 전에 항목 확장(특히 즐거움 및 상호작용성 부분), 인지적 면담, 그리고 대규모 테스트가 필요함을 의미한다.

요약하자면, 본 논문은 스티커 기반 접근 방식이 텍스트 중심의 설문조사를 대체할 수 있는 유망한 대안을 제공하는 동시에, 도구의 신뢰도와 타당도를 높이기 위해 필요한 단계들을 강조하며, 청소년 방문객으로부터 완전하고 분석 가능한 데이터를 추출할 수 있음을 입증한다.