Decoding Tourist Perception in Historic Urban Quarters with Multimodal Social Media Data: An AI-Based Framework and Evidence from Shanghai

본 연구는 AI 기반의 멀티모달 프레임워크를 활용하여 상하이의 역사적 도시 구역에서 관광객이 공유한 사진과 리뷰 데이터를 분석함으로써, 관광객의 시각적 주의와 미적 인식이 실제 환경과 어떻게 다른지 규명하고 유산 관리 및 도시 설계에 기여하는 해석 가능한 접근법을 제시합니다.

핵심

🍽️ 연구의 핵심: "관광객의 눈"을 읽는 AI 요리사

이 연구는 상하이의 12 개 역사적인 구역을 대상으로 했습니다. 연구자들은 관광객들이 SNS 에 올린 수만 장의 사진과 리뷰를 모아서 AI 에게 분석을 시켰습니다. 마치 한 명의 거대한 **'요리사'**가 관광객들이 찍은 사진을 식재료로 삼아, "이곳의 진짜 맛 (현실)"과 "요리된 맛 (SNS 에 올라온 이미지)"이 어떻게 다른지 비교하는 것과 같습니다.

이 연구는 크게 세 가지 단계로 이루어집니다.

1. 눈이 머무는 곳을 찾기 (시각적 집중 분석)

• 비유: 관광객들이 사진을 찍을 때, 카메라 렌즈가 어디에 초점을 맞췄는지를 AI 가 찾아냅니다.
• 결과: 관광객들은 주로 건물, 나무, 예술 작품을 찍었습니다. 반면, 광고판이나 길거리 노점상은 잘 찍지 않았죠.
• 의미: 이는 관광객들이 "이곳의 분위기"를 결정하는 핵심 요소가 무엇인지 보여줍니다. 예를 들어, '우캉 대루' 같은 곳은 사람이 많고 건물이 주를 이루지만, '티안아이 로드' 같은 곳은 벽화나 예술 작품이 눈에 띄게 많았습니다.

2. 색감의 차이 발견 (현실 vs. SNS)

• 비유: 실제 거리의 색은 **따뜻한 노란색과 주황색 (오래된 벽돌, 나무)**이 많지만, SNS 에 올라온 사진들은 차갑고 선명한 파란색과 녹색으로 보정되어 있습니다.
• 결과: AI 가 분석한 결과, 실제 거리의 건물 색은 따뜻한 느낌인데, 관광객들이 올린 사진은 더 차갑고 깔끔하게 보정된 경우가 많았습니다.
• 의미: 관광객들은 거리의 '진짜 모습'보다는 더 아름답고 감성적으로 보이는 모습을 찍어 올리고 싶어 한다는 뜻입니다. 마치 요리를 할 때, 실제 재료의 색보다는 더 먹음직스럽게 보이도록 소스를 발라내는 것과 비슷합니다.

3. 만족도 진단 (리뷰를 통한 감정 분석)

• 비유: AI 가 관광객들의 리뷰를 읽으며 네 가지 카테고리로 감정을 분류합니다.
  1. 활동: "놀 거리가 많았어!" vs "심심했어."
  2. 건물 환경: "역사적인 분위기가 좋았어." vs "너무 붐벼서 싫어."
  3. 시설: "화장실 줄이 너무 길었어." vs "편의시설이 좋았어."
  4. 상업: "쇼핑하기 좋았어." vs "너무 상업화되어서 싫어."
• 결과: 건물의 분위기는 좋게 평가받았지만, 화장실 줄이나 비싼 음식 가격 때문에 불만을 토로하는 경우가 많았습니다.

---

💡 이 연구가 우리에게 주는 교훈

이 연구는 도시 계획가들에게 다음과 같은 중요한 메시지를 줍니다.

1. 현실과 이미지의 괴리를 인정하세요: 관광객들이 SNS 에 올리는 사진은 '진짜'가 아니라 '가장 아름다운 버전'입니다. 도시를 설계할 때는 이 '가상 이미지'가 주는 기대치를 이해해야 합니다.
2. 색깔과 분위기가 중요합니다: 건물을 수리할 때 단순히 오래된 색을 유지하는 것뿐만 아니라, 관광객들이 원하는 '감성적인 색감'도 고려해야 합니다.
3. 작은 불편함이 큰 불만으로 이어집니다: 아름다운 건물이 있어도 화장실이 부족하거나 음식이 비싸면, 관광객들은 "별로였다"고 말합니다.

🚀 결론

이 논문은 **"인공지능을 이용해 관광객의 눈을 통해 도시를 다시 바라보았다"**는 점에 의미가 있습니다. 마치 거울을 통해 도시의 숨겨진 단점과 장점을 동시에 보여주는 것과 같습니다.

이러한 분석을 통해 상하이를 포함한 역사적인 도시들은 관광객이 원하는 '아름다운 이미지'와 '실제 생활의 편리함'을 모두 잡는 더 나은 도시 설계와 관리를 할 수 있게 될 것입니다.

한 줄 요약:

"관광객들이 찍은 사진과 리뷰를 AI 가 분석해 보니, 진짜 거리는 따뜻한 색이지만 SNS 에는 차가운 색으로 보정되어 있었고, 아름다운 건물이 있어도 화장실과 가격 때문에 불만이 많았다는 것을 발견했습니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 역사적 도시 구획 (Historic Urban Quarters) 은 관광과 생활 소비의 영향을 받으며 변화하고 있으나, 계획자들은 방문객이 어떤 요소를 주목하고, 선호하며, 비판하는지에 대한 확장 가능한 증거를 부족하게 가지고 있습니다.
• 문제점:
  • 기존 연구는 설문, 인터뷰, 현장 관찰에 의존하여 확장성이 낮고 응답자의 주관성이 개입될 수 있습니다.
  • 사용자 생성 콘텐츠 (UGC) 를 활용한 연구가 증가하고 있으나, 시각적 콘텐츠 (사진) 와 텍스트 (리뷰) 를 분리하여 분석하는 경향이 있어, '시각적 주목'과 '서사적 평가' 간의 연결 고리가 부족합니다.
  • 역사적 맥락에서 측정 가능한 시각적 단서 (예: 색상, 형태) 와 관광객의 평가적 판단 간의 관계를 명확히 규명한 연구가 부족합니다.
• 목표: 관광객의 주의 (Attention), 표현 (Representation), 평가 (Appraisal) 과정을 연결하는 통합적인 AI 기반 다중 모달 프레임워크를 개발하여, 역사적 구획의 계획 및 관리에 활용 가능한 증거를 제공하는 것입니다.

2. 방법론 (Methodology)

상하이의 12 개 역사적 문화 블록 (인민광장, 난징로, 외탄, 유원 등) 을 대상으로 한 실증 연구로, 다음과 같은 3 단계 모듈로 구성된 프레임워크를 적용했습니다.

A. 데이터 수집 및 전처리

• 데이터원: Dianping(중국 주요 여행/리뷰 플랫폼) 에서 2018 년 9 월~2024 년 10 월까지의 리뷰 및 사진 (약 32,949 개 리뷰, 168,137 장 사진) 수집.
• 기준 데이터: 바이두 지도 (Baidu Maps) 에서 거리별 20m 간격으로 스트리트 뷰 이미지 수집 (현장 색상 분포의 기준선 역할).
• 데이터 정제: 사진이 포함된 리뷰당 대표 이미지 1 장 선택, 12 개 구획당 최대 5,000 장 제한을 두어 균형 잡힌 데이터셋 (20,968 장) 구성.

B. 모듈 1: 시각적 주의 집중 추출 (Visual Focus Detection)

• 기술: DeepLabV3+MobileNetV2 기반의 시맨틱 분할 (Semantic Segmentation) 모델 학습.
• 과정: SAM(Segment Anything Model) 을 보조 도구로 활용하여 1,000 장의 사진을 수동 라벨링하고, 이를 기반으로 YOLOv8-Seg 를 미세 조정 (Fine-tuning) 하여 자동 라벨링 파이프라인 구축.
• 목표: 관광객이 공유한 사진에서 전경화 (Foreground) 된 시각적 요소 (건물, 나무, 사람, 예술작품 등 22 개 카테고리) 를 정량화.

C. 모듈 2: 미적 선호도 분석 (Aesthetic Preference Analysis)

• 기술: K-means 클러스터링 및 중국 색채 체계 (Chinese Color System) 적용.
• 과정:
  1. RGB 를 HSV 색 공간으로 변환하고 화이트 밸런스 보정 (Gray World 알고리즘) 수행.
  2. 소셜 미디어 사진과 스트리트 뷰 이미지의 주요 색상 팔레트 추출 및 비교.
  3. 콜모고로프 - 스미르노프 (K-S) 발산 (Divergence) 지수를 사용하여 구획 간 색상 분포 차이 및 '인식 - 현실' 간격 (Perception-Reality Gap) 측정.

D. 모듈 3: 만족도 평가 (Satisfaction Assessment)

• 기술: Multi-task BERT 모델 (BERT-base-Chinese) 학습.
• 구조: 4 가지 차원 (Tourist Activities, Built Environment, Service Facilities, Business Formats) 에 대한 다중 태스크 분류 헤드를 부착하여 각 차원의 감정 (긍정/중립/부정) 을 예측.
• 보조: 규칙 기반 NER 및 감정 단어 매칭을 통한 초기 데이터 라벨링 및 검증.

3. 주요 결과 (Key Results)

A. 시각적 요소의 전경화 (Semantic Segmentation)

• 전체적 경향: 사진에서 건물 (19.12%), 나무 (10.80%), 예술작품 (3.74%) 이 가장 많이 전경화됨.
• 구획별 차이:
  • 휴양/상업 지역 (예: 항산로, 우카오로): 녹지와 역사적 건물이 주를 이룸.
  • 교통 혼잡 지역 (예: 외탄, 우장로): 사람과 차량이 두 번째로 큰 시각적 요소로 부상.
  • 예술/문화 지역 (예: 티안아이로, 유원로): 예술작품 (그라피티, 설치미술) 비율이 현저히 높음 (티안아이로 12.81%).
• 의의: 모델이 다양한 거리 환경에 적응하여 핵심 시각 요소를 효과적으로 추출함을 입증.

B. 색상 구성과 인식 - 현실 간극 (Color Composition & Gap)

• 색상 패턴: 소셜 미디어 사진은 차가운 색조 (Cool tones: 청색, 보라색) 가 강조되는 반면, 실제 스트리트 뷰는 따뜻한 색조 (Warm tones: 주황, 노랑, 베이지) 가 더 많음.
• 원인: 플랫폼 필터, 기기 자동 보정, 사용자 커레이션 (Curating) 이 합쳐져 현장의 실제 색상보다 더 밝고 차가운 톤으로 재현되는 경향이 있음.
• 발견: 역사적 블록 내에서도 기능 (실내 문화 공간 vs 야외 산책로) 에 따라 색상 분포가 상이하며, 소셜 미디어상의 색상 표현은 현장의 중립적 기록이 아닌 '선별된 미적 기대'를 반영함.

C. 다차원 만족도 평가 (Multidimensional Satisfaction)

• 모델 성능: BERT 기반 모델이 4 가지 차원에서 인간의 판단과 높은 일치도를 보임.
• 주요 통찰:
  • 활동 (Activities): 특정 이벤트 (등불 축제 등) 에 대한 긍정적 평가가 높음.
  • 건물 환경 (Built Environment): 역사적 건축물에 대한 평가는 대체로 긍정적이지만, 과밀화 (Crowding) 로 인해 부정적 평가가 동반되기도 함.
  • 서비스 시설 (Service Facilities): 화장실 대기 줄, 좌석 부족 등 편의시설에 대한 불만이 집중됨.
  • 상업 형태 (Business Formats): 과도한 상업화 (Over-commercialization) 와 비싼 가격에 대한 비판이 주를 이룸.

4. 주요 기여 (Key Contributions)

1. 통합적 다중 모달 프레임워크 개발: 시각적 주의 (사진), 표현 (색상 비교), 평가 (텍스트 리뷰) 를 단일 분석 체인으로 연결하여 계획 의사결정을 지원.
2. 관광객 공유 이미지 전용 시맨틱 분할 파이프라인: 역사적 거리 환경에 맞춘 세분화된 시맨틱 분류 체계 (22 개 카테고리) 와 자동 라벨링 프로세스 구축.
3. 인식 - 현실 간극의 해석 가능한 지표 도입: 소셜 미디어 색상과 스트리트 뷰 기준선을 비교하여 미적 불일치 (Aesthetic Mismatch) 를 진단하고, 이를 차원별 만족도 신호와 연관시킴.

5. 의의 및 시사점 (Significance)

• 계획 및 관리에 대한 실용적 기여:
  • 녹지 및 경관 관리: 시각적 초점 데이터를 통해 녹지 비율이나 건축물 유지보수 우선순위 설정 지원.
  • 미적 불일치 해소: 현장과 온라인 이미지의 색상 괴리를 진단하여 파사드 리노베이션이나 조명 계획 시 관광객의 기대치를 반영할 수 있음.
  • 서비스 개선: 텍스트 분석을 통해 과밀화, 편의시설 부족, 상업화 문제 등 구체적인 개선이 필요한 영역을 식별.
• 이론적 기여: 관광 경험 연구에서 인지 (시각) 와 정서 (감정) 차원을 연결하고, '관광객의 시선 (Tourist Gaze)'이 어떻게 선택적 표현과 평가로 이어지는지를 체계적으로 규명.
• 확장성: 상하이 사례를 기반으로semantic taxonomy 와 만족도 차원을 현지화하여 다른 역사적 도시 구획 및 문화적 맥락에 적용 가능한 확장 가능한 프레임워크 제시.

이 연구는 AI 기술 (심층 학습, 자연어 처리, 컴퓨터 비전) 을 도시 계획 및 유산 관리의 이론적 틀에 통합하여, 대규모 디지털 흔적을 실행 가능한 계획 증거로 전환하는 새로운 접근법을 제시했습니다.