Learning Street View Representations with Spatiotemporal Contrast

이 논문은 시간적·공간적 속성을 활용한 대비 학습 프레임워크를 제안하여, 기존 방법보다 도시 환경의 동적 요소, 건축 환경, 그리고 주변 분위기를 효과적으로 표현하고 다양한 도시 과학 하위 작업에서 우수한 성능을 보이는 스트리트 뷰 이미지 표현 학습 방법을 제시합니다.

핵심

이 논문은 **'거리의 풍경 (스트리트 뷰) 을 어떻게 더 똑똑하게 이해할 수 있을까?'**라는 질문에 답하는 연구입니다.

기존의 인공지능은 사진을 보면 '개', '자동차', '나무' 같은 사물을 구분하는 데는 능숙했지만, 도시의 분위기나 시간이 지나도 변하지 않는 특징을 파악하는 데는 약점이 있었습니다. 이 연구는 그 약점을 해결하기 위해 시간과 공간의 흐름을 활용하는 새로운 학습 방법을 제안합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🏙️ 도시를 이해하는 세 가지 새로운 눈

이 연구는 인공지능에게 도시를 보는 눈을 세 가지 다른 방식으로 훈련시켰습니다. 마치 세 가지 다른 성격의 탐정을 고용한 것과 같습니다.

1. 시간 불변 탐정 (Temporal Invariance)

• 비유: "10 년 전과 지금, 변하지 않는 건물을 기억하는 할아버지"
• 원리: 같은 장소를 1 년 전, 5 년 전, 10 년 전에 찍은 사진을 비교합니다.
  • 무엇을 배울까요? 비가 오든, 눈이 오든, 밤이든 낮이든, 보행자가 지나가든 건물과 도로는 변하지 않습니다. 이 탐정은 사람이나 차, 날씨 같은 '변하는 것 (노이즈)'은 무시하고, 건물과 도로 같은 '영원한 것'만 기억하도록 훈련받습니다.
• 활용: "이곳이 어디지?"라고 물어보는 **장소 찾기 (Place Recognition)**에 가장 뛰어납니다. 계절이 바뀌어도 같은 건물을 찾아낼 수 있기 때문입니다.

2. 공간 불변 탐정 (Spatial Invariance)

• 비유: "동네 전체의 분위기를 맡아보는 동네 아줌마"
• 원리: 같은 시간대에 찍은 가까운 이웃 거리의 사진들을 비교합니다.
  • 무엇을 배울까요? 한 블록 안에서는 건물의 스타일, 길의 분위기, 동네의 경제 수준이 비슷합니다. 이 탐정은 특정 건물의 세부적인 모양보다는 **"이 동네는 부유해 보인다", "이곳은 활기차 보인다" 같은 전체적인 분위기 (분위기/분위기)**를 파악하는 데 집중합니다.
• 활용: "이 동네의 소득 수준은 얼마나 될까?", "치안은 어떤가?" 같은 사회경제적 예측에 가장 좋습니다.

3. 전체적인 감각 탐정 (Global Information)

• 비유: "사진 한 장을 여러 각도로 구경하는 예술가"
• 원리: 같은 사진을 자르고, 밝기를 바꾸고, 회전시켜서 다양한 모습으로 보여줍니다.
  • 무엇을 배울까요? 사진의 모든 요소 (나무, 차, 사람, 건물) 를 골고루 기억합니다.
• 활용: "이곳이 안전한가?" 같은 **사람의 안전감 (Safety Perception)**을 판단하는 데 가장 효과적입니다. 안전은 건물의 모양뿐만 아니라 길거리의 사람, 나무, 차량 등 모든 요소가 합쳐져 만들어내는 것이기 때문입니다.

---

🧪 실험 결과: 각 탐정의 활약

연구팀은 이 세 가지 탐정을 실제 도시 문제에 적용해 보았습니다.

1. 장소 찾기 (Visual Place Recognition):

   • 승자: 시간 불변 탐정 (Temporal)
   • 이유: 겨울에 눈이 쌓여도, 여름에 나무가 무성해도 같은 건물을 찾아내는 데 가장 능했습니다. 다른 탐정들은 날씨나 사물 변화에 혼란을 느꼈지만, 이 탐정은 건물의 본질만 보았습니다.

2. 소득 및 치안 예측 (Socioeconomic Prediction):

   • 승자: 공간 불변 탐정 (Spatial)
   • 이유: 한 동네의 전체적인 분위기 (건물 재질, 거리 정돈 상태 등) 를 파악하는 데 가장 탁월했습니다. 이는 그 동네의 경제적 수준을 예측하는 데 가장 중요한 단서가 됩니다.

3. 안전감 판단 (Safety Perception):

   • 승자: 전체적인 감각 탐정 (Self/Global)
   • 이유: 안전은 '전체'가 중요합니다. 특정 사물 하나만 보고 판단하면 안 되죠. 이 탐정은 사진 속 모든 요소 (나무, 차, 사람) 를 종합적으로 고려해 가장 정확한 안전 점수를 매겼습니다.

---

💡 핵심 교훈: "하나의 정답은 없다"

이 연구의 가장 큰 메시지는 **"모든 문제를 해결하는 만능 열쇠는 없다"**는 것입니다.

• 건물을 찾으려면 시간을 무시하고 공간을 봐야 하고,
• 동네 분위기를 파악하려면 공간을 넓게 봐야 하며,
• 안전을 느끼려면 모든 것을 골고루 봐야 합니다.

기존의 인공지능은 모든 사진을 똑같은 방식으로 학습했지만, 이 연구는 목적에 따라 도시를 바라보는 '눈'을 다르게 훈련시켰습니다. 마치 우리가 집을 고를 때는 '위치'를, 친구를 만날 때는 '분위기'를, 길을 잃었을 때는 '지형'을 각각 다르게 중요하게 생각하는 것과 같습니다.

이 방법은 도시 계획, 부동산, 치안 관리 등 다양한 분야에서 시각 데이터를 훨씬 더 똑똑하고 유용하게 만들어 줄 것입니다.

기술 요약

논문 요약: 시공간 대비 학습을 통한 스트리트 뷰 표현 학습

1. 연구 배경 및 문제 제기 (Problem)

• 현황: 스트리트 뷰 이미지는 도시 환경 이해, 사회경제적 평가, 지속 가능한 개발 등 다양한 다운스트림 태스크에 널리 활용됩니다. 기존에는 지도 학습 (Supervised Learning) 이나 일반적인 비지도/자기지도 학습 (Self-supervised Learning) 이 사용되었습니다.
• 문제점:
  • 기존 이미지 표현 학습은 장면 내의 모든 시맨틱 및 구조적 정보를 포착하는 데 중점을 두지만, 도시 환경 이해 태스크에 따라 필요한 정보의 종류가 다릅니다.
  • 예를 들어, **시각적 장소 인식 (Visual Place Recognition)**은 건물이나 도로와 같은 '정적 (Static)' 정보에 집중해야 하지만, 조명, 보행자, 차량, 식생과 같은 '동적 (Dynamic)' 정보는 필터링해야 합니다.
  • 반면, 사회경제적 예측이나 인간 환경 지각 태스크는 이러한 동적 요소나 주변 환경의 분위기 (Ambiance) 가 중요할 수 있습니다.
  • 기존 방법론은 이러한 동적/정적 요소를 선택적으로 인코딩하는 데 한계가 있으며, 이를 위해 별도의 라벨링이나 복잡한 마스킹 전략이 필요하다는 단점이 있었습니다.

2. 제안 방법론 (Methodology)

저자들은 스트리트 뷰 이미지가 가진 고유한 **시공간적 속성 (Spatiotemporal Attributes)**을 활용하여, 다운스트림 태스크에 맞춰 동적/정적 요소를 선택적으로 학습하는 자기지도 학습 (Self-supervised Learning) 프레임워크를 제안합니다.

• 핵심 가설:

  1. 시간 불변성 (Temporal Invariance): 같은 위치에서 다른 시간에 촬영된 이미지에서 건물, 도로 등 정적 요소는 일정하지만, 조명, 사람, 차량 등 동적 요소는 무작위적으로 변합니다. 이를 학습하면 정적 환경 특징을 유지하면서 동적 노이즈를 필터링할 수 있습니다.
  2. 공간 불변성 (Spatial Invariance): 같은 시간대에 인접한 위치의 이미지들은 건축 스타일이나 도시 기능 등 전체적인 분위기가 유사하지만, 구체적인 시각적 요소는 다릅니다. 이를 학습하면 특정 요소에 집중하지 않고 지역 전체의 분위기를 인코딩할 수 있습니다.
  3. 전역 정보 표현 (Global Information Representation): 데이터 증강 (Data Augmentation) 을 통해 동일한 이미지의 변형 쌍을 만들어 학습하면, 장면의 핵심 요소를 유지하며 전역 정보를 포착할 수 있습니다.

• 구체적인 학습 전략 (Contrastive Learning):

  • 시간 대비 학습 (Temporal Contrastive Learning): 같은 위치 (5 미터 이내) 에서 같은 각도로 촬영되었지만 서로 다른 시간에 찍힌 이미지 쌍을 양의 샘플 (Positive Pair) 로 구성합니다. 이를 통해 시간 불변의 건축 환경 특징을 학습합니다.
  • 공간 대비 학습 (Spatial Contrastive Learning): 같은 시간대에 인접한 지역에서 촬영된 이미지 쌍을 양의 샘플로 구성합니다. 이를 통해 공간적으로 일관된 이웃의 분위기 (사회경제적 환경 등) 를 학습합니다.
  • 자기 대비 학습 (Self-Contrastive Learning): 동일한 이미지에 데이터 증강을 적용하여 양의 샘플을 구성하는 기존 방식 (MoCo v3 등) 을 베이스라인으로 사용합니다.

• 손실 함수: InfoNCE 손실 함수를 사용하여 양의 샘플 간의 거리는 최소화하고 음의 샘플 (Negative Samples) 간의 거리는 최대화합니다.

3. 주요 실험 및 결과 (Experiments & Results)

저자들은 10 개 글로벌 도시 (4200 만 장 이상) 와 로스앤젤레스 (LA) 의 데이터를 사용하여 세 가지 모델 (GSV-Temporal, GSV-Spatial, GSV-Self) 을 사전 학습 (Pre-training) 하고, 세 가지 다운스트림 태스크에서 성능을 평가했습니다.

• 1. 시각적 장소 인식 (Visual Place Recognition, VPR):

  • 결과: GSV-Temporal 모델이 모든 벤치마크 데이터셋 (CrossSeason, Essex, Pitts 등) 에서 압도적인 성능을 보였습니다.
  • 이유: 계절, 조명, 동적 객체 (사람, 차량) 의 변화에 영향을 받지 않고, 건물의 구조적 특징 (시간 불변성) 만을 효과적으로 추출했기 때문입니다.

• 2. 사회경제적 지표 예측 (Socioeconomic Indicator Prediction):

  • 결과: GSV-Spatial 모델이 범죄, 건강, 빈곤, 교통 등 18 가지 사회경제적 지표 예측에서 가장 높은 $R^2$ 점수를 기록했습니다.
  • 이유: 인접한 지역의 유사한 건축 양식, 재료, 전체적인 분위기를 포착하여 지역 사회의 특성을 잘 반영했기 때문입니다.

• 3. 안전 지각 (Safety Perception):

  • 결과: GSV-Self 모델이 안전/불안전 환경 분류에서 가장 높은 정확도 (88.68%) 와 F1 점수를 달성했습니다.
  • 이유: 정적/동적 요소를 구분하지 않고 장면의 모든 시각적 요소 (나무, 차량 등) 를 종합적으로 파악하여 인간의 안전 감정에 더 부합하는 특징을 학습했기 때문입니다.

• 4. 특징 분석 (Feature Analysis):

  • 주의 맵 (Attention Map): GSV-Temporal 은 동적 객체 (차량 등) 를 무시하고 정적 배경 (하늘, 건물) 에 집중하는 반면, GSV-Spatial 은 전체 구조에 고르게 집중하는 것을 확인했습니다.
  • 주파수 분석: GSV-Temporal 은 저주파 (전체 구조, 부드러운 전이) 에 민감하고, GSV-Spatial 은 고주파 (세부 질감, 창문 스타일, 재료) 에 더 민감하게 반응하는 것으로 나타났습니다.

4. 주요 기여 (Key Contributions)

1. 새로운 자기지도 학습 프레임워크: 스트리트 뷰 이미지의 시공간적 속성을 활용하여, 태스크에 따라 동적/정적 정보를 선택적으로 인코딩하는 3 가지 대비 학습 전략 (시간, 공간, 자기) 을 제안했습니다.
2. 태스크별 최적화 전략 입증: 동일한 스트리트 뷰 데이터라도 학습 목표 (Contrastive Objective) 에 따라 얻어지는 표현이 다르며, 이것이 특정 다운스트림 태스크 (VPR 은 시간 불변, 사회경제는 공간 불변, 안전 지각은 전역 정보) 에 더 적합함을 실험적으로 증명했습니다.
3. 도시 과학을 위한 벤치마크: 기존 ImageNet 기반 모델보다 도시 환경 이해 태스크에서 월등히 뛰어난 성능을 보이며, 시각 데이터의 도시 과학 적용 가능성을 높이는 새로운 벤치마크를 제시했습니다.

5. 의의 및 결론 (Significance)

이 연구는 도시 환경 분석을 위해 단순히 "더 많은 데이터"나 "더 복잡한 모델"을 사용하는 것을 넘어, 데이터가 가진 본질적인 시공간적 속성 (Temporal/Spatial Invariance) 을 어떻게 학습 목표에 맞게 활용하느냐가 중요함을 강조합니다.

• 실용적 가치: 도시 계획가, 정책 입안자, 연구자들이 특정 목적 (예: 범죄 예방, 부동산 가치 평가, 내비게이션) 에 맞춰 최적의 스트리트 뷰 표현을 선택하여 활용할 수 있는 가이드라인을 제공합니다.
• 과학적 기여: 도시 과학 (Urban Science) 분야에서 시각 데이터의 표현 학습 전략을 체계적으로 논의하고, 기존 지도 학습의 한계를 극복하는 자기지도 학습의 가능성을 입증했습니다.

이 논문은 https://github.com/yonglleee/UrbanSTCL에서 코드와 데이터를 공개하고 있습니다.