Streetscape Analysis with Generative AI (SAGAI): Vision-Language Assessment and Mapping of Urban Scenes

이 논문은 오픈소스 데이터와 비전 - 언어 모델을 활용하여 도시 풍경을 자동으로 평가하고 매핑하는 모듈형 워크플로우인 SAGAI 를 소개하며, 이는 별도의 전담 학습 없이도 보행성이나 안전성 등 다양한 도시 연구 주제를 확장 가능하게 분석할 수 있음을 보여줍니다.

핵심

이 논문은 **"SAGAI"**라는 이름의 새로운 도구에 대해 설명하고 있습니다. 쉽게 말해, 도시의 거리를 카메라로 찍어 AI 가 자동으로 분석하고 점수를 매겨주는 시스템입니다.

기존에는 도시의 거리를 분석하려면 전문가들이 직접 현장을 다니거나, 사진을 하나하나 손으로 세고 측정해야 했습니다. 이는 마치 수천 장의 사진을 일일이 손으로 분류하는 도서관 사서처럼 매우 힘들고 시간이 오래 걸리는 일이었습니다.

하지만 SAGAI 는 이 일을 매우 똑똑한 AI 비서에게 맡깁니다. 이 비서는 사진을 보고 "이곳은 시골인가요, 도시인가요?", "상가가 몇 개나 보이나요?", "보행로가 얼마나 넓나요?" 같은 질문에 자연어로 답을 해줍니다.

이 과정을 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드리겠습니다.

1. SAGAI 는 어떻게 작동할까요? (4 단계 요리법)

이 시스템은 4 단계로 이루어진 자동화된 조리 과정과 같습니다.

• 1 단계: 길거리 지도 그리기 (OSM 점 생성기)
  • 비유: 도시 지도 위에 미리 정해진 간격으로 '체크포인트'를 찍는 것입니다. 마치 우편배달부가 우편물을 나누기 위해 우체통 위치를 미리 확인하는 것처럼, 분석할 도로 구간을 자동으로 설정합니다.
• 2 단계: 거리 사진 찍기 (구글 스트리트 뷰 다운로드)
  • 비유: 설정된 체크포인트마다 구글 스트리트 뷰 카메라를 돌려 4 방향의 사진을 찍는 것입니다. 마치 여행자가 그 자리에 서서 동서남북을 두루 살피며 사진을 찍는 것과 같습니다.
• 3 단계: AI 비서가 사진 보고 점수 매기기 (LLaVA 모델 분석)
  • 비유: 찍힌 사진을 **매우 똑똑한 AI 비서 (LLaVA)**에게 보여줍니다. 우리는 비서에게 "이 사진에 상점이 몇 개 보이나요?"라고 자연어로 질문합니다. 비서는 사진을 보고 즉시 "상점 2 개"라고 답하거나 "보행로 너비 1.5 미터"라고 숫자로 알려줍니다.
  • 중요한 점: 이 비서는 특별한 훈련을 받지 않아도 됩니다. (Zero-shot) 우리가 "이건 도시인가요?"라고 물어보면 바로 답할 수 있는 타고난 지능을 가지고 있습니다.
• 4 단계: 점수를 지도에 색칠하기 (공간 집계 및 매핑)
  • 비유: AI 가 매긴 점수들을 다시 지도 위에 색칠하는 작업입니다. "이 길은 도시 느낌이 강해서 진한 보라색", "저 길은 시골 느낌이 나서 연한 노란색"으로 표시합니다. 이렇게 하면 한눈에 도시의 특성을 파악할 수 있는 색깔이 입은 지도가 완성됩니다.

2. 이 도구를 실제로 써본 결과 (니스와 비엔나 사례)

연구진은 프랑스의 니스와 오스트리아의 비엔나 두 도시에서 이 시스템을 테스트했습니다.

• 성공적인 점:
  • "이곳이 도시인지 시골인지"를 구분하는 능력은 90% 이상으로 매우 정확했습니다. 마치 노련한 등산객이 숲과 도시를 한눈에 구별하는 것처럼 정확합니다.
  • 상가나 가게의 위치를 찾는 능력도 꽤 좋았습니다.
• 아쉬운 점:
  • "보행로가 정확히 몇 미터인가?"를 재는 것은 조금 어려웠습니다. AI 가 풀밭을 보행로로 착각하거나, 좁은 길을 넓게 보는 실수를 하기도 했습니다. 이는 AI 가 아직 미세한 차이를 구별하는 눈이 완벽하지 않아서 발생한 일입니다.

3. 왜 이 연구가 중요한가요?

• 누구나 쓸 수 있습니다: 고가의 컴퓨터나 복잡한 프로그램이 필요 없습니다. **무료 클라우드 서비스 (Google Colab)**만 있으면 누구나 이 코드를 실행해 볼 수 있습니다.
• 유연합니다: "보행로 넓이"를 분석하고 싶다면 질문을 바꾸면 되고, "치안 상태"를 분석하고 싶다면 질문을 다시 작성하면 됩니다. 질문지 (프롬프트) 만 바꾸면 다양한 도시 문제를 해결할 수 있는 만능 도구가 됩니다.
• 빠르고 저렴합니다: 과거에는 수개월 걸리던 작업을 며칠, 혹은 몇 시간 만에 끝낼 수 있습니다.

요약

이 논문은 **"AI 가 도시의 거리를 자동으로 분석하고 지도로 만들어주는 새로운 방법"**을 소개합니다. 마치 도시의 피부 (건물, 길, 나무, 가게) 를 AI 가 직접 눈으로 보고 진단하는 의사와 같은 역할을 합니다.

비록 아직 완벽하지는 않지만 (예: 길의 너비를 재는 데는 약간의 오류가 있음), 이 기술은 도시 계획가, 연구자, 그리고 일반 시민들이 더 살기 좋은 도시를 만들기 위해 데이터를 쉽고 빠르게 활용할 수 있는 강력한 도구가 될 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 기존 한계: 도시 거리의 질 (Walkability, 안전, 상업적 활력 등) 을 평가하는 전통적인 방법은 현장 조사, 감사 (Audit), 수동 사진 해석 등에 의존하여 시간과 비용이 많이 들고 확장성이 낮습니다.
• 기존 AI 의 제약: 기존 컴퓨터 비전 (CNN, 객체 감지 모델 등) 기반의 자동화 방법은 특정 태스크에 맞춰 대량의 레이블이 지정된 데이터셋으로 학습 (Supervised Learning) 해야 하므로, 배포 비용이 높고 새로운 기능이나 맥락적 해석에 유연성이 부족합니다.
• 필요성: 도시 공간의 '뼈대 (Skeletal structure)'뿐만 아니라 건물 외관, 가로수, 보도, 재질 등 인간의 인지와 사용에 중요한 '피부 (Skin)' 요소를 자동화하고 확장 가능하게 평가할 수 있는 새로운 접근법이 필요합니다.

2. 제안된 방법론: SAGAI 워크플로우 (Methodology)

SAGAI (Streetscape Analysis with Generative Artificial Intelligence) 는 오픈 소스 데이터와 생성형 비전 - 언어 모델 (VLM) 을 활용하여 거리 수준의 도시 장면을 점수화하는 모듈형 워크플로우입니다. 전체 프로세스는 4 개의 모듈로 구성되며, Google Colab(무료 티어) 에서 실행 가능합니다.

• 모듈 1: OSM 포인트 생성기 (OSM Point Generator)

  • 사용자가 정의한 영역의 OpenStreetMap (OSM) 도로 네트워크를 자동으로 다운로드합니다.
  • 교차로에서 일정 거리 (Offset) 를 두고, 일정한 간격 (Spacing) 으로 샘플링 포인트를 생성합니다.
  • 생성된 포인트와 도로 세그먼트를 GeoPackage 형식으로 출력합니다.

• 모듈 2: Street View 배치 다운로드기 (Street View Batch Downloader)

  • 생성된 포인트를 기반으로 Google Street View Static API 를 통해 각 위치의 이미지 (기본적으로 4 방향: 0°, 90°, 180°, 270°) 를 자동으로 다운로드합니다.
  • 이미지가 없는 경우 (예: 'No imagery' 플레이스홀더) 를 필터링하여 데이터 무결성을 확보합니다.

• 모듈 3: LLaVA 를 통한 장면 평가 (Scene Assessment with LLaVA)

  • 핵심 엔진: 경량화된 LLaVA v1.6 (Mistral-7B 백본) 모델을 사용합니다.
  • Zero-shot 추론: 별도의 태스크별 학습 (Fine-tuning) 없이, 자연어 프롬프트 (Prompt) 를 통해 이미지에서 구조화된 정보를 추출합니다.
  • 주요 태스크:
    1. 분류 (T1): 도시 vs 시골 장면 이진 분류.
    2. 계수 (T2): 가시적인 상업용 점포 (Storefront) 수 카운팅.
    3. 측정 (T3): 보도 (Sidewalk) 폭 추정.
  • 기술적 특징: 저온 샘플링 (Low-temperature sampling) 과 정지 기준 (Stopping criteria) 을 적용하여 모델이 일관된 수치형 출력을 생성하도록 제어합니다.

• 모듈 4: 지리공간 점수 집계 및 매핑 (Geospatial Scoring Aggregation and Mapping)

  • 각 포인트별 이미지 점수를 평균화하거나 합산하여 포인트 수준과 도로 세그먼트 수준으로 집계합니다.
  • 결과를 주제도 (Thematic Map) 로 시각화하여 도시 분석가에게 직관적인 공간 지표를 제공합니다.

3. 주요 기여 (Key Contributions)

1. 생성형 AI 기반 도시 분석 파이프라인: VLM(비전 - 언어 모델) 을 도시 공간 분석에 적용한 최초의 통합 오픈 소스 워크플로우 중 하나입니다.
2. Zero-shot 접근법: 특정 도시에 맞춰 모델을 재학습할 필요 없이, 프롬프트 수정만으로 다양한 평가 기준 (보행성, 안전, 디자인 등) 에 적용 가능합니다.
3. 접근성과 확장성: 고사양 하드웨어 없이 Google Colab 무료 버전에서 실행 가능하며, Python 과 오픈 소스 라이브러리 (Hugging Face, OSM 등) 만으로 구성되어 있습니다.
4. 미시적 요소의 정량화: 기존 지리 데이터베이스에 누락된 '거리의 피부' (가로수, 보도, 외관 등) 요소를 대규모로 정량화할 수 있는 방법을 제시했습니다.

4. 실험 결과 (Results)

프랑스 니스 (Nice) 와 오스트리아 빈 (Vienna) 의 두 가지 사례 연구를 통해 검증되었습니다.

• 데이터 수집:
  • 니스: 1,898 개 포인트 중 1,775 개 (93.5%) 에서 이미지 획득 성공.
  • 빈: 1,948 개 포인트 중 1,499 개 (77%) 에서 이미지 획득 성공 (산악 지형 및 저밀도 지역으로 인해 이미지 누락률 높음).
• 정확도 평가 (수동 검증 대비):
  • 태스크 1 (장면 분류): 91.67% 의 높은 전체 정확도. 도시/비도시 구분에 매우 효과적임.
  • 태스크 2 (점포 계수): 64.17% 의 정확도. 점포가 없는 경우 (0) 는 잘 감지하나, 중간 개수 (1 개, 2 개 이상) 구분에서 오차가 발생함.
  • 태스크 3 (보도 폭 측정): 54.05% 의 정확도. 가장 낮은 성능을 보임. AI 가 잔디를 보도로 오인하거나, 실제 폭보다 과소평가하는 경향이 있음.
• 공간적 시각화:
  • 모델은 도시 중심부와 교외/자연 지역을 명확히 구분하여 매핑했습니다.
  • 상업 밀집 지역은 높은 점수로, 저밀도 지역은 낮은 점수로 나타나는 등 실제 도시 구조와 일치하는 패턴을 보였습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 비용 효율성: 고가의 학습 데이터와 컴퓨팅 자원 없이도 대규모 도시 분석이 가능해졌습니다.
  • 유연성: 프롬프트 엔지니어링만으로도 새로운 연구 주제 (예: 안전, 친밀감, 청결도 등) 에 즉시 적용 가능합니다.
  • 미래 지향성: 도시 계획, 보행성 감사, 공간 형평성 평가 등 다양한 분야에서 활용 가능한 기반을 마련했습니다.
• 한계 및 향후 과제:
  • 맥락적 추론 부족: 복잡한 도시 장면 (예: 자연과 인공물이 공존하는 지역) 에서 AI 와 인간의 판단 차이가 발생했습니다.
  • 정밀도 문제: 연속적인 수치 측정 (보도 폭 등) 에서는 오차가 큽니다.
  • 향후 개선 방향:
    • 프롬프트 엔지니어링 강화 (불확실성 표기 요청 등).
    • Few-shot learning(소량의 레이블 데이터로 미세 조정) 모듈 도입.
    • 더 강력한 백본 모델 (LLaMA-2, Mixtral 등) 및 고해상도 양자화 적용.
    • 시간적 분석을 위한 역사적 이미지 데이터 소스 통합.

결론

SAGAI 는 생성형 AI 를 활용하여 도시 거리의 질적 요소를 자동화하고 확장 가능하게 평가하는 혁신적인 도구입니다. 비록 측정 태스크에서는 아직 완벽하지 않지만, 분류 태스크에서의 높은 성능과 프롬프트 기반의 유연성은 도시 연구와 계획 분야에서 새로운 패러다임을 제시합니다. 이 도구는 오픈 소스로 공개되어 (GitHub) 누구나 접근하고 개선할 수 있습니다.