A Case Study in Responsible AI-Assisted Video Solutions: Multi-Metric Behavioral Insights in a Public Market Setting

이 논문은 사생활 보호와 윤리적 기준을 철저히 준수하는 사용자 중심 접근법을 통해 도시 공공시장에서 AI 기반 비디오 솔루션이 다중 지표 행동 인사이트를 성공적으로 도출하여 공간 분석의 실용성을 입증한 사례 연구입니다.

핵심

이 논문은 **"사람의 얼굴을 보지 않고도, 사람들이 어디에 얼마나 머무는지, 어디로 이동하는지 알 수 있는 똑똑한 카메라 시스템"**에 대한 이야기입니다.

비유하자면, 이 시스템은 사람들의 얼굴을 흐리게 처리한 '투명한 유령'처럼 행동을 추적하는 것입니다. 얼굴이나 옷차림 같은 개인 정보를 전혀 저장하지 않으면서도, 가게 주인이나 시장 관리자에게 "어디가 붐비고, 어디가 한산한지" 알려주는 스마트한 안내자 역할을 합니다.

이 내용을 일상적인 언어와 재미있는 비유로 설명해 드릴게요.

---

1. 왜 이런 시스템이 필요할까요? (프라이버시 vs 정보)

기존의 감시 카메라는 마치 "사람의 얼굴을 확대해서 기억해 두는" 방식이었습니다. 하지만 요즘 사람들은 사생활 보호를 매우 중요하게 생각하죠. 그래서 "누가 왔는지"는 알 수 없지만, **"얼마나 오래 머물렀는지", "어디로 갔는지"**만 알려주는 새로운 방식이 필요했습니다.

이 연구팀은 Ancilia라는 기존 시스템을 이용해, 사람의 얼굴이나 옷 무늬를 지우고 사람의 뼈대 (포즈) 만을 남기는 기술을 썼습니다.

• 비유: 마치 안면 인식이 안 되는 '유령'들이 시장을 돌아다니는 것처럼요. 유령은 얼굴이 없지만, "이 유령이 의자에 앉아서 20 분을 기다렸다"는 사실은 정확히 알 수 있습니다.

2. 이 시스템이 뭘 알아냈나요? (세 가지 핵심 정보)

이 시스템은 18 일 동안 데이터를 모아서 세 가지 중요한 이야기를 찾아냈습니다.

① "얼마나 오래 머물렀을까?" (체류 시간)

• 상황: 사람들이 의자에 앉아 있는 시간을 측정했습니다.
• 결과: 대부분의 사람은 3~4 분만 앉아 있다가 떠났습니다. 하지만 축제 기간 (5 월 2 일~4 일) 에는 평균 22 분까지 머물렀습니다.
• 비유: 평범한 날은 사람들이 커피 한 잔 마시고 가듯 짧게 머물지만, 축제 때는 사람들이 피크닉을 하듯 길게 앉아서 즐긴다는 뜻입니다.
• 교훈: 관리자는 축제 때 의자를 더 많이 준비하거나, 청소 인력을 더 배치해야 한다는 것을 알 수 있습니다.

② "누가 들어오고 누가 나가는가?" (유입/유출)

• 상황: 시장 입구와 출구를 지나는 사람을 세어봤습니다.
• 결과: 축제 기간에는 사람이 훨씬 많이 들어왔지만, 들어온 만큼 나갔습니다. (누적되어 쌓이지 않음)
• 비유: 물이 호수에 쏟아져 들어오지만, 동시에 배를 타고 나가는 것처럼 흐름이 원활했다는 뜻입니다. 혼잡도가 높지만 막히지는 않았다는 신호입니다.

③ "사람들은 어디로 걸어가는가?" (이동 경로)

• 상황: 사람들이 시장을 어떻게 돌아다니는지 지도를 그렸습니다.
• 결과: 모든 사람이 골고루 다니는 게 아니라, 특정 길 (통로) 에 60% 이상의 사람이 몰려 있었습니다. 반면, 어떤 가게 앞은 거의 사람이 오지 않았습니다.
• 비유: 시장 전체가 거대한 강이라면, 물이 흐르는 주요 하천은 좁고 깊게 파여 있고, 다른 곳은 거의 마른 강바닥처럼 비어 있다는 뜻입니다.
• 교훈: 가게 주인들은 "내 가게가 왜 사람이 안 오지?"라고 고민할 수 있지만, 사실은 사람들이 그쪽으로 가지 않는 길에 문제가 있을 수 있습니다. 관리자는 가게 배치를 바꾸거나, 사람들이 오도록 유도하는 표지판을 설치해야 합니다.

3. 이 연구가 우리에게 주는 메시지

이 논문은 **"기술은 사람을 감시하는 도구가 아니라, 더 나은 공간을 만드는 도구"**가 될 수 있음을 보여줍니다.

• 개인 정보 보호: "누구인지"는 절대 모릅니다. (얼굴 인식 X)
• 실용성: "어디가 붐비고, 언제 사람이 많은지"를 정확히 알려줍니다.
• 결론: 시장 관리자는 이 데이터를 보고 축제 때 의자를 더 늘리고, 사람이 잘 안 오는 가게 앞에는 유도 표지판을 붙이며, 사람이 몰리는 길목의 청소 빈도를 높이는 등 smarter 한 결정을 내릴 수 있습니다.

요약

이 연구는 **"사람의 얼굴을 보지 않고, 사람의 '발걸음'과 '머무는 시간'만 분석해서 시장을 더 편안하고 효율적으로 만드는 방법"**을 성공적으로 증명했습니다. 마치 투명한 유령들이 남긴 발자국을 따라가며, 시장의 숨겨진 흐름을 찾아내는 마법 같은 기술이라고 할 수 있습니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 컴퓨터 비전과 AI 기술의 발전에도 불구하고, 사생활 침해 (Privacy), 윤리적 위험, 편향성, 설명 가능성 부족 등의 우려로 인해 AI 기반 비디오 솔루션이 실제 도시 환경 (공공 시장 등) 에 도입되는 데 어려움을 겪고 있습니다.
• 기존 기술의 한계: 대부분의 기존 시스템은 픽셀 수준의 영상이나 외관 기반 (Appearance-based) 표현에 의존하여 얼굴 인식이나 신원 추적을 수행합니다. 이는 법적/윤리적 리스크를 초래하고 대중의 신뢰를 떨어뜨려 장기적인 도입을 저해합니다.
• 핵심 과제: 사생활을 보호하면서도 운영에 유용한 행동 통찰력 (Behavioral Insights) 을 추출할 수 있는 기술적 프레임워크를 구축하는 것입니다.

2. 방법론 (Methodology)

이 연구는 Ancilia 플랫폼을 기반으로 한 AI 비디오 분석 파이프라인 위에 구축된 책임 있는 AI 프레임워크를 제안합니다.

• 데이터 수집 및 처리:
  • 장소: 미국 한 도시의 공공 시장 (Public Market).
  • 기간: 2025 년 4 월 25 일부터 5 월 12 일까지 (18 일, 축제 기간 포함).
  • 하드웨어: 온사이트 전용 서버 (16 코어 CPU, 252GB RAM, 4 개의 GPU).
  • 프라이버시 보호: 원본 영상은 저장되지 않으며, 인간 포즈 (Human Pose) 기반의 추상화된 메타데이터만 처리됩니다. 얼굴 특징, 텍스처, 개인 식별자는 초기 단계에서 제거됩니다.
• 추출된 3 가지 핵심 행동 지표 (Multi-Metric Behavioral Insights):
  1. 방향성 흐름 (Directional Flow): 진입 (Entry) 및 퇴장 (Exit) 흐름을 분석.
  2. 체류 시간 (Dwell Duration): 특정 구역 (예: 좌석 구역) 에서 머무는 시간 측정.
  3. 이동 패턴 (Movement Patterns): 공간 내 이동 경로 및 밀집도 분석.
• 기술적 기법:
  • 신원 추적 없이 체류 시간 계산: 객체 식별자 (ID) 가 끊어지는 (Fragmentation) 문제를 해결하기 위해, 바운딩 박스의 안정성 (Stability) 을 15% 임계값으로 설정하고 물리 기반 운동 모델링 (Physics-informed motion modeling) 을 적용했습니다.
  • 이동 경로 분석:
    • 존 기반 (Zoning): 공간을 관심 구역 (ZOI) 으로 나누고 구역 간 전이 확률을 분석.
    • 좌표 기반 (Coordinate): 궤적의 유사성을 측정하기 위해 Fréchet 거리 및 Hausdorff 거리 알고리즘을 사용. DBSCAN 을 활용한 군집 분석으로 주요 이동 경로를 식별.

3. 주요 기여 (Key Contributions)

1. 책임 있는 AI 프레임워크 실증: 얼굴 인식이나 신원 저장 없이, 추상화된 포즈 데이터로부터 다중 지표 (흐름, 체류 시간, 패턴) 를 추출하는 성공적인 사례 제시.
2. 프라이버시 보호 데이터 파이프라인: 운동 모델링과 통계적 학습을 통합하여 고충실도 (High-fidelity) 통찰력을 제공하면서도 윤리적 기준을 엄격히 준수하는 시스템 설계.
3. 실제 환경 검증: 공공 시장이라는 실제 환경에서 배포하여, 운영에 직접적인 영향을 미치는 공간 분석 데이터를 윤리적 기준 하에 도출할 수 있음을 입증.

4. 주요 결과 (Results)

• 체류 시간 (Dwell Time):
  • 분포는 일관되게 오른쪽으로 치우친 (Right-skewed) 형태를 보임.
  • 대부분의 방문은 3~4 분 (중앙값 약 3.6 분) 이지만, 소수의 장시간 체류로 인해 평균은 약 22 분까지 상승.
  • 축제 기간 (5 월 2 일~4 일) 에는 평균 체류 시간이 약 25.5 분 (1528.3 초) 으로 급증하여, 평일 (약 15.5 분) 과 큰 차이를 보임.
• 흐름 분석 (Flow Analysis):
  • 축제 기간 동안 진입 및 퇴장 수가 크게 증가했으나, 유입과 유출이 대칭적으로 유지되어 군중이 축적되지 않고 효율적으로 통과함을 확인.
• 이동 패턴 및 공간 활용:
  • 전체 공간의 약 30% 에 60% 이상의 교통량이 집중되는 불균형한 순환 패턴 발견.
  • 특정 구역 (Zone 6) 에서 좌석 구역 (Zone 3) 으로 이동하는 경향이 강하지만, 일부 상점 구역 (Zone 4, 5) 으로 이동하는 확률은 낮음.
  • 경로 분할 (Path Segmentation) 분석을 통해 병목 현상이 발생할 수 있는 구간을 식별하고, 대기 고객을 다른 구역으로 유도할 수 있는 인사이트 제공.

5. 의의 및 시사점 (Significance)

• 운영 최적화: 단순한 방문자 수 (Traffic Count) 를 넘어, 체류 시간과 이동 경로를 분석함으로써 매장 레이아웃 설계, 직원 배치 (Staffing), 재고 관리 등을 데이터 기반으로 최적화 가능.
  • 예시: 축제 기간의 체류 시간 증가는 단순한 '방문자 증가'가 아니라 '서비스 시간 증가'를 의미하므로, 직원 수를 교통량 배수가 아닌 **부하 배수 (Load Multiplier)**로 조정해야 함을 시사.
• 상점 노출도 (Exposure Index) 개선: 구역 간 이동 확률 차이를 분석하여 특정 상점의 노출도가 구조적으로 불평등할 수 있음을 발견. 이를 통해 임대료 차등화나 타겟 마케팅 지원이 가능함.
• 윤리적 AI 수용: 사생활 보호를 최우선으로 하는 기술적 접근이 실제 비즈니스 인사이트를 제공하는 데 성공함으로써, 공공 공간에서의 AI 도입에 대한 사회적 수용성을 높이는 모델이 됨.

이 연구는 프라이버시 보호와 고도화된 공간 분석의 양립 가능성을 입증하며, 도시 계획 및 소매 환경 관리에 있어 AI 기술의 새로운 방향성을 제시합니다.