기술 요약: SPOT! - 비지도 다중 CCTV 동적 객체 추적을 위한 맵 가이드형 LLM 에이전트

1. 문제 정의

CCTV 기반 차량 추적 시스템은 여러 카메라 환경을 가로지르는 연속적인 궤적을 유지하려고 할 때 심각한 구조적 한계에 직면한다. 구체적으로, 카메라 사이의 간격과 제한된 시야각(FOV)은 시각적 중첩이 없는 "사각지대(blind spots)"를 생성한다. 이러한 단절된 구간에서 외형 매칭이나 시공간적 제약에 의존하는 기존 방식은 종មាន히 실패하며, 이는 객체 ID 전환, 궤적 파편화, 그리고 실시간 경로 예측의 신뢰성 저하로 이어진다. 또한, 기존 연구는 주로 이미지 좌표계에 국한되어 있으며, 궤적을 세계 좌표계(world coordinates)로 변환하거나 도로 구조 및 고차원적 행동 패턴(예: 운전자 습관)을 바탕으로 경로를 추론하는 것에 대한 탐색은 제한적이다.

2. 방법론

본 논문은 **SPOT!(Spatial Prediction Over Trajectories)**를 제안한다. 이는 사전 학습 없이 다중 CCTV 사각지대를 가로질러 차량을 추적하도록 설계된 프레임워크이다. 이 시스템은 관측된 객체 궤적을 구조적 맵 데이터와 통합하여 이동 경로를 추론하는 맵 가이드형 대규모 언어 모델(LLM) 에이전트로 작동한다.

핵심 아키텍처

프레임워크는 LLM 오케스트레이터가 주도하는 시맨틱 오케스트레이션(Semantic Orchestration) 프로세스를 활용하며, 이는 두 개의 특화된 에이전트를 조정한다:

• 에이전트 1 (인식 에이전트, Perception Agent): CCTV 비디오의 2D 픽셀 좌표를 3D 세계 좌표로 변환한다. 이 에이전트는 카메라의 내부 및 외부 파라미터를 활용하여 광선-평면 교차 분석(ray-plane intersection analysis)을 수행하고, 차량 위치를 도로 평면($z=0$) 위로 투영한다. 또한, 유한 차분법(Finite Difference Method)을 사용하여 운동학적 상태(속도, 가속도, 헤딩)를 계산함으로써 운전자 행동(예: 공격성)을 프로파일링한다.
• 에이전트 2 (계획 에이전트, Planning Agent): 고수준의 공간 추론 및 경로 예측을 수행한다. 에이전트 1로부터 받은 운동학적 상태를 수신하고, 맵 기반 지식 베이스를 쿼리하여 사각지대를 통과하는 차량의 경로를 예측하고 다음 예상 CCTV 위치를 식별한다.

맵 문서화 및 RAG

LLM이 공간 데이터를 추론할 수 있도록, 시스템은 도로 구조와 CCTV 구성을 구조화된 텍스트 문서로 변환한다:

• 도로 표현: 도로 중심선에서 추출된 웨이포인트(Waypoints)는 ID, 위치, yaw를 포함하는 문서 단위로 정의된다.
• 네트워크 토폴로지: 교차로는 CCTV 후보 영역으로 분류된다.
• CCTV 모델링: 메타데이터(위치, 방향, FOV)는 FOV 폴리곤을 구성한다.
• Road-CCTV 게이트: FOV 폴리곤과 웨이포인트 사이의 사전 분석된 교차점은 핸드오버(handover) 지점을 정의한다.

이러한 문서들은 검색 증강 생성(RAG) 기술을 사용하여 조직된다. 시스템은 다음을 결합한 하이브리드 검색 전략을 채택한다:

1. 공간 필터링: 특정 반경 내의 문서를 검색하기 위해 R-tree 인덱스를 사용한다.

• 시맨틱 필터링: 텍스트 기반 관련성을 위해 MinHash를 사용하여 자카드 유사도(Jaccard similarity)를 추정한다.

3. VLA 토큰화: 연속적인 물리적 상태(위치, 속도)를 이산적인 시맨틱 토큰(예: [SCENE] pos=...)으로 변환하여 수치적 물리량을 LLM의 언어 공간과 정렬한다.

경로 예측 및 핸드오프

사각지대 통과를 위해 시스템은 도로 그래프 상에서 빔 서치(Beam Search) 알고리즘을 사용한다:

• 운전자 프로파일링: 가속도 이력의 90 백분위수를 기반으로 "공격성 지수(Aggressiveness Index)"를 계산하여 곡률 페널티를 조정한다.
• 뉴로-심볼릭 퓨전(Neuro-Symbolic Fusion): 결정적인 의사결정 지점(예: 교차로)에서 LLM은 "로컬 재순위화 도구(Local Re-ranker)" 역할을 한다. LLM은 운전자의 의도와 도로 맥락을 바탕으로 후보 경로를 평가하며, 출력된 확률은 로그-오즈(Log-Odds) 항으로 변환되어 빔 서치 점수를 조정한다.
• 핸드오프 선택: 시스템은 예측된 궤적과 CCTV FOV 사이의 교차를 시뮬레이션하여 체류 시간과 진입 각도를 추정하고, 가장 확률이 높은 상위 K개의 다음 카메라를 선택한다.

3. 주요 기여

• 제로샷 공간 추론: 맵 정보를 텍스트 문서로 구조화하여, LLM이 특정 작업용 학습 데이터 없이도 공간 추론 및 경로 추론을 수행할 수 있게 하는 방법을 도입하였다.
• 픽셀-투-월드 변환: CCTV 픽셀 좌표를 세계 좌표로 변환하는 견고한 파이프라인을 구축하여, 단순 이미지 공간이 아닌 실제 도로 환경에서의 궤적 분석을 가능하게 하였다.
• 뉴로-심볼릭 통합: 물리적 타당성 및 운동학적 일관성(심볼릭 빔 서치)과 시맨틱 의도 및 운전자 프로파일링(LLM 추론)을 결합하여 사각지대의 모호성을 해결하는 새로운 융합 방식을 제시하였다.
• 설명 가능한 RAG: 시스템은 추론된 궤적과 경로 추천에 대해 자연어 기반의 근거를 제공함으로써, 감시 결정에 대한 설명 가능성을 제공한다.

4. 실험 결과

시스템은 비중첩 CCTV FOV를 포함하여 현실적인 사각지대를 시뮬레이션하는 CARLA 시뮬레이터(Town02)를 사용하여 평가되었다.

• 설정: 실험은 SPOT!을 휴리스틱 베이스라인(Heuristic Baseline) 및 네 가지 LLM 구성(DeepSeek-chat V3.2, Llama-3-8B, GPT-4o-mini, Gemini-1.5-Flash)과 비교하였다.
• 지표: 성능은 평균 변위 오차(ADE), 최종 변위 오차(FDE), 그리고 다음 CCTV 예측 정확도(Top-1 및 Top-K)로 측정되었다.
• 결과:
  • 모든 LLM 기반 변형 모델은 휴리스틱 베이스라인(ADE 15.78m)보다 유의미하게 우수한 성능을 보였다.
  • DeepSeek-chat V3.2는 가장 낮은 ADE(3.64m)와 가장 높은 Top-1 CCTV 정확도(70%)를 기록하며 전반적으로 최고의 성능을 달enc성했다.
  • Llama-3-8B는 68%의 Top-1 정확도를 보이며 강력한 견고성을 입증하였고, 이는 엣지 측 배포의 가능성을 시사한다.
  • 결과는 구조화된 맵 문서와 LLM 기반 추론을 통합하는 것이 사각지대 시나리오에서 궤적 예측 및 다음 카메라 추정 능력을 실질적으로 향상시킨다는 것을 보여준다.

5. 의의 및 주장

본 논문은 SPOT!이 시각적 중첩이 불가능한 환경에서도 맵 가이드형 LLM 에이전트를 활용하여 사각지대에서의 이동 경로를 추론함으로써, 다중 CCTV 환경에서 연속적인 차량 추적 문제를 효과적으로 해결한다고 주장한다.

저자들은 이 접근 방식이 외부 학습 데이터나 외형 기반 재식별(re-identification)에 의존하지 않고도 경로를 추론할 수 있어, 기존의 학습 기반 다중 카메라 추적 기술을 보완하거나 대체할 수 있는 상당한 잠재력을 가지고 있다고 본다. 본 연구는 설명 가능한 실시간 경로 예측을 위해 맵 문서화와 LLM의 공간 추론을 결합하는 것의 가치를 강조한다. 향-후 연구로는 예측된 후속 CCTV 위치에서의 지속적인 ID 연관성을 보장하는 로직을 확장하고, 추가적인 맥락적 메타데이터(예: 교통 신호)를 포함하여 실제 도시 환경에서 시스템을 검증하는 것이 제시되었다.