ARGOS: Who, Where, and When in Agentic Multi-Camera Person Search

1. 개요 및 문제 정의 (Overview & Problem Definition)

**ARGOS (Agentic Retrieval with Grounded Observational Search)**는 기존 다중 카메라 환경에서의 사람 검색 (Person Search) 문제를 상호작용적 추론 (Interactive Reasoning) 문제로 재정의한 최초의 벤치마크 및 프레임워크입니다.

• 기존 접근법의 한계:
  • 전통적인 Re-identification 은 명확한 시각적 쿼리에 의존합니다.
  • 텍스트 기반 또는 대화형 방법은 외형 묘사만 사용하며, 공간적/시간적 단서를 능동적으로 활용하거나 증인 (Witness) 의 모호한 답변을 추론하는 능력을 갖추지 못했습니다.
• ARGOS 의 문제 설정:
  • 에이전트는 모호한 증인의 진술을 받습니다.
  • 제한된 턴 (Turn) 예산 내에서 무엇을 질문할지, 언제 공간/시간 도구를 사용할지, 모호한 답변을 어떻게 해석할지를 계획해야 합니다.
  • 3 단계 진행형 태스크:
    1. Who (Track 1): 외형 속성 (Semantic Perception) 을 기반으로 후보를 필터링.
    2. Where (Track 2): 공간적 위치 (Spatial Reasoning) 를 통해 특정 구역 내의 사람을 식별.
    3. When (Track 3): 시간적 이동 (Temporal Reasoning) 을 통해 물리적으로 불가능한 후보를 제거.

2. 핵심 방법론 (Methodology)

2.1. 시공간 토폴로지 그래프 (Spatio-Temporal Topology Graph, STTG)

ARGOS 의 핵심 인프라로, 카메라 간의 연결성과 이동 시간을 인코딩한 방향성 가중 그래프입니다.

• 노드: 카메라 및 구역 (Zone) 정보.
• 엣지:
  • OVERLAP: 시야가 겹치는 카메라 (영역 정의).
  • SOFT ADJ: 물리적으로 인접하지만 시야가 겹치지 않는 카메라.
  • TRAVEL: 이동이 필요한 거리가 있는 카메라 쌍.
• 통계: 각 엣지에는 실제 관측된 이동 시간의 최소, 중앙값, 최대값이 포함되어 에이전트가 시간적 타당성을 판단하는 근거로 사용됩니다.

2.2. 에이전트 아키텍처 (4 모듈 파이프라인)

LLM 을 백본으로 하는 에이전트는 다음 4 단계 루프를 통해 작동합니다.

1. Analyst (분석가): 현재 후보 집합을 분석하고, 어떤 속성 질문이 가장 많은 후보를 제거할지 (Information Gain) 계산합니다.
2. Planner (기획자): 다음 행동을 결정합니다 (속성 질문, 공간 질의, 시간적 검증).
3. Interviewer (인터뷰어): 결정된 행동을 실행 (도구 호출).
4. Interpreter (해석자): 증인의 자연어 응답을 파싱하여 후보 집합을 필터링합니다.

2.3. 도구 기반 상호작용 (Tool-Augmented Interaction)

에이전트는 8 가지 도구를 사용합니다.

• 핵심 도구: check_temporal (STTG 기반 시간적 타당성 검증), ask_witness (증인 질의), filter_spatial (공간적 필터링).
• 정보 경계 (Information Boundary): 에이전트는 증인이 어떤 속성만 답할 수 있는지 (총 21 개 중 3 개만 관측 가능) 를 미리 알지 못하므로, 불확실성 하에서 전략적 의사결정을 해야 합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 정의: 다중 카메라 네트워크에서의 상호작용적 증인 대화와 시공간 추론을 결합한 첫 번째 벤치마크 (ARGOS) 를 제시했습니다.
2. STTG 도입: 카메라 연결성과 이동 시간 통계를 인코딩한 그래프를 태스크 생성의 기반이자 에이전트의 추론 도구로 활용했습니다.
3. 진보된 태스크 구조: 14 개의 실제 시나리오 (공장, 캠퍼스) 에서 2,691 개의 태스크를 구성하고, Who, Where, When이라는 3 단계 트랙으로 난이도를 점진적으로 높였습니다.
4. 성능 평가 지표: 단순 정확도뿐만 아니라 효율성을 반영한 Turn-Weighted Success (TWS) 지표를 도입했습니다.

4. 실험 결과 (Experimental Results)

• 데이터셋: 1,273 명의 사람, 16 개의 동기화된 카메라, 14 개 시나리오.
• 모델: GPT-5.2, GPT-4o, GPT-5-mini, Claude Sonnet 4 등 4 가지 LLM 백본 평가.
• 주요 결과:
  • 해결되지 않은 난제: 현재 최상의 모델 (Claude Sonnet 4) 도 Track 2 에서 TWS 0.383, Track 3 에서 0.590 을 기록하여 오라클 (Oracle) 에 비해 성능이 크게 낮습니다.
  • 도구의 필수성: 도구를 제거한 실험 (Ablation) 에서 Track 3 의 Top-1 정확도가 49.6%p 하락하여 도구의 중요성이 입증되었습니다.
  • 상호작용의 중요성: 단일 회차 (Single-pass) 추론은 Track 3 에서 약 11% 의 정확도 한계에 부딪혔으나, 도구 기반 다중 턴 상호작용은 80% 이상의 성능을 달성했습니다.
  • 모델별 차이: 공간 추론 (Track 2) 과 시간 추론 (Track 3) 은 서로 다른 능력을 요구하며, 어떤 모델이든 두 트랙을 모두 지배하지는 못했습니다.
  • 실패 패턴: GPT-4o 는 조기 결정 (Premature Commitment) 으로 실패하는 경향이 있고, GPT-5.2 는 증거 수집을 위해 더 많은 턴을 소모하지만 정확도는 높았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환: 사람 검색을 단순한 시각적 매칭이 아닌, 능동적인 정보 수집과 논리적 추론이 필요한 에이전트 작업으로 전환했습니다.
• 실용적 가치: 실제 감시 환경에서 증인의 모호한 기억과 제한된 정보를 바탕으로 사람을 찾는 과정을 시뮬레이션하여, 현실적인 AI 감시 시스템 개발에 기여합니다.
• 향후 과제: 자연어 파싱 (NL Parsing) 의 정확도가 주요 병목 현상이며, 증인의 모순된 진술을 탐지하거나 간접적인 카메라 경로를 통한 추론 등 더 복잡한 시나리오가 필요합니다.

요약하자면, ARGOS 는 LLM 기반 에이전트가 시각적 정보뿐만 아니라 공간적, 시간적 맥락을 통합하여 불완전한 증언을 바탕으로 사람을 찾아내는 능력을 평가하는 혁신적인 벤치마크이며, 현재 기술 수준에서도 해결이 어려운 도전 과제를 제시합니다.