An Evaluation of Hybrid Annotation Workflows on High-Ambiguity Spatiotemporal Video Footage

기술 요약: 고모호성 시공간 비디오 데이터에 대한 하이브리드 어노테이션 워크플로우 평가

문제 정의
수동 어노테이션은 고품질의 조밀한 시공계 비디오 데이터셋을 위한 골드 스탠다드(gold standard)로 남아 있으나, 본질적으로 시간이 많이 소요되고 비용이 높으며 어노테이터 간의 변동성이 크다는 단점이 있다. 이러한 병목 현상은 특히 이벤트의 경계가 불분명하고, 폐쇄(occlusion)가 발생하며, 문화적 및 맥락적 해석이 개입되는 고모호성 비디오(예: 오픈 월드 감시 영상)에서 더욱 심각하게 나타난다. 비전-언어 모델(VLM)과 인간 참여형(Human-in-the-Loop, HITL) 워크플로우는 어노테이터의 역할을 '생성'에서 '검증'으로 전환하기 위해 채택되어 왔으나, AI의 제안이 어노테이션 효율성, 어노테이터 간 일관성, 그리고 레이블의 의미론적 무결성에 어떤 영향을 미치는지 정량화하는 엄격하고 통제된 연구는 부족한 실정이다. 구체적으로, AI의 보조가 "의미론적 표류(semantic drift)"를 유발할 위험이 있는데, 이는 레이블의 유효성은 감소하면서도 합의도는 높아지는 현상, 즉 인간의 레이블링이 모델의 사전 확률(priors) 쪽으로 편향되는 현상을 의미한다.

방법론
저자들은 오픈 월드 데이터셋(UCF-Crime, UCA, XD-Violence, ActivityNet Captions)의 비디오 30개를 레이블링하는 18명의 자원봉사 어노테이터를 대상으로 통제된 상쇄 설계(counterbalanced) A/B 테스트를 제시한다. 본 연구는 조밀한 시공간 분할(dense temporal segmentation)을 위해 설계된 하이브리드 HITL 워크플로우를 평가한다.

• 사전 어노테이션 파이프라인: 시스템은 미세 조정된 CLIP 스타일 인코더를 기반으로 한 자원 효율적인 교차 모달 파이프라인을 활용한다. 비디오 프레임을 인코딩하고, 템포럴 풀링(temporal pooling)을 통해 이를 비디오 레벨 임베딩으로 집계한다. 이들은 대칭적 교차 엔트로피 손실(symmetric Cross-Entropy loss)을 최적화하는 대비 학습(contrastive learning)을 통해 텍스트 임베딩과 정렬된다.
• 계층적 클러스터링: "강력한 클러스터(strong clusters)"(사전 어노테이션)를 생성하기 위해, 파이프라인은 특징 공간(feature space)에 재귀적 구형 k-평균(spherical k-means) 클러스터링을 적용한다. 이는 계층적 트리 구조를 생성하며, 의미론적 응집도 임계값($\tau=0.85$)이 충족되거나 최대 깊이에 도달할 때까지 세분화를 중단한다. 이 클러스터들은 초기 읽기 전용 제안으로서 역할을 한다.
• 사용자 인터페이스: 워크플로우는 Label Studio에 통합되어 있다. "보조(Assisted)" 조건에서 어노테이터는 시간축 상에 미리 채워진 세그먼트를 확인하고, 이를 명시적으로 복제, 경계 조정 및 클래스 레이블을 수정해야 한다. "비보조(Unassisted)" 조건에서 어노테이터는 처음부터 직접 세그먼트를 생성한다.
• 평가 프레임워크: 본 연구는 세 가지 차원을 측정한다:
  1. 효율성(Efficiency): 작업 시간 및 상호작용 텔레메트리.
  2. 일관성(Consistency): 어노테이터 간 합의도(Homogeneity) 및 컨센서스 그라운드 트루스(Consensus Ground Truth, 6회 투표 중첩 전략을 통해 도출됨)와의 정렬도.
  3. 표준화(Standardization): 잠재 공간에서의 실루엣 점수(Silhouette Scores)를 통해 구조적 일관성을 측정하여 확률적 변동성("지터(jitter)")을 탐지함.

주요 기여

1. 통제된 스트레스 테스트: 단순 시뮬레이션 연구를 넘어 실제 오픈 월드 영상을 사용하여, 사전 어노테이션이 인간의 행동에 미치는 영향을 격리하여 조사한 연구이다.
2. 재현 가능한 하이브리드 워크플로우: 사전 어노테이션과 UI를 포함한 엔드 투 엔드 방식의 경량 파이프라인을 오픈 소스로 공개하여, 향후 인간-모델 상호작용의 벤치마킹을 가능하게 한다.
3. 다각적 평가 프로토콜: 속도를 넘어 합의, 컨센서스, 그리고 잠재 공간의 의미론적 유효성을 측정하여 의미론적 표류를 탐지하는 프레임워크를 제공한다.
4. 공개 데이터셋: 인간 중심의 데이터셋 구축 연구를 지원하기 위해 익명화된 상호작용 흔적(시간, 편집, 레이블 변경 등)을 공개한다.

결과

• 효율성: 하이브리드 워크플로우는 참가자의 72%에 대해 중앙값 기준 **35%**의 어노테이션 시간을 단축했다. 전체 코호트의 평균 시간 단축률은 23.11%였다. 효율성 개선은 비디오 길이나 클래스의 복잡도와 관계없이 견고하게 나타났으며, 사용자가 도구에 익숙해짐에 따라 그 이점이 증가했다.
• 일관성 (합의): 수동적 앵커링(passive anchoring)에 대한 우려와 달리, 보조 그룹은 컨센서스 그라운드 트루스와 동일한 수준의 정렬도(Adjusted Mutual Information $\approx 0.64$)를 유지했다. 이는 사전 어노테이션이 사용자의 판단을 왜곡하거나 집단적 의미론적 합의로부터 이탈을 유도하지 않았음을 나타낸다.
• 동질성 (안정성): 보조 그룹은 비보조 그룹(AMI: 0.62)에 비해 유의미하게 높은 어노테이터 간 합의도(AMI: 0.67)를 보였다. 사전 어노테이션은 임의의 정답을 강요하는 것이 아니라, 인간 레이블링에 내재된 확률적 노이즈와 경계 "지터(jitter)"를 줄여주는 "의미론적 닻(semantic anchor)" 역할을 했다.
• 표준화: 내부 구조적 일관성의 대리 지표인 실루엣 점수는 비보조 시 0.28에서 보조 시 0.41로, 52.10%의 상대적 개선을 보였다. 이는 해당 워크플로우가 밑바닥의 의미론적 합의를 보존하면서도 어노테이터 간의 노이즈를 필터링하는 정규화 도구로서 작동함을 확인시켜 준다.

의의 및 주장
본 논문은 모델이 생성한 사전 어노테이션이 레이블의 유효성을 희생하지 않으면서도 조밀한 시공간 비디오 분할의 효율성을 실질적으로 향 향상할 수 있다고 주장한다. 저자들은 이 워크플로우가 어노테이션을 '검증 및 편집' 작업으로 성공적으로 재정의하여 인지 부하와 수동 노력을 줄였다고 논한다. 결정적으로, 이러한 효율성 이득이 사용자로 하여 $\text{모델 출력을 맹목적으로 수용하도록 강요함으로써 얻어지는 것이 아님}$을 입증했다. 오히려 이 시스템은 어노테이터가 더 명확한 시공간 경계로 수렴할 수 있도록 돕는 구조적 스캐폴드(scaffold)를 제공한다. 본 연구는 인간-AI 상호작용 역학을 연구하기 위한 검증된 방법론을 제공하며, 어노테이터의 웰빙과 주체성에 관한 윤리적 고려가 유지되는 한, 복잡하고 조밀하게 레이블링된 비디오 데이터셋을 확장하기 위한 실질적인 토대를 제공한다.