기술 요약: 시각적 활동 인식의 강건한 평가를 향하여

문제 정의

시각적 활동 인식 시스템을 평가하는 것은 동사 의미론과 이미지 해석에 내재된 본질적인 모호성으로 인해 근본적인 어려움을 겪고 있습니다. 표준 평가는 모델의 예측이 단 하나의 "골드(gold)" 동사 레이블과 일치할 때만 정답으로 간주하는 정확 일치(exact-match) 메트릭에 의존합니다. 이러한 접근 방식은 다음 두 가지 주요 모호성을 반영하지 못합니다:

1. 유의성(Synonymy): 동일한 이벤트를 설명할 수 있는 여러 유의어 동사들(예: teaching vs. lecturing).
2. 다중 관점(Multi-perspectives): 하나의 이미지가 서로 다른 관점을 반영하는 별개의 동사들로 타당하게 설명될 수 있음(예: 밴드를 위한 marching vs. performing).

결과적으로, 정확 일치 평가는 의미론적으로는 타당하지만 어휘적으로는 다른 예측들을 패널티를 부여함으로써 모델의 성능을 체계적으로 과소평가합니다. CLIPScore와 같은 메트릭이 존재하지만, 이는 미세한 동사 의미의 차이나 관점의 변화를 포착하지 못하는 일반적인 유사도 측정에 의존하는 경우가 많습니다.

방법론

이러한 한계를 해결하기 위해, 저자들은 이미지와 동사를 일관된 클러스터로 그룹화하여 각 클러스터가 활동의 구별된 관점이나 의미를 나타내도록 하는 "동사 의미 클러스터(verb sense clusters)"를 구축하는 시각-언어 클러스터링 프레임워크를 제안합니다. 이 방법론은 세 단계로 진행됩니다:

1. 이미지-동사 쌍 확보

이미지 기반 구글 검색을 통해 이미지를 검색하여 발생한 imSitu 데이터셋 고유의 레이블링 편향을 완화하기 위해, 저자들은 두 가지 멀티모달 거대언어모델(LLM)인 GPT-4o mini와 Llama-3.2-90B에 쿼리를 날려 각 이미지에 적합한 모든 동사를 생성합니다. imSitu 어휘(504개 동사)에 존재하는 동사만을 유지하며, <이미지, 동사> 쌍을 나타내는 노드를 구성합니다. 이 노드들은 텍와 이미지를 동시에 처리하는 멀티모달 Llama 모델(Llama-3.2-11B)을 사용하여 크로스 어텐션(cross-attention) 레이터 이후의 최종 은닉 상태(final hidden state)를 추출함으로써 임베딩됩니다.

2. 2단계 클러스터링 프레임워크

프레임워크는 이러한 <이미지, 동사> 쌍을 그룹화하기 위해 2단계 클러스터링 프로세스를 채택합니다:

• 1단계: 동일 동사 클러스터링(Same-Verb Clustering): 각 504개 동사에 대해, 연관된 이미지들을 클러스터링하여 해당 특정 동사의 미세한 의미(fine-grained senses)를 구별합니다. 각 동사에 대한 최적의 클러스터 수($k$)는 $k \in [2, 16]$ 범위에서 **실루엣 점수(Silhouette score)**를 최대화함으로써 결정됩니다. K-Means와 계층적 애그로머레이티브 클러스터링(HAC)이 모두 테스트됩니다.
• 2단계: 교차 동사 클러스터링(Cross-Verb Clustering): 1단계에서 생성된 클러스터들은 서로 다른 어휘 항목 간에 공유된 의미를 가진 동사들을 그룹화하기 위해 추가로 클러스터링됩니다. 최종 클러스터 수($k_r$)는 전체 동사 수(504개)에 적용되는 비율 $r$을 통해 결정되며, 실루엣 점수를 통해 최적화됩니다.

3. 평가 프로토콜

결과물인 클러스터는 평가를 위한 그라운드 트루스(ground truth) 역할을 합니다. 모델의 예측은 예측된 동사가 타겟 이미지를 포함하는 어떠한 클러스터에도 등장하면 정답으로 간주됩니다. 이는 다음 항목들과 비교됩니다:

• 정확 일치(Exact Match): 표준 골드 레이블 매칭.
• WordNet-Synset 매치: 예측이 골드 레이블과 신셋(synset)을 공유하는지 확인.
• 인간 판단(Human Judgment): 샘플링된 100개의 이미지에 대한 수동 주석을 통한 정렬도 평가.

주요 결과

클러스터 품질 및 모호성 분석

• 클러스터 구조: 분석 결과, 평균적으로 각 이미지는 약 4개의 의미 클러스터에 매핑되며, 각 클러스터는 약 2개의 동사를 포함합니다.
• 모호성 정량화:
  • 유의성: 약 54%의 동사가 여러 클러스터에 걸쳐 있으며(다의성), 클러스터는 평균 1.59–1.97개의 동사를 포함하여 유의어의 보편성을 확인했습니다.
  • 다중 관점: 70% 이상의 이미지가 하나 이상의 클러스터에 속해 있으며, 이는 하나의 이미지가 종종 여러 가지 타당한 기술적 관점을 지원함을 나타냅니다.
• 메트릭 성능: Llama-3.2-90B 임베딩을 사용한 K-Means 클러스터링이 내부 응집도(Silhouette, Calinski-Harabasz)와 외부 타당성(WordNet purity) 사이에서 가장 좋은 균형을 보였습니다.

모델 평가 개선 사항

다양한 지도 학습 모델(ResNet-50, CLIP, Llama-11B)과 제로샷 LLM(GPT-4o mini, Llama-3.2-90B)을 평가한 결과, 클러스터 기반 메트릭 하에서 상당한 성능 향상이 나타났습니다:

• 정확도 향상: 모든 모델에서 상당한 Top-1 정확도 향상이 나타났습니다. 예를 들어, Llama-11B 지도 학습 모델은 56.0%(정확 일치)에서 72.1%(클러스터 기반)로 향상되었습니다. 제로샷 LLM은 훨씬 더 큰 상대적 이득을 보였습니다(예: GPT-4o mini closed-prompt는 17.3%에서 39.2%로 향상).
• 향상의 원인: 세부 분석에 따르면 다중 관점 이해가 대부분의 이득(8–27% 향상)을 차지하는 반면, 유의어 해결은 작지만 유의미한 부분(3–6%)을 기여했습니다.
• 인간 정렬도: 클러스터 기반 평가는 Kendall's $\tau$(순위 일치) 및 Krippendorff's $\alpha$(레이블 일치) 측면에서 정확 일치 및 VLM-as-a-judge 베이스라인보다 우수한 성능을 보이며 인간의 판단과 가장 높은 일치도를 보였습니다. 프롬프트 변화에 따라 높은 불안정성을 보인 VLM-as-a-judge와 달리, 클러스터 기반 방법은 일관되고 강건한 정렬을 제공했습니다.

대안 메트릭의 한계

본 논문은 CLIPScore가 동사 중심의 평가에 부적합함을 입증합니다. 전체 캡션을 사용할 때조차 CLIPScore는 맥락 단어들에 의해 지배되어, 동사의 변화가 무시됩니다. 동사 전용 CLIPScore는 약 25%의 Top-1 정확도만을 달성하여, 인간이 검증한 레이블을 신뢰성 있게 검색하는 데 실패했습니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. 새로운 프레임워크: 이미지와 활동 동사를 기반으로 의미 그룹을 구축하는 시각-언어 클러스터링 프레임워크를 제안하고, 이를 내부 및 외부 메트릭으로 검증했습니다.
2. 우수한 평가: 클러스터 기반 평가가 전통적인 정확 일치 정확도보다 시각적 활동 인식 시스템을 더 정확하고 미묘하게 평가할 수 있으며, 모델의 진정한 의미론적 능력을 더 잘 반영함을 입증했습니다.
3. 모호성 정량화: imSitu 데이터셋의 유의어 및 다중 관점 모호성의 정도를 보여주는 정량적 분석을 통해, 표준 평가 메트릭이 이러한 내재적 복잡성을 포착하지 못함을 보여주었습니다.

저자들은 실험이 imSitu에 집중되어 있지만, 프레임링은 다른 시각적 활동 데이터셋에도 적응 가능하도록 설계되었다고 결론지었습니다. 또한 LLM 생성 동사에 대한 의존성과 오프라인 클러스터링 과정의 계산 비용 등 한계를 인정하지만, 결과적으로 고정된 타겟 세트가 향후 평가를 위한 비용을 상쇄한다고 주장합니다.