기술 요약: SCLARO 및 ScenarioCLIP

문제 정의

현재의 장면 이해를 위한 컴퓨터 비전 패러다임은 근거 기반의 다층적 추론(grounded, multi-level reasoning) 측면에서 결정적인 격차에 직면해 있다. 대규모 시각-언어 사전 학습(VLP) 데이터셋은 전역적인 이미지-텍스트 쌍을 제공하지만, 미세한 장면 구성(즉, 특정 객체, 객체 간의 관계, 그리고 수행되는 동작)을 추론하는 데 필요한 구조적이고 관계적인 근거(relational grounding)가 부족하다. 반대로, 기존의 장면 그래프 데이터셋(예: Visual Genome, OpenPSG)은 관계적 구조는 제공하지만, 효과적인 VLP 사전 학습에 필요한 규모와 주석(annotation)의 다양성이 부족하다.

결과적으로, CLIP과 같은 모델들은 훈련 과정에서 **근거 기반의 관계적 감독(grounded relational supervision)**이 결여되어 있기 때문에, 의미론적으로는 유사하지만 맥락적으로는 구별되는 시나리오(예: "가방을 들고 있는 사람" vs "우산을 들고 있는 사람")를 구분하는 데 어려움을 겪는다. 또한, 전역 및 객체 수준의 특징을 정렬하는 PyramidCLIP과 같은 계층적 모델들은 객체 간의 관계를 명시적으로 모델링하지 못하며, 이로 인해 맥락적 근거 기반 감독의 효용성이 정량화되지 않은 상태로 남아 있다.

방법론

1. SCLARO 데이터셋

데이터 격차를 해결하기 위해, 저자들은 실내, 실외 및 주행 시나리오를 아우르는 615,805개의 이미지로 구성된 코퍼스인 SCLARO(Scene-Contextual Localisation of Actions, Relations & Objects)를 소개한다. 이 데이터셋은 CC3M, OpenPSG, Panoptic Video Scene Graph (PVSG), Multi-Moments in Time, KITTI2015의 다섯 가지 공개 소스로부터 구축되었다.

이 데이터셋은 3단계 자동화 파이프라인을 통해 생성된 세 단계의 계층적 주석 구조를 갖는다는 점에서 독특하다:

• 1단계 (구조화된 장면 주석): 오픈 웨이트 시각-언어 모델(Ovis-Gemma 9B)이 전역 동작 캡션, 객체 인스턴스 목록, 그리고 일련의 관계 삼중항 (object1, relation, object2)을 생성한다.
• 2단계 (객체 지역화): GroundingDINO가 식별된 모든 객체에 대한 바운딩 박스를 예측한다.
• 3단계 (집중 영역 구축): SAM(Segment Anything Model)과 RBF(Radial Basis Function) 가중치를 사용하여, 파이프라인은 **관계 중심 영역(relation-focused regions)**을 구축한다. 이는 특정 상호작용이 발생하는 공간적 맥락을 강조하는 특정 이미지 크롭(crop) 영역(예: "여성"이 "그릇"을 "들고 있는" 영역)을 제공하여, 관계 수준의 감독을 위한 명시적인 시각적 근거를 제공한다.

최종 데이터셋은 740개의 동작 클래스, 4,812개의 객체 클래스, 그리고 225,609개의 고유한 관계 삼중항을 포함한다.

2. ScenarioCLIP 모델

SCLARO를 벤치마킹하기 위해, 저자들은 전역 맥락, 객체, 그리고 관계를 공동으로 인코딩하도록 설계된 계층적 3단계 시각-언어 모델인 ScenarioCLIP을 제안한다.

• 아키텍처: 모든 수준에 공유 인코더를 사용하는 PyramidCLIP과 달리, ScenarioCLIP은 **분리된 인코더(disentangled encoders)**를 사용한다:
  • 전역 이미지($f_{V,G}$), 객체 크롭($f_{V,O}$), 그리고 관계 중심 영역($f_{V,R}$)을 위한 세 개의 별도 시각 인코더.
  • 동작 캡션($f_{T,G}$), 객체 이름($f_{T,O}$), 그리고 관계 삼중항($f_{T,R}$)을 위한 세 개의 별도 텍스트 인코더.
• 학습 목표:
  • 대조적 정렬 ($L_{CA}$): 각 수준에서 독립적으로(Global-Global, Object-Object, Relation-Relation) 대칭적 이미지-텍스트 대조 손실을 사용하여 시각 및 텍xt 임베딩을 정렬한다.
  • 지식 증류 ($L_{KD}$): EMA(Exponential Moving Average) 교사-학생 메커니즘이 계층적 수준 간의 의미론적 일관성을 강제한다.
    • 시각 모달리티: 전역 시각 교사가 로컬 객체 및 관계 임베딩을 규제한다 (전역 맥락 $\to$ 로컬).
    • 텍스트 모달리티: 방향이 반대로 적용된다. 세밀한 객체/관계 텍스트 임베딩이 전역 텍스트 임베딩을 규제한다 (로컬 세부 사항 $\to$ 전역). 이는 구체적인 설명이 광범위한 동작 캡션보다 더 정밀한 콘텐츠를 제공하기 때문이다.

주요 기여

1. SCLARO 데이터셋: 다양한 시각적 도메인에 걸쳐 동작 캡션, 객체 바운딩 박스, 그리고 관계 중심 영역을 제공하여 VLP의 규모와 장면 그래프의 구조 사이의 간극을 메우는 대규모 근거 기반 데이터셋을 제공한다.
2. ScenarioCLIP: 분리된 인코더와 비대칭적 모달리티 내 지식 증류를 갖춘 3단계 모델로서, 명시적인 관계 수준의 감독이 표현 품질을 향상시킨다는 것을 입증한다.
3. 포괄적인 벤치마킹: 제로샷 검색, 선형 프로빙(linear probing), 객체 탐지, 술어 분류, 장면 그래프 분류, 그리고 도메인 외 일반화를 아우르는 평가 프로토콜을 통해 SCLARO를 시나리오 수준 이해를 위한 표준으로 확립한다.

실험 결과

저자들은 여러 작업에 대해 PyramidCLIP 및 다양한 제로샷 베이스라인(CLIP, SLIP, TripletCLIP, FineCLIP)을 대상으로 ScenarioCLIP을 평가하였다:

• 제로샷 검색: ScenarioCLIP은 PyramidCLIP 및 베이스라인을 크게 상회한다. 특히 객체(Object) 검색(Top-1: PyramidCLIP 대비 +14.19%)과 관계(Relation) 검색(Top-1: +3.13%)에서 주목할 만한 이득이 관찰되었다. 이 결과는 분리된 인코더가 미세한 작업을 위해 공유 인코더보다 더 나은 표현을 학습한다는 것을 나타낸다.
• 선형 프로브(Linear Probe): ScenarioCLIP은 동작, 객체, 관계에 대해 PyramidCLIP보다 높은 Top-1 정확도를 달s한다.
• 술어 및 장면 그래프 분류: ScenarioCLIP은 술어 분류(PredCls)와 장면 그래프 분류(SGCls) 모두에서 평균 재현율(mR@K)을 개선하여, 향상된 관계적 추론 능력을 확인시켜 준다.
• 객체 탐지: Faster R-CNN 헤드를 사용하여, ScenarioCLIP은 PyramidCLIP에 비해 일관된 평균 정밀도(AP) 상승을 보여주며, 이는 분리된 객체 표현이 우수한 백본 역할을 함을 시사한다.
• 도메인 외 일반화: 외부 벤치마크(MS-COCO 및 Visual Genome)에서 ScenarioCLIP은 바닐라 CLIP과 대등하거나 이를 능가하며, PyramidCLIP을 크게 앞선다. 이는 SCLARO 사전 학습이 치명적 망각을 유발하지 않으며, 관계 중심 사전 학습이 보지 못한 도메인으로 효과적으로 전이됨을 나타낸다.

의의 및 주장

본 논문은 SCLARO와 ScenarioCLIP이 시각-언어 사전 학습에서 근거 기반의 관계 수준 감독의 가치를 입증한다고 주장한다. 저자들은 다음과 같이 단언한다:

• 명시적인 관계 모델링이 부족한 기존 모델(PyramidCLIP 등)은 구성적인 장면 구조를 추론하는 데 한계가 있다.
• SCLARO 데이터셋은 관계 특화 텍스트를 공간적으로 근거 있는 영역과 쌍을 이루어 제공함으로써 중요한 공백을 메운다.
• ScenarioCLIP의 분리된 아키텍처와 비대칭적 지식 증류는 일반적인 능력을 희생하지 않으면서 객체 및 관계 이해에서 우수한 성능을 낸다.

저자들은 본 연구를 장면 그래프 생성 및 관계적 추론을 포함한 근거 기반의 구성적 장면 이해을 위한 미래 연구의 토대로 포지셔닝한다. 또한, 데이터셋이 자동화된 파이프라인에 의존하고 있다는 점(잠재적인 환각 현상 포함)과 관계 어휘가 자연스럽게 롱테일(long-tailed) 분포를 가진다는 점을 언급하며 한계를 겸허히 인정한다.