💻 computer science

CEZSAR: A Contrastive Embedding Method for Zero-Shot Action Recognition

본 논문은 자동 부정 샘플링 절차를 통해 비디오 및 텍스트 임베딩을 공동 공간에 정렬함으로써 의미적 격차와 도메인 이동을 해결하는 제로샷 동작 인식용 새로운 대비 학습 방법인 CEZSAR을 제안하며, UCF-101 및 Kinetics-400 데이터셋에서 최첨단 결과를 달성합니다.

원저자: Valter Estevam, Rayson Laroca, Helio Pedrini, David Menotti

게시일 2026-05-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Valter Estevam, Rayson Laroca, Helio Pedrini, David Menotti

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 "말 타기"나 "농구하기"와 같은 인간의 행동을 인식하도록 가르친다고 상상해 보세요. 보통 로봇을 가르치려면 사람들이 그런 특정 행동을 하는 수천 개의 영상을 보여주고 하나씩 라벨을 붙여야 합니다. 하지만 로봇이 한 번도 본 적 없는 새로운 행동, 예를 들어 "체인톱을 저글링하기"를 인식하게 하려면 어떨까요? 훈련 데이터에 그런 예시가 존재하지 않기 때문에 보여줄 수 없습니다. 이것이 Zero-Shot Action Recognition(제로샷 행동 인식) 의 과제입니다.

이 논문은 이를 해결하기 위해 CEZSAR이라는 새로운 방법을 소개합니다. 작동 원리를 간단히 설명하면 다음과 같습니다:

두 가지 큰 문제

저자들은 예시를 보여 주지 않고 로봇에게 새로운 행동을 가르치는 것이 어렵다고 말합니다. 그 이유는 두 가지 주요한 "방해 요소" 때문입니다:

의미적 격차(언어 장벽):
"시각"(픽셀과 형태를 봄) 을 말하는 로봇과 "텍스트"(단어를 이해함) 를 말하는 로봇이 있다고 상상해 보세요. 텍스트 로봇에게 "이것은 경마입니다"라고 말하면 그 개념을 알지만, 시각 로봇은 말과 트랙이 흐릿하게 보이는 이미지를 봅니다. 문제는 텍스트 세계에서의 "경마"라는 아이디어가 시각 세계의 "경마" 이미지와 완벽하게 일치하지 않는다는 것입니다. 서로 다른 사투리를 말하는 두 사람처럼, 같은 것을 이해하지만 세부 사항이 번역 과정에서 손실됩니다.
- 논문의 해결책: CEZSAR 은 보편적 번역기를 구축합니다. 시각 로봇과 텍스트 로봇이 경마의 이미지와 "경마"라는 문장이 기억 속에서 바로 옆에 놓이도록 공유된 언어를 배우게 합니다.
도메인 이동(맥락의 함정):
공원에서 뛰는 사람들에 대한 영상만으로 로봇을 훈련시켰다고 가정해 보세요. 그런 다음 체육관의 트레드밀에서 뛰는 사람을 인식하라고 하면, 배경 (도메인) 이 완전히 다르기 때문에 로봇이 혼란을 겪을 수 있습니다. 로봇은 "달리기"가 아니라 "공원"을 외웠기 때문입니다.
- 논문의 해결책: 저자들은 "시각" 세계 (다른 공원, 다른 체육관 등) 는 크게 변하지만 "달리기"에 대한 "텍스트" 설명은 동일하게 유지된다는 점을 깨달았습니다. 시각 학습을 텍스트 설명에 고정함으로써, 로봇은 혼란스러운 배경을 무시하고 행동 자체에 집중하도록 배웁니다.

CEZSAR 의 작동 원리 (레시피)

이 방법은 "대조적"인 접근 방식을 사용하는데, 이는 "뜨겁고 차가운" 게임과 같습니다.

설정: 시스템은 영상과 이를 설명하는 문장을 입력받습니다.
목표: 영상과 그에 맞는 문장을 수학적 공간에서 서로 "포옹"하도록 (매우 가깝게) 만듭니다.
**반전 **(어려운 부정 샘플링): 이것이 교묘한 부분입니다. 시스템은 무엇을 "매칭되지 않는지" 배워야 합니다. 인간이 수동으로 나쁜 매칭을 찾는 대신 컴퓨터가 자동으로 생성합니다.
- "말 타기" 영상을 가져옵니다.
- "말 타기"에 대한 문장을 가져옵니다 (좋은 매칭).
- "자전거 타기"나 "파스타 요리하기"에 대한 문장을 가져옵니다 (나쁜 매칭).
- 컴퓨터에게 "요리" 문장을 "말" 영상에서 멀리 밀어내도록 강요합니다.
- 마법: 인간 도움 없이 이러한 "나쁜 매칭"을 자동으로 찾아내는 똑똑한 트릭을 사용하여, 단일 컴퓨터에서 몇 시간 만에 수백만 개의 훈련 예시를 생성합니다.

결과

저자들은 이 방법을 UCF-101 과 Kinetics-400 이라는 두 가지 유명한 비디오 데이터셋에서 테스트했습니다.

점수: 이전 방법들보다 훨씬 높은 정확도를 기록했습니다. 예를 들어, 한 번도 보지 못한 101 가지 다른 행동에 대한 테스트에서 다음으로 좋은 방법보다 정확도가 약 10 퍼센트 포인트 향상되었습니다.
작동 이유: 텍스트 설명을 사용하여 시각 학습을 안내함으로써, 로봇은 "말 타기"와 "경마"처럼 비슷하게 보이는 행동들을 구별하는 데 훨씬 능숙해졌고, 서로 다른 배경에 혼란을 느끼지 않게 되었습니다.

요약

CEZSAR 은 컴퓨터가 한 번도 보지 못한 행동을 인식하도록 가르치는 새로운 방법입니다. 단순히 이미지를 외우는 대신, 컴퓨터가 이미지와 그 설명을 연결하도록 가르치며, 우리가 보는 것과 읽는 것 사이의 격차를 메우기 위해 "매칭과 불일치"의 똑똑한 게임을 사용합니다. 이를 통해 컴퓨터는 한 번도 해당 행동의 영상을 본 적이 없더라도 빠르고 정확하게 새로운 행동을 이해할 수 있습니다.

기술 요약: CEZSAR

문제 정의

본 논문은 비디오에서 **영향 제로 샷 행동 인식 (Zero-Shot Action Recognition, ZSAR)**을 다룹니다. 이는 모델의 학습 단계에 존재하지 않았던 클래스에 속하는 행동 인스턴스를 분류하는 작업입니다. 저자들은 기존 ZSAR 접근법에서 두 가지 지속적인 과제를 식별했습니다:

의미적 격차 (The Semantic Gap): CNN 이나 Transformer 로 표현되는 시각 도메인과 언어 모델로 표현되는 텍스트 도메인 간의 불일치입니다. 결합 임베딩 공간에서도 시각 특징의 분포는 종종 그 의미적 대응물과 달라집니다. 예를 들어, "Pommel Horse(안마)"와 "Balance Beam(평형대)"와 같은 행동은 체육관이라는 유사한 장면 구조를 공유하지만 구체적인 운동과 장비는 다르기 때문에 임베딩 공간에서 혼란을 초래합니다.
도메인 이동 (Domain Shift): 학습 세트와 보이지 않는 테스트 세트 간의 확률 분포 차이입니다. 테스트 세트는 학습 중에 알려지지 않으므로, 모델은 새로운 데이터 분포에 일반화하는 데 어려움을 겪습니다.

기존 방법들은 종종 인간이 정의한 속성이나 간단한 단어 임베딩 (예: Word2Vec, GloVe) 에 의존하는데, 이는 세밀한 의미적 차이를 포착하지 못하거나 광범위한 수작업을 요구합니다. furthermore, CLIP 과 같은 대규모 사전 훈련 모델은 유망한 전망을 보이지만, 수억 개의 쌍과 같은 막대한 컴퓨팅 자원과 데이터가 필요하여 종종 접근이 불가능합니다.

방법론: CEZSAR

저자들은 비디오와 자연어 설명을 대비 학습 (contrastive learning) 을 사용하여 결합 임베딩 공간으로 학습하도록 설계된 CEZSAR(Zero-Shot 행동 인식을 위한 대비 임베딩 방법) 을 제안합니다.

아키텍처

모델은 두 가지 주요 모듈로 구성됩니다:

시각 임베딩 모듈 (VEM):
- 비디오는 초당 1 프레임 (FPS) 단위로 샘플링됩니다.
- 프레임은 사전 훈련된 합성곱 신경망 (CNN), 구체적으로 ResNet-152 를 사용하여 인코딩되어 특징 스택을 생성합니다.
- 완전 연결 계층이 차원을 축소한 후, Transformer 인코더가 멀티헤드 자기 주의 (multi-head self-attention) 를 통해 시간적 정보를 모델링합니다.
- 출력은 결합 의미 공간 (128 차원) 으로 투영됩니다.
문장 임베딩 모듈 (SEM):
- 자연어 설명은 **Sentence-BERT(SBERT)**를 사용하여 처리되어 768 차원 임베딩을 생성합니다.
- 이러한 임베딩은 완전 연결 계층을 통해 동일한 결합 의미 공간으로 투영됩니다.

학습 전략: 하드 부정 샘플링

핵심 혁신은 인간이 주석한 부정 쌍의 필요성을 제거하는 자동 하드 부정 샘플링 절차입니다:

의미 필터링: 모델은 사전 훈련된 SBERT 모델을 사용하여 문장 간의 유사성을 평가합니다. 높은 코사인 유사도 (임계값 $\tau$ 이상) 를 가진 문장은 의미적으로 유사한 것으로 간주됩니다.
객체 기반 증강: 시스템은 비디오에서 객체를 감지하고 이를 위한 설명 문장을 생성합니다. 그런 다음 인간이 주석한 설명과 객체 생성 설명 모두와 충분히 다른 부정 설명을 선택합니다.
트리플릿 생성: 이 과정은 (비디오, 긍정 설명, 부정 설명) 으로 구성된 트리플릿을 생성합니다. 저자들은 ActivityNet Captions 데이터셋에서 약 300 만 개의 트리플릿을 생성했다고 보고합니다.
손실 함수: 모델은 비디오와 그 긍정 설명 간의 거리를 최소화하면서 부정 설명과의 거리는 최대화하는 트리플릿 손실 (Triplet Loss) 함수를 사용하여 훈련됩니다.

분류

추론 시, 모델은 입력 비디오와 클래스 프로토타입 (문장 설명으로 정의됨) 을 모두 결합 임베딩 공간에 매핑합니다. 분류는 코사인 유사도를 기반으로 한 최근접 이웃 규칙을 사용하여 수행됩니다. 최종 비디오 임베딩 ($VidE $) 은 가중치 매개변수$ \alpha $와$ \beta $에 의해 제어되며, 원시 시각 특징 ($ VE(v) $) 과 함께 객체 수준의 의미 정보 ($ O(v)$) 를 선택적으로 포함할 수 있습니다.

주요 기여

논문은 세 가지 주요 기여를 제시합니다:

새로운 교차 모드 대비 방법: CEZSAR 은 시각 특징을 문장 설명과 효과적으로 연관시켜 모드 간의 의미적 격차를 크게 줄입니다.
모듈식 투영: 아키텍처는 비디오와 설명을 별도의 서브네트워크를 통해 투영할 수 있게 하여, 전체 대비 모델을 재학습하지 않고도 추가 모드 (텍스트, 이미지 또는 기타 비디오) 를 포함할 수 있게 합니다.
효율성과 견고성: 이 방법은 단일 GPU 와 CLIP 과 같은 대규모 모델이 필요로 하는 데이터 및 학습 시간의 일부만을 사용하여 표준 벤치마크에서 최첨단 결과를 달성합니다.

실험 결과

이 방법은 다양한 제로 샷 분할 구성 (예: 0% 관찰된 클래스, 100% 관찰되지 않은 클래스) 하에서 UCF-101 및 Kinetics-400 데이터셋에서 평가되었습니다.

UCF-101: 0/101 구성 (모든 클래스가 관찰되지 않음) 에서 CEZSAR 은 **95.2%**의 정확도를 달성했습니다 (그림 1b 시각화). 이는 기준선 ZSARCAP(67.2%) 및 기타 최첨단 방법보다 현저히 개선된 수치입니다. 객체 수준의 의미 포함은 미미하지만 일관된 개선을 제공했습니다.
Kinetics-400: 모델은 모든 테스트 구성 (25, 100, 400 개의 관찰되지 않은 클래스) 에서 이전의 모든 최첨단 방법을 능가했습니다. 400 클래스 분할의 경우 **23.8%**의 정확도를 달성하여 이전 최고치인 20.4% 를 상회했습니다.
하드 샘플: "말 타기"와 "말 경주"를 구분하는 것과 같이 15 개의 매우 유사한 어려운 클래스의 하위 집합에서 CEZSAR 은 **63.3%**의 정확도를 달성한 반면, ZSARCAP 은 47.4% 였습니다. 혼동 행렬은 특히 유사한 장비나 시나리오를 포함하는 그룹에서 오분류 오류가 크게 감소했음을 나타냅니다.

중요성과 주장

저자들은 CEZSAR 이 대비 학습이 ZSAR 의 의미적 격차를 해소하는 직관적이면서도 효과적인 접근법임을 입증한다고 주장합니다. 도메인 이동에 덜 취약한 모달리티인 텍스트 설명에 시각 특징 학습을 조건화함으로써, 모델은 자연스럽게 도메인 이동 문제를 완화합니다.

논문은 제로 샷 인식에서의 높은 성능이 반드시 대규모 사전 훈련 인프라 (예: 수천 개의 GPU 와 수억 개의 데이터 쌍) 를 필요로 하지 않는다고 강조합니다. 대신, 자동 부정 샘플링을 갖춘 신중하게 설계된 대비 프레임워크는 CLIP 규모 모델보다 훨씬 적은 자원 (시각 표현은 1000 배 적고 데이터 쌍은 100 배 적음) 으로 단일 GPU 에서 몇 시간 동안 훈련하여 표준 데이터셋에서 우수한 결과를 달성할 수 있습니다. 이 작업은 성능 향상의 주요 동인이 의미 정보의 양이 아니라 의미적 격차의 효과적인 감소임을 시사합니다.