💻 computer science

CLOT: Closed Loop Optimal Transport for Unsupervised Action Segmentation

본 논문은 크로스 어텐션과 반복적인 최적 운송 문제를 통해 프레임 및 세그먼트 임베딩을 공동으로 정교화하는 다단계 순환 특징 학습 메커니즘을 채택함으로써 기존 최적 운송 방식의 한계를 개선하는 새로운 비지도 행동 분할 프레임워크인 CLOT을 제안한다.

원저자: Elena Bueno-Benito, Mariella Dimiccoli

게시일 2026-08-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Elena Bueno-Benito, Mariella Dimiccoli

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

보안 카메라 영상부터 홈 비디오에 이르기까지 방대한 디지털 비디오 아카이브에는 잠재된 의미의 층위가 존재하며, 이는 자동화된 이해를 통해 해제될 수 있습니다. 즉, 매 순간 무엇이 일어나고 있는지를 자동으로 이해하는 능력입니다. '액션 세그멘테이션(action segmentation)'이라 불리는 이 작업은 연속적인 비디오 스트림을 "물을 따르기" 또는 "문을 열기"와 같은 특정 활동으로 라벨링된 별개의 덩어리로 나누는 것을 포함합니다. 컴퓨터가 인간의 지시 없이 이를 수행하기 위해서는 시각적 데이터 속의 패턴을 스스로 학습해야 합니다. 이는 컴퓨터가 비디오를 하나의 이야기가 아니라 수백만 개의 개별 이미지의 연속체로 보기 때문에 매우 어려운 도전입니다. 이를 이해하기 위해 연구자들은 종면 '최적 운송(optimal transport)'이라는 수학적 접근 방식을 자주 사용합니다. 흩어진 퍼즐 조각 더미를 완성된 그림 세트와 맞추려는 상황을 상상해 보십시오. 최적 운송은 각 조각을 올바른 그림과 짝지을 가장 효율적인 경로를 계산하여, 최종적인 배치가 논리적으로 타당하도록 만드는 방법을 제공합니다. 이 방법은 기계가 비디오 프레임을 일관된 동작으로 그룹화하도록 가르치는 강력한 도구가 되었지만, 짧고 빠른 움직임과 같은 무질서한 현실을 처리하거나 동작 사이의 경계를 완벽하게 날카롭게 만드는 데에는 어려움을 겪어왔습니다.

바르셀로나 산업 로봇 공학 및 정보학 연구소(Institut de Robòtica i Informàtica Industrial)의 연구팀은 이러한 구체적인 약점들을 해결하기 위해 설계된 CLOT(Closed Loop Optimal Transport)라는 새로운 시스템을 선보였습니다. 기존 방식들은 비디오 프레임을 동작으로 그룹화할 수는 있었으나, 종종 그 과정을 일방통행식으로 취급했습니다. 즉, 컴퓨터가 동작을 추측하면 그것으로 끝이었습니다. CLOT는 피드백 루프, 즉 컴퓨터가 자신의 작업을 끊임없이 확인하고 정교화하는 순환 구조를 만듦으로써 이를 변화시킵니다. 이 시스템은 세 가지 뚜와 단계로 작동합니다. 첫째, 개별 비디오 프레임을 살펴보고 이를 잠재적인 동작 그룹에 할당하여 타임라인의 초안을 작성합니다. 둘째, 이 그룹들을 더 큰 세그먼트로 바라보며, 하나의 완전한 '동작'이 전체로서 어떤 모습인지를 학습합니다. 마지막으로, 가장 중요한 단계로, 이 두 수준의 이해를 결과적으로 결합합니다. 시스템은 큰 세그먼트에 대한 지식을 사용하여 초기 프레임 할당을 바로잡기 위해 다시 돌아갑니다. 이러한 앞뒤로 오가는 과정은 오류를 부드럽게 다듬어, 찰나의 스쳐 지나가는 움직임을 놓치지 않고 동작 간의 전환을 정밀하게 보장합니다.

연구진은 아침 식사 준비부터 가구 조립, 샐러드 만들기, 온라인 지침 따르기에 이르기까지 네 가지 서로 다른 비디오 데이터 세트를 대상으로 이 새로운 접근 방식을 테스트했습니다. 이 테스트에서 비디오는 수십 개에서 수천 개의 프레임으로 구성되었으며, 동작은 길고 느린 과정부터 매우 짧고 날카로운 움직임까지 다양했습니다. 결과에 따르면 CLOT는 기존의 최선책들을 일관되게 능가했습니다. 아침 식사 준비 데이터 세트에서 이 시스템은 프레임의 60.1%를 정확하게 식별했는데, 이는 이전의 최고 기록보다 유의미한 향상입니다. 더욱 중요한 것은, CLOT가 정밀도와 재현율의 균형을 맞추는 지표에서 40.1점을 기록하며 세그먼트 전체의 품질을 측정하는 데 탁-월한 성과를 거두었으며, 동작 사이의 경계 정확도를 크게 개선했다는 점입니다. 이 시스템은 특히 기존 기술의 주요 걸림돌이었던 짧은 지속 시간의 동작을 탐지하는 데 효과적이었습니다. 세그먼트 수준의 피드백을 통해 초기 추측을 정교화함으로써, 모델은 일시적인 멈춤과 실제 활동의 변화를 구분해 낼 수 있었으며, 이는 이전 모델들이 자주 놓쳤던 부분이었습니다.

이 방식이 왜 이토록 잘 작동하는지 이해하려면 연구진이 시스템에 구축한 구체적인 도구들을 살펴보아야 합니다. 그들은 컴퓨터가 아무 일도 일어나지 않는 정적인 부분이나 노이즈가 있는 부분을 무시하고 가장 정보가 많은 프레임에 집중할 수 있도록 하는 필터 역할을 하는 메커니즘을 도입했습니다. 또한, 프레임 간의 유사성을 측정하는 표준적인 방식을 더 견고한 수학적 도구로 대체하여 고차원 데이터를 더 효과적으로 처리하고, 컴퓨터가 비디오의 구조를 존중하는 방식으로 시각적 특징을 비교하도록 보장했습니다. 그러나 핵심 혁신은 학습의 순환적 특성에 있습니다. 첫 번째 추측에서 멈추는 대신, 시스템은 크로스 어텐션(cross-attention) 메커니즘을 사용하여 '세그먼트' 관점이 '프레임' 관점에 영향을 미치도록 합니다. 이는 만약 시스템이 특정 활동에 속하는 움직임 패턴을 인식한다면, 해당 활동 내의 개별 프레임 라벨을 그 패턴에 더 밀접하게 맞도록 조정할 수 있음을 의미합니다. 이는 세그먼테이션 경계를 조이고 더 깨끗하고 정확한 타임라인을 생성하는 자가 교정 루프를 형성합니다.

이 연구는 이러한 다층적 접근 방식이 단순한 미세한 조정이 아니라, 기계가 시간을 보는 방식을 근본적으로 개선하는 것임을 확인시켜 줍니다. 연구진은 세그먼트 수준의 학습, 정교화 단계, 또는 프레임 간 거리를 측정하는 방식 중 어느 하나라도 이 순환 구조에서 제거하면 성능이 눈에 띄게 떨어진다는 것을 발견했습니다. 이는 이러한 요소들의 조합이 인간 활동의 진정한 구조를 포착하는 데 필수적임을 시사합니다. 비록 이 시스템이 완벽하지는 않으며 매우 드물거나 모호한 동작에는 여전히 과제를 안고 있지만, 이는 비지도 학습(unsupervised learning) 분야에서 중요한 진전을 나타냅니다. 이는 컴퓨터가 비디오에 대한 자신의 이해를 검토하고 수정할 수 있게 함으로써, 이전에는 도달할 수 없었던 수준의 세부 사항과 정확도를 달 수 있음을 보여줍니다. 이 연구는 스포츠 분석(정확한 동작 순서 이해가 필수적인 분야)이나 로봇 공학(기계가 작업을 복제하기 위해 정밀한 단계를 이해해야 하는 분야)과 같은 분야에서 더 정교한 응용 가능성을 열어줍니다. 앞으로의 길은 이러한 루프를 계속 정교화하여, 인간의 행동에 대한 기계의 이해를 더욱 정밀하고 신뢰할 수 있게 만드는 데 있습니다.

기술 요약: CLOT (비지도 행동 분할을 위한 폐쇄 루프 최적 운송)

문제 정의

비지도 행동 분할(Unsupervised action segmentation)은 레이블이 지정된 학습 데이터에 의존하지 않고 비디오의 모든 프레임을 그에 상응하는 행동 클래스로 레이블링하는 것을 목표로 합니다. 전통적인 접근 방식은 프레임 임베딩을 학습한 후 이를 클러스터링하는 다단계 파이프라인을 따르는 반면, 최근의 최적 운송(Optimal Transport, OT) 기반 방법들은 표현 학습과 의사 레이블(pseudo-labels) 생성을 결합함으로써 개선되었습니다. 그러나 ASOT(Adaptive Segmentation via Optimal Transport)와 같은 기존의 최첨단 방법들은 다음과 같은 구체적인 한계에 직면해 있습니다:

세그먼트 수준의 감독 부족: ASOT는 의사 레이블을 생성하지만 프레임 표현과 세그먼트 경계 사이의 명시적인 피드백이 부족하여, 피드백 루프의 효과를 제한합니다.
세그먼트 길이에 대한 편향: ASOT는 강력한 구조적 사전 지식(prior)을 강제하여 암묵적으로 세그먼트 길이에 편향을 일으키며, 이는 짧은 지속 시간의 행동을 정확하게 탐지하는 것을 어렵게 만듭니다.
피드백 단절: HVQ(Hierarchical Vector Quantization)와 같은 대안적인 방법들은 짧은 행동 탐지 능력은 개선되었으나, OT 공식에서 나타나는 표현 학습과 클러스터링 사이의 효과적인 피드백이 부족하여 클러스터 할당 결과가 저하됩니다.

이 논문이 다루는 핵심 과제는 프레임 표현과 세그만트 표현 사이의 명시적인 피드백을 구축하여, 학습된 클러스터가 실제 세그먼트 경계와 일치하도록 함으로써 고품질의 미세한(fine-grained) 분할을 달eral하는 것입니다.

방법론: CLOT 프레임워크

저자들은 다단계 순환적 특징 학습 메커니즘을 특징으로 하는 새로운 OT 기반 프레임워크인 **CLOT (Closed Loop Optimal Transport)**를 제안합니다. 이 아키텍처는 사전 계산된 프레임 임베딩( $X$ )을 세 가지 별도의 단계로 처리하며, 임베딩과 의사 레이블을 반복적으로 정교화하기 위해 세 개의 독립적인 OT 문제를 해결합니다.

1. 아키텍처 구성 요소

특징 디스패칭(Feature Dispatching)을 포함한 인코더: MLP 기반 인코더는 입력 프레임을 프레임 임베딩( $F$ )으로 처리합니다. 이는 학습 가능한 유사도 함수를 사용하여 유사도에 따라 프레임을 클러스터로 디스패치하며, 구조화되고 문맥을 인식하는 임베딩을 생성하기 위해 특징 표현을 동적으로 업데이트합니다.
병렬 디코더(Parallel Decoder): 세그먼트를 순차적으로 예측하여 오류 누적에 취약한 자기회귀(autoregressive) 디코더와 달리, CLOT은 쿼리 기반 어텐션(query-based attention)을 사용하는 병렬 디코더를 사용합니다. 이는 프레임 임베딩( $F$ )을 세그먼트 임베딩( $S$ )으로 동시에 변환하며, 시간적으로 일관된 OT 문제를 해결합니다.
교차 어텐션 정교화(Cross-Attention Refinement): 교차 어텐션 메커니즘은 세그먼트 임베딩( $S$ )과 클러스터 중심으로부터의 내재적 정보를 통합하여 프레임 임베딩( $F$ )을 정교화된 집합( $F_R$ )으로 변환합니다. 이 단계는 프레임과 세그먼트 표현 사이의 루프를 닫습니다.

2. 최적 운송 (OT) 공식화

CLOT은 세 가지 OT 문제를 순환적으로 해결합니다:

1단계 (프레임-대-클러스터): 초기 프레임 임베딩( $F$ )과 행동 클러스터( $A$ ) 사이의 OT 문제를 해결하여 초기 의사 레이블( $T$ )을 생성합니다.
2단계 (세그먼트-대-클러스터): 세그먼트 임베딩( $S$ )과 행동 클러스터( $A$ ) 사이의 OT 문제를 해결하여 세그먼트 의사 레이블( $T_S$ )을 생성합니다 프.
3단계 (정교화된 프레임-대-클러스터): 정교화된 프레임 임베딩( $F_R$ )과 행동 클러스터를 사용하여 세 번째 OT 문제를 해결하고 정교한 의사 레이블( $T_R$ )을 생성합니다.

OT 공식은 시간적 일관성을 보장하기 위해 **Kantorovich Optimal Transport (KOT)**와 **Gromov-Wasserstein Optimal Transport (GWOT)**를 결합합니다. 결정적으로, 시각적 구성 요소의 비용 행렬은 코사인 거리에 더해 Sliced Wasserstein (SW) 거리를 포함합니다. SW 거리는 고차원 공간에서 미세한 프레임 간 관계를 포착하는 데 있어 효율성과 견고함을 활용하여 초기 비용 행렬을 정교화하는 데 사용됩니다.

3. 학습 목적 함수

모델은 비지도 방식으로 학습됩니다. 목적 함수는 예측된 행동 확률과 OT 솔루션에서 도출된 소프트 의사 레이블 사이의 교차 엔트로피 손실을 최소화합니다. 전체 손실은 세 단계의 손실 합입니다:
$\mathcal{L}_{train} = \mathcal{L}(\mathbf{T}, \mathbf{P}) + \mathcal{L}(\mathbf{T}_{S}, \mathbf{P}_{S}) + \mathcal{L}(\mathbf{T}_{R}, \mathbf{P}_{R})$

주요 기여

새로운 프레임워크: 다단계 순환적 학습 메커니즘을 통해 세그먼트 수준의 일관성을 강제하여 미세한 분할 및 비디오 간 일반화를 가능하게 하는 CLOT 프레임워크를 제안합니다.
폐쇄 루프 아키텍처: 프레임과 세그먼트 임베딩 사이의 루프를 닫는 인코더-디코더 아키텍처를 도입합니다. 교차 어텐션을 활용함으로써 세그먼트 수준의 구조를 사용하여 프레임 임베딩을 정교화하며, 이는 기존 OT 방법들의 피드백 단절 문제를 해결합니다.
Sliced Wasserstein 통합: 고차원 공간에서의 시각적 유사도 측정을 향상시키기 위해 초기 비용 행렬 계산에 Sliced Wasserstein 거리를 통합하여 비용 행렬을 강화합니다.
포괄적인 평가: 네 가지 벤치마크 데이터셋에 대해 광범-한 실험, 절제 연구(ablation studies) 및 정성적 결과를 제공합니다.

실험 결과

저자들은 Breakfast, YouTube Instructions (YTI), 50 Salads, Desktop Assembly의 네 가지 표준 데이터셋에서 CLOT을 평가했습니다. 성능은 두 가지 매칭 프로토콜인 Activity-Level(비디오 간 일반화) 및 Video-Level(비디오별 최적화) 하에서 MoF(Mean over Frames), F1 Score, mIoU(Mean Intersection over Union)를 사용하여 측정되었습니다.

Activity-Level 성능: CLOT은 이전 최고 방법인 ASOT보다 평균적으로 MoF +2.54%, F1 Score +5.08%, mIoU +3.2%를 상회하며 최첨단(SOTA) 결과를 달성했습니다. 특히, CLOT은 50 Salads와 Desktop Assembly에서 F1 점수의 유의미한 향상을 보여주었으며, 이는 더 기술적인(descriptive) 행동 임베딩을 시사합니다.
Video-Level 성능: CLOT은 YTI를 제외한 모든 데이터셋에서 ASOT을 능가했습니다. CLOT은 비디오 수준의 분할을 위해 특별히 설계된 방법들(종종 비디오 간 일반화가 되지 않는 방법들)과 대등한 F1 및 mIoU 점수를 달성하여, 행동 표현을 동적으로 정교화하는 능력을 입증했습니다.
절제 연구 (Ablation Study): Sliced Wasserstein 거리, Feature Dispatching, Parallel Decoder 또는 Refinement 단계를 제거하면 성능이 일관되게 저하되었습니다. 특히, 디코더는 짧은 지속 시간의 행동에 필수적인 것으로 나타났으며, Refinement 단계는 F1 및 mIoU를 개선하는 데 결정적인 역할을 했습니다.

의의 및 주장

본 논문은 CLOT이 표현 학습과 클러스터링 사이의 루프를 효과적으로 닫음으로써 비지도 행동 분할 분야에서 중요한 진전을 이루었다고 주장합니다. 저자들의 주장은 다음과 같습니다:

순환적 학습의 필수성: 다단계 순환 메커니즘을 통해 모델이 의사 레이블과 임베딩을 반복적으로 정교화할 수 있게 하여, 학습된 클러스터가 실제 세그먼트 경계와 일치하도록 보장합니다.
병렬 디코딩을 통한 드리프트 방지: 자기회귀 모델과 달리, 병렬 디코더는 시퀀스 전반의 오류 전파를 방지하여 모델이 분할 드리프트(segmentation drift) 없이 고품질의 행동 경계를 유지할 수 있게 합니다.
짧은 행동에 대한 견고성: 세그먼트 수준의 피드백을 통합하고 세그먼트 길이에 편향을 주는 강력한 구조적 사전 지식을 피함으로써, CLOT은 ASOT과 같은 기존 OT 기반 방법들의 알려진 약점인 짧은 지속 시간의 행동 탐지 능력을 개선합니다.

저자들은 CLOT이 최첨단 성능을 달와하지만, 행동 오레이블링(mislabeling)은 여전히 해결해야 할 과제로 남아 있음을 언급하며 의사 레이블 정교화 및 세그먼트 정렬에 대한 추가적인 개선 필요성을 강조합니다. 이들은 CLOT을 자기지도 학습 및 구조적 예측 작업의 진일보로 규정합니다.