D-CLOT: Double Closed Loop Optimal Transport for Unsupervised Action Segmentation

당신이 누군가 케이크를 굽는 길고 편집되지 않은 영상을 보고 있다고 상상해 보십시오. 카메라는 멈추지 않고 계속 돌아가며 밀가루를 체 치고, 달걀을 깨고, 믹서기가 돌아가고, 오븐 타이머가 울리는 모든 과정을 하나의 연속적인 흐름으로 포착합니다. 당신의 목표는 이 원본 푸티지를 보고 이를 "섞기", "굽기", "식히기"와 같이 완벽하게 라벨링된 장면으로 자동 절단할 수 있는 초능력을 가진 편집자처럼 행동하는 것입니다. 이것이 바로 **시계열 행동 분할(temporal action segmentation)**이라는 도전 과제입니다. 컴퓨터는 사물이 무엇인지(예: 고양이나 자동차) 인식하는 데는 뛰어나지만, 무질서한 실제 세계의 영상에서 정확히 언제 한 행동이 끝나고 다른 행동이 시작되는지를 파악하는 것은 훨씬 더 어렵습니다.

인간이 영상의 매 초마다 일일이 기록을 작성하는 방식(이는 비용이 매우 많이 들고 느립니다)을 사용하지 않고 이 문제를 해결하기 위해, 과학자들은 **최적 운송(Optimal Transport)**이라는 수학적 도구를 사용합니다. 이것은 물류 문제와 비슷합니다. 당신에게는 "프레임" 꾸러미(영상의 순간들)가 있고, "행동" 창고(섞기, 굽기와 같은 라벨들)가 있습니다. 컴퓨터는 모든 프레임을 올바른 창고로 보내는 가장 효율적인 방법을 찾으려고 노력합니다. 가장 좋은 시나리오에서, 컴퓨터는 라벨을 추측하는 법을 배우고, 그 추측을 사용하여 영상에 대한 이해도를 높이며, 다시 그 향상된 이해도를 바탕으로 라벨을 다시 추측하는 유익한 피드백 루프를 생성합니다. 이것이 CLOT이라 불리는 방법의 기초이며, 이 방법은 이러한 영상 퍼즐을 풀어내는 데 꽤 성공적이었습니다.

하지만 이 새로운 논문의 연구자들은 그 피드백 루프에서 미묘한 결함을 발견했습니다. 그것은 마치 음악(행동 라벨)은 계속 바뀌는데, 무용수(영상 프레임)들은 어제 그려진 지도를 따라가려고 애쓰는 춤과 같습니다. 컴퓨터가 영상을 이해하는 능력이 좋아짐에 따라, 행동을 정의하는 "지도"가 더 선명해진 그림에 맞춰 충분히 빠르게 업데이트되지 않는 문제가 발생합니다. 이 불일치는 컴퓨터를 혼란스럽게 만들며, 특히 까다로운 전환 시점이나 매우 짧은 행동이 나타날 때 문제가 됩니다. 이 논문은 이 문제를 해결하기 위해 D-CLOT(이중 폐쇄 루프 최적 운송)이라는 새로운 방법을 소개합니다. D-CLOT은 영상 프레임이 너무 요동치지 않도록 하는 "안정기"를 추가하고, 현재의 춤에 맞춰 행동 지도를 끊임없이 업데이트하는 "재보정" 단계를 도입함으로써 컴퓨터가 영상을 훨씬 더 명확하게 볼 수 있도록 돕습니다. 결과는 이 접근 방식이 영상을 올바른 장면으로 절단하는 정확도를 크게 향상시킨다는 것을 보여주며, 장난감을 조립하는 것과 같은 매우 정교한 작업에서도 마찬가지입니다.

문제: 지형과 일치하지 않는 지도

당신이 도시를 지도를 보며 탐험하고 있다고 상상해 보십시오. 처음에는 지도가 다소 흐릿합니다. 길을 걸으면서 당신은 도시를 더 명확하게 보기 시작하고, 당신의 정신적 이미지를 업데이트합니다. 하지만 만약 당신 손에 든 종이 지도가 전혀 업데이트되지 않는다면 어떻게 될까요? 당신은 변해버린 도시를 걷고 있지만, 당신의 지도는 여전히 옛날 레이아웃을 보여주고 있습니다. 당신은 새 건물이 들어선 곳에서 왼쪽으로 돌려고 시도하거나, 지도의 거리 이름이 눈앞의 표지판과 일치하지 않아 혼란을 겪을 수도 있습니다.

이것이 바로 이전의 최고 방법이었던 CLOT에서 일어나고 있던 일이었습니다. CLOT은 영상 프레임의 "정신적 이미지"를 정교화하여 프레임을 더 선명하고 뚜렷하게 만드는 데 뛰어났습니다. 이 방법은 흐릿한 영상을 가져와서, 추측과 교정의 영리한 과정을 통해 프레임들이 특정 행동에 속하는 것처럼 보이게 만듭니다. 그러나 그 행동들을 정의하는 데 사용하는 "지도", 즉 행동 프로토타입(섞기 또는 굽기를 수학적으로 정의한 것)은 충분히 빠르게 업데이트되지 않았습니다.

이 논문의 저자들은 이를 **표현-프로토타입 불일치(representation–prototype inconsistency)**라고 규정했습니다. 영상 프레임이 더 명확해지고 조직화됨에 따라, 행동의 정의는 여전히 이전의 덜 정밀한 상태에 머물러 있었습니다. 이는 모호한 전환(한 행동이 다른 행동으로 넘어가는 시점)이나 짧거나 드문 행동(손가락을 튕기는 동작이나 소금을 넣는 드문 단계 등)에서 특히 치명적이었습니다. 이러한 경우, 오래되고 경직된 정의는 지배적인 행동들에 의해 압도되어, 컴퓨터가 작은 세부 사항을 놓치거나 서로 다른 두 행동을 하나로 합쳐버리게 만들었습니다.

해결책: 교정의 이중 루프

이를 해결하기 위해 팀은 "이중 폐쇄 루프"를 시스템에 추가한 D-CLOT을 구축했습니다. 이것은 댄스 플로어에 두 개의 새로운 안전 장치를 추가하는 것과 같습니다.

1. 그래프 제약 안정기 (안전망)
먼저, 시스템은 영상 프레임이 정교화되는 과정에서 너무 격렬하게 변하지 않도록 해야 했습니다. 때때로, 유사한 프레임들을 그룹화하려는 과정에서 컴퓨터가 단순히 비슷해 보인다는 이유로 시간상 멀리 떨어진 두 프레임을 실수로 연결할 수도 있습니다. 이는 영상의 자연스러운 흐름을 깨뜨립니다.

D-CLOT은 그래프 제약 모듈을 도입합니다. 이것은 무용수들이 원래의 이웃 곁에 머물도록 붙잡아두는 안전망과 같습니다. 이는 만약 두 영상 프레임이 원본 푸티지에서 서로 옆에 있었다면, 컴퓨터의 "정교화된" 버전에서도 서로 가까이 있게 함으로써 로컬 이웃 구조를 보존합니다. 이를 통해 컴퓨터가 관련 없는 순간들 사이에 가짜 연결을 만드는 것을 방지하고, 영상의 기하학적 구조를 안정시켜 우리가 "지도"를 업데이트하기 전에 "지형"이 신뢰할 수 있는지 확인합니다.

2. 행동 임베딩 정교화 (지도 업데이트)
영상 프레임이 안정되면, 시스템은 이 새로운, 더 명확한 그림에 맞춰 행동 정의를 업데이트해야 합니다. 이전 방법은 경사 하강법(gradient descent)을 통해 이 정의들을 아주 느리게 업데이트했는데, 이는 마치 무거운 바위를 손으로 밀어서 움직이려는 것과 같아서 느리고 정체될 수 있습니다.

D-CLOT은 주기적인 재앵커링(re-anchoring) 단계를 도입합니다. 일정 시간마다 시스템은 멈춰서, 안정화된 영상 프레임을 살펴보고, 행동 프로토타입이 무엇이어야 하는지를 완전히 재계산합니다. 저자들은 두 가지 방식을 테스트했습니다:

• D-CLOT (K-Means 리프레시): 이 방법은 표준 클러스터링 기술인 k-means를 사용하여 새로운 프레임 그룹의 중심을 찾고, 그곳으로 행동 정의를 이동시킵니다. 이는 빠르고 할당에 구애받지 않는(assignment-agnostic) 리프레시 방식입니다.
• D-CLOTB (Barycentric 업데이트): 이것은 더 정교한 버전입니다. 단순히 그룹의 중심을 보는 것이 아니라, **최적 운송 바리센터(optimal transport barycenter)**를 계산합니다. 모래 더미(영상 프레임)가 있고 당신이 완벽한 균형점을 찾고자 한다고 상상해 보십시오. 이 방법은 컴퓨터가 해당 행동에 속한다고 확신하는 정도에 따라 모든 프레임에 가중치를 부여합니다. 만약 컴퓨터가 어떤 프레임이 "섞기"라고 매우 확신한다면, "섞기"의 정의를 강하게 끌어당깁니다. 만약 확신이 없다면, 적게 끌어당깁니다. 이는 현재 영상의 상태와 완벽하게 일치하는 할당 인지적(assignment-aware) 업데이트를 만들어냅니다.

결과: 더 날카로운 절단과 더 나은 이해

팀은 요리 영상(아침 식사 만들기나 샐러드 만들기 등)부터 교육용 영상, 그리고 장난감을 조립하는 매우 어려운 새로운 데이터셋인 Assembly101에 이르기까지 다섯 가지 데이터셋에서 D-CLOT을 테스트했습니다.

결과는 인상적이었습니다. 영상 프레임과 행동 정의 사이의 불일치를 해결함으로써, D-CLOT은 분할의 품질을 크게 향상시켰습니다:

• YouTube Instructions (YTI) 데이터셋에서, 새로운 방법은 이전 최고 모델에 비해 F1 점수를 +12.7 포인트, mIoU(mean Intersection over Union)를 +10.2 포인트 향상시켰습니다.
• 50Salads 데이터셋에서는 활동 수준 평가에서 +8.9 F1 포인트의 이득을 보았습니다.
• 가장 주목할 점은, 팀이 Assembly101에서 최초의 비지도 학습 베이스라인을 구축했다는 것입니다. 이 데이터셋은 평균 13,000 프레임 이상의 긴 영상과 장난감 카테고리당 11개에서 42개의 미세한 행동을 포함하고 있어 훨씬 더 어렵습니다. 그럼에도 불구하고 D-CLOT은 이전 방법들을 능가하며 "이중 루프" 접근 방식이 매우 작고 노이즈가 많은 영상에서도 작동함을 보여주었습니다.

연구진은 그래프 안정기와 프로토타입 재앵커링이라는 두 구성 요소가 함께 작동할 때 가장 효과적이라는 것을 발견했습니다. 안정기는 영상 프레임이 혼란스러워지는 것을 막아주었고, 재앵커링은 행동 정의가 영상과 동기화되도록 보장했습니다. 특히 복잡하고 불균형한 행동 지속 시간을 가진 데이터셋에서는 할당 인지적 바리센터 업데이트를 사용하는 D-CLOTB 변형이 가장 견고한 성능을 보였습니다.

이것이 중요한 이유

이 논문은 컴퓨터가 인간의 도움 없이 트림되지 않은(untrimmed) 영상을 진정으로 이해하려면, 자신이 보고 있는 영상의 선명도에 맞춰 내부의 행동 "사전"을 끊임없이 업데이트해야 한다는 점을 시사합니다. 단순히 영상을 정교하게 만드는 것만으로는 부족합니다. 당신이 찾고자 하는 대상의 정의 또한 정교하게 만들어야 합니다.

이중 루프 메커니즘을 도입함으로써, 연구진은 비지도 행동 분할이 특히 AI를 곤혹스럽게 만드는 까다롭고 짧으며 드문 행동들에 대해 훨씬 더 신뢰할 수 있게 될 수 있음을 보여주었습니다. 그들은 단순히 숫자를 조정한 것이 아니라, 이러한 시스템이 학습하는 방식의 근본적인 구조적 문제를 해결했습니다. 비록 매우 정교한 Assembly101 데이터셋에 대해서는 여전히 개선의 여지가 남아 있지만, D-CLOT은 기계가 한 프레임씩 세상을 관찰하고 이해하는 방식을 위한 새로운 기준을 세웠습니다.