💻 computer science

MoAKE: Toward Unified All-in-One Action Quality Assessment via Mixture of Action Knowledge Experts

본 논문은 세그먼트 인식 전문가 지식을 동적으로 집계하고 다중 입도(multi-granularity)의 시간적 역학을 모델링함으로써, 기존의 일대일 패러다임의 한계를 극복하고 올인원(all-in-one), 제로샷(zero-shot), 퓨샷(few-shot) 시나리오에서 우수한 성능을 달나하는 방식으로 다양한 동작 유형에 대한 동작 품질 평가를 단일 모델 내로 통합하는 새로운 혼합 동작 지식 전문가(MoAKE, Mixture of Action Knowledge Experts) 프레임워크를 소개한다.

원저자: Huangbiao Xu, Huanqi Wu, Xiao Ke, Jiaxin Cai, Junyi Wu, Jinglin Xu

게시일 2026-07-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Huangbiao Xu, Huanqi Wu, Xiao Ke, Jiaxin Cai, Junyi Wu, Jinglin Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 올림픽 체조부터 외과 수술, 심해 다이빙에 이르기까지 온갖 종목이 펼쳐지는 거대하고 혼란스러운 장기자랑의 심사위원이라고 상상해 보십시오. 옛날 방식대로라면, 체조 선수를 채점하기 위해 체조 전문가를 고용하고, 다이버를 위해 다이빙 전문가를, 외과 의사를 위해 의료 전문가를 고용해야 했을 것입니다. 종목마다 규칙, 동작, 그리고 '좋음'의 기준이 완전히 다르기 때문에 매 종목마다 서로 다른 심사위원이 필요했습니다. 이것이 과거 컴퓨터가 비디오 동작을 판독하던 방식이었습니다. 즉, 모든 종류의 움직임을 학습하기 위해 각각 별도의 전문화된 두뇌가 필요했던 것입니다. 하지만 만약 당신이 피겨 스케이터의 회전이든 다이버의 공중제비든, 어떤 비디오를 보더라도 미리 그 종목이 무엇인지 알 필요 없이 인간 전문가처럼 공정하게 점수를 줄 수 있는 단 하나의 똑똑한 심사위원을 원한다면 어떨까요? 그것이 바로 '동작 품질 평가(Action Quality Assessment, AQA)'라는 분야의 꿈입니다. 이는 컴퓨터에게 비디오를 보고 인간 전문가처럼 "9.5점 만점에 9.5점입니다"라고 말하는 법을 가르치는 분야입니다. 가장 큰 문제는 이러한 서로 다른 기술들을 한데 섞으면 컴퓨터가 혼란을 느껴, 마치 물고기에게 날기를 가르치고 새에게 수영을 동시에 가르치려 할 때처럼 모든 면에서 성능이 저하된다는 점입니다.

여기에 MoAKE라는 새로운 프레임워크가 등장했습니다. 이는 '동작 지식 전문가들의 혼합(Mixture of Action Knowledge Experts)' 역할을 합니다. 하나의 거대한 뇌에 모든 것을 억지로 학습시키는 대신, MoAKE는 공유된 사무실에서 함께 일하는 전문화된 전문가 팀을 구축합니다. 각자가 특정 스타일에 능통한 심사위원 패널을 상상해 보십시오. 예를 들어, 한 명은 리듬 체조를 사랑하고, 다른 한 명은 피겨 스케이트를 잘 알며, 세 번째 한 명은 아티스틱 스위밍을 이해하는 식입니다. 비디오가 들어오면, 영리한 '라우터(router, 빠른 판단력을 가진 무대 감독 같은 역할)'가 비디오를 살펴보고 어떤 전문가가 의견을 낼지 결정합니다. 화면에 체조 선수가 등장하면 체조 전문가가 크게 목소리를 높이고, 나머지 전문가들은 조용히 경청합니다. 하지만 여기서 마법 같은 일이 일어납니다. 그들은 단순히 혼자 일하는 것이 아닙니다. 그들은 공통된 언어로 서로의 노트를 공유하며, 서로의 움직임의 미묘한 차이를 이해하도록 돕습니다. 이를 통해 시스템은 다양한 스포츠의 '소음'을 유익한 지식의 합창으로 바꾸어, 서로 다른 동작들이 뒤섞인 혼란스러운 상황에서도 혼란 없이 처리할 수 있습니다.

연구진은 이 '올인원(all-in-one)' 모델이 놀라울 정도로 효과적이라는 것을 발견했습니다. 연구진이 세 가지 장기 스포츠 데이터셋(리듬 체조, 피겨 스케팅, 아티스틱 스위밍)에 대해 이 '올인원' 모델을 테스트했을 때, 이 모델은 기존의 '종목당 한 명의 심사위원' 방식과 대등할 뿐만 아니라 오히려 그들을 능가했습니다. 실제로, 이 새로운 모델은 이 전문가 팀 없이 단일 모델로 모든 것을 배우려고 했을 때와 비교하여 순위 정확도를 평균 약 4.7% 향상시켰으며, 점수 오차를 무려 34.4%나 줄였습니다. 더욱 인상적인 것은, 모델을 다이빙, 스키, 수술과 같이 완전히 새로운 미지의 동작(제로샷 테스트라고 불리는 것)에 던져 넣었을 때도 모델이 무너지지 않았다는 점입니다. 모델은 해당 영상을 본 적이 없음에도 불구하고 준수한 점수를 부여해 냈으며, 이는 전문가들이 다양한 세계에 적용되는 일반적인 움직임의 규칙을 학습했음을 증명합니다.

그 비결은 MoAKE가 복잡한 시간적 세부 사항을 처리하는 방식에 있습니다. 비디오는 모두 길이가 같지 않습니다. 체조 루틴은 2분일 수 있고, 수술 영상은 10분일 수도 있습니다. MoAKE는 '세그먼트 인식 시간적 집계(Segment-Aware Temporal Aggregation)'라는 영리한 기법을 사용하여, 이 비디오들을 관리 가능한 표준 크기의 덩어리로 잘게 나눕니다. 마치 긴 영화를 짧고 동일한 장면들로 나누어 전문가들이 공정하게 비교할 수 있게 만드는 것과 같습니다. 그런 다음, AIISRM(Adaptive Intra- and Inter-Segment Relationship Modeling)이라는 특별한 모듈을 사용하여 이 장면들이 어떻게 연결되는지 연구합니다. 이 모듈은 단일 장면 내부에서 일어나는 일(예: 스케이터의 팔 위치)과 장면들이 서로 어떻게 연결되는지(예: 점프에서 착지로 이어지는 흐름)를 모두 살핍니다. 다양한 수준의 세부 사항에서 이러한 관계를 모델링함으로써, 전문가들은 단순한 모델이 놓칠 수 있는 아주 작은 실수까지 잡아낼 수 있습니다.

논문은 기존의 컴퓨터 모델을 가져와서 아무런 특별한 도움 없이 모든 스포츠에 대해 동시에 학습시킬 수 있다는 생각을 명시적으로 배제합니다. 저자들은 이러한 '나이브(naive)'한 방식이 '부정적 전이(negative transfer)'를 초래한다는 것을 보여주었습니다. 즉, 한 스포츠의 지식이 다른 스포츠의 성능을 해쳐서 일부 테스트에서는 성능이 10% 이상 급격히 떨어지는 현상이 발생했습니다. 또한 저자들은 모든 동작 유형에 대해 별도의 모델이 필요하다는 생각에도 반박하며, 이러한 '하나씩 처리하는' 방식은 수천 개의 서로 다른 비디오가 존재하는 실제 환경에서 사용하기에는 너무 경직되어 있고 비용이 많이 든다는 점을 보여주었습니다.

요약하자면, MoAKE는 혼란스럽게 뒤섞인 동작들을 심사하는 최선의 방법은 더 크고 멍청한 뇌를 만드는 것이 아니라, 서로 대화할 줄 아는 똑똑한 전문가 팀을 구성하는 것임을 시사합니다. 여섯 가지 데이터셋을 통해 측정된 결과는, 이 팀 접근 방식이 서로 다른 스포츠를 혼합할 때 발생하는 문제를 해결할 뿐만 아니라, 미지의 새로운 동작을 판단하는 데도 놀라울 정도로 뛰어난 능력을 갖춘 시스템을 만든다는 것을 보여줍니다. 이는 단 하나의 AI가 어떤 경기장에든 걸어 들어가, 어떤 퍼포먼스를 보든, 그 동작이 무엇이든 상관없이 공정하고 전문가 수준의 점수를 줄 수 있는 미래를 향한 한 걸음입니다.

기술 요약: MoAKE – 통합된 올인원 동작 품질 평가(All-in-One Action Quality Assessment)를 향하여

1. 문제 정의

동작 품질 평가(Action Quality Assessment, AQA)는 동작 비디오로부터 모션 시맨틱스(motion semantics)를 전문가가 제공한 점수로 매핑하는 법을 학습함으로써 동작의 수행 품질을 객관적으로 평가하는 것을 목표로 합니다. 최근의 발전은 특정 도메인(예: 스포츠, 의료 재활)에서 성능을 개선해 왔으나, 기존 방법론들은 주로 "one-by-one" 패러다임을 따릅니다. 이 설정에서는 각 특정 동작 유형에 대해 별도의 모델을 학습시키고 배포해야 합니다.

이러한 파편화는 실제 현장 배포에 상당한 장벽을 만듭니다:

사전 지식(Priors)에 대한 의존성: 올바른 모델을 선택하기 위해 신뢰할 수 있는 메타데이터(알려진 동작 유형)가 필요하며, 이는 오픈 도메인 플랫폼에서는 종종 가용하지 않습니다.
일반화 능력 부족: 수동 개입 없이 이질적이거나 혼합된 동작을 처리해야 하는 콘텐츠 불가지론적(content-agnostic) 서비스를 저해합니다.
리소스 집약적 구조: 새롭거나 희귀한 동작마다 고용량 모델을 유지하는 것은 데이터 및 연산 비용이 많이 듭니다.

본 논문은 서로 다른 동작 유형 간의 상당한 **시맨틱 불일치(semantic discrepancies)**를 '올인원(All-in-One) AQA'(이질적인 동작을 위한 단일 통합 모델) 패러다임으로 나아가는 데 있어 핵심적인 과제로 식별합니다. 다양한 동작에 대해 단일 모델을 단순히 학습시키는 것은 **"부정적 전이(negative transfer)"**를 초래할 수 있으며, 이는 서로 상충하는 동작 패턴이 서로를 방해하여 성능을 크게 저하시키는 현상입니다(베이스라인 실험에서 평균 Spearman 상관계수(SRCC)가 약 10% 하락하는 것으로 관찰됨).

2. 방법론: MoAKE 프레임워크

다양한 도메인 간의 보완적인 지식을 활용하면서도 부정적 전이를 해결하기 위해, 저자들은 **MoAKE (Mixture of Action Knowledge Experts)**를 제안합니다. 이 프레임워크는 공유된 시맨틱 공간 내에서 여러 특화된 전문가들의 지식을 동적으로 융합하도록 설계되었습니다.

2.1 개요 및 소프트 라우팅(Soft Routing)

파라미터 스케일링을 위해 토큰 레벨의 희소 라우팅(sparse routing)에 의존하는 전통적인 Mixture-of-Experts(MoE) 설계와 달리, MoAKE는 경량화된 설계를 통해 **매크로 동작 레벨(macro action level)**에서 작동합니다.

입력: 비디오 스니펫으로부터 시각적 특징 $X$ 를 추출합니다.
소프트 라우터(Soft Router): 경량 라우터 $R(\cdot)$ 은 입력 특징을 기반으로 가중치 집합 $\{w_k\}$ 를 동적으로 계산합니다. 하드 라우팅과 달리, 이 소프트 라우팅 메커니즘은 보완적인 지식을 적응적으로 혼합하여 시맨틱 격차를 긍정적 전이로 전환합니다.
특징 융합(Feature Fusion): 최종 혼합 특징 $F_{mix}$ 는 $K$ 개의 서로 다른 전문가 출력의 가중 합입니다: $F_{mix} = \sum w_k F_k$ .

2.2 동작 지식 전문가 (Action Knowledge Experts)

각 전문가 $E_k$ 는 표준 피드 포워드(feed-forward) MoE 전문가와는 다르게, AQA의 독특한 시간적 요구사항을 처리하도록 맞춤 설계되었습니다.

공유 어댑터(Shared Adapter): 동작 품질에 대한 "공통 언어"를 장려하기 위해, 특징들을 공유 다층 퍼셉트론(MLP)을 사용하여 공유 시맨틱 공간으로 투영합니다.
세그먼트 인식 시간적 집계(Segment-Aware Temporal Aggregation, SATA): 가변 길이의 동작 비디오를 처리하기 위해, 각 전문가는 학습 가능한 세그먼트 인식 프로토타입( $P_k$ )을 사용합니다. Q-Former 스타일의 교차 주의 집중(cross-attention) 메커니즘을 사용하여, 이 프로토타입들은 가변 길이의 입력을 고정 길이 표현( $N$ 개 토큰)으로 증류하여 시간적 변동을 정규화합니다.
적응형 세그먼트 내/간 관계 모델링(Adaptive Intra- and Inter-Segment Relationship Modeling, AIISRM): 이 혁신적인 모듈은 세 가지 병렬 브랜치를 통해 다중 입도(multi-granularity)의 시간적 역학을 포착합니다:
- 세그먼트 내 글로벌(Intra-Segment Global): 자기 주의 집중(self-attention)을 사용하여 특징 차원을 따라 글로벌 상관관계(예: 속도나 자세의 진화)를 모델링합니다.
- 세그먼트 간 로컬(Inter-Segment Local): 커널 크기 (1, 3, 5)를 가진 1D 컨볼루션을 사용하여 하위 동작 간의 로컬 시간적 상관관계를 모델링하며, 주의 집중 가중치를 통해 동적으로 융합됩니다.
- 세그먼트 간 글로벌(Inter-Segment Global): 자기 주의 집중을 적용하여 먼 세그먼트 간의 관계를 파악하고, 전체적인 리듬과 일관성 같은 장거리 의존성을 포착합니다.
- 출력은 차별적인 특성을 보존하기 위해 잔차 연결(residual connections)과 함께 집계됩니다.

2.3 점수 예측 및 최적화

등급 인식 디코더(Grade-Aware Decoder): 혼합된 특징은 학습 가능한 등급 쿼리(grade queries)를 사용하는 트랜스포머 디코더에 의해 처리되어 등급 인식 표현을 생성하며, 이는 MLP를 통해 최종 점수로 매핑됩니다.
손실 함수(Loss Function): 모델은 다음의 복합 손실로 최적화됩니다:
- $\mathcal{L}_{score}$ : 최종 점수 및 보조 점수에 대한 MSE 손실 (전문가의 특성화를 유도하기 위함).
- $\mathcal{L}_{route}$ : 라벨 스무딩(label smoothing)이 적용된 소프트 교차 엔트로피 손실로, 전문가를 엄격하게 격리하지 않으면서 라우터를 가이드합니다.
- $\mathcal{L}_{div}$ : 등급 표현이 구별된 품질 수준을 포착하도록 보장하는 다양성 손실(diversity loss, triplet loss)입니다.

3. 벤치마크 및 실험 설정

저자들은 올인원(All-in-One) 및 제로/퓨샷(Zero/Few-shot) AQA를 평가하기 위한 종합적인 벤치마크를 구축했습니다:

올인원 학습(All-in-One Training): 세 가지 장기(long-term) 데이터셋인 리듬 체조(RG), 피겨 스케이팅(Fis-V), 아티스틱 스위밍(LOGO)에서 학습되었습니다.
제로/퓨샷 평가(Zero/Few-Shot Evaluation): 세 가지 단기(short-term) 데이터셋인 다이빙(MTL-AQA), 스키/스노보드(AQA-7), 수술(JIGSAWS)에서 평가되었습니다.
- 제로샷(Zero-shot): 파라미터 업데이트 없이 직접 평가합니다.
- 퓨샷(Few-shot): 데이터의 5~10%에 대해 전체 네트워크 파인 튜닝을 수행합니다.
지표: Spearman 순위 상관계수(SRCC) 및 상대적 L2 거리(R- $\ell_2$ )를 사용합니다.

4. 주요 결과

6개의 데이터셋에 대한 광범ful한 실험은 MoAKE의 우수성을 입증합니다:

올인원 성능: MoAKE는 올인원 설정에서 기존의 최첨단(SOTA) 방법들(예: GDLT, HGCN, T²CR, PAMFN, CoFInAl, ASGTN)을 크게 능가합니다. 특히, 평균 SRCC 0.753을 달성하여 강력한 조건부 베이스라인(0.718)을 넘어섰으며, 심지어 표준 "one-by-one" 패러다임으로 학습된 SOTA 모델들보다 뛰어난 성능을 보였습니다(평균 SRCC 1.2% 향상 및 R- $\ell_2$ 28.9% 감소).
일반화 능력: 제로샷 시나리오에서 MoAKE는 훨씬 높은 SRCC(예: 다이빙에서 0.207인 최고 베이스라인 대비 0.319 달성)와 낮은 에러율을 기록하며, 보지 못한 동작 유형에 대한 강력한 일반화 능력을 보여주었습니다.
효율성: MoE 아키텍처에도 불구하고, MoAKE는 실용적인 연산 비용(8.01M 파라미터, 1.44G FLOPs)을 유지하여 대규모 MoE에서 흔히 나타나는 거대한 파라미터 팽창을 피했습니다.
절제 연구(Ablation Studies): 소프트 라우터를 제거하면 성능이 급격히 저하(SRCC 30% 감소)되어, 적응형 혼합의 필요성을 확인했습니다. 또한 AIISRM 모듈과 SATA 메커니즘 역시 다중 입도 시간적 역학을 포착하는 데 결정적임이 입증되었습니다.

5. 의의 및 주장

본 논문은 단일 프레임워크 내에서 여러 동작 유형을 평가할 수 있게 함으로써 AQA의 새로운 방향을 개척했다고 주장합니다.

패러다임의 전환: 파편화된 "one-by-one" 접근 방식에서 벗어나 확장 가능하고 콘텐츠 불가지론적인 "올인원" 솔루션으로 이동하여, 오픈 도메인 플랫폼과 저자원 시나리오의 실질적인 요구를 해결합니다.
긍정적 전이: 본 연구는 동작 지식 전문가 혼합(Mixture of Action Knowledge Experts)을 통해 시맨틱 다양성의 과제를 긍정적 지식 전이의 기회로 전환할 수 있음을 보여주며, 부정적 전이를 효과적으로 완화합니다.
기초적 표현(Foundational Representation): 제안된 프레임워크는 기존 방법들이 실패했던 제로샷 및 퓨샷 설정에서도 강력한 성능을 발휘할 수 있는 우수한 기초 표현을 제공합니다.
커뮤니티 자원: 올인원 및 제로/퓨샷 AQA를 위한 첫 번째 종합적인 벤치마크를 구축함으로써, 저자들은 이 미개척 분야의 향후 연구를 촉진하고자 합니다.

저자들은 이 방법이 우수한 결과를 보여주지만, 제로샷 시나리오는 여전히 도전적이며, 향-후 연구에서는 일반화 능력을 더욱 높이기 위해 자기지도 학습(self-supervised learning)이나 멀티모달 통합을 탐구할 수 있다고 결론지었습니다.