OnPoint: Offline-to-Online Multi-Level Distillation for Point-Supervised Online Temporal Action Localization

기술 요약: OnPoint: 포인트 감독 기반 온라인 시계열 행동 로컬라이제이션을 위한 오프라인-투-온라인 멀티 레벨 증류(Distillation)

문제 정의: 포인트 감독 기반 온라인 TAL (POTAL)

본 논문은 시계열 행동 로컬라이제이션(Temporal Action Localization, TAL)의 핵심적인 격차를 다룹니다: 바로 레이블 효율성과 온라인 추론 제약 조건의 교차점입니다. 기존의 TAL 방법들은 일반적으로 조밀한 시계열 경계 주석(boundary annotations)과 전체 비디오 시퀀스에 대한 오프라인 접근 권한에 의존하며, 이는 확장성을 제한하고 스트리밍 시나리오(예: 라이브 스포츠 분석, 수술 보조, 로보틱스)에서의 배포를 방해합니다. 반대로, 온라인 TAL(OnTAL) 방법들은 스트리밍 환경에서 작동하지만, 획득 비용이 높은 세그먼트 수준의 감독(supervision)을 필요로 합니다.

저자들은 다음과 같은 **포인트 감독 기반 온라인 TAL (POTAL)**이라는 새로운 태스크 설정을 도입합니다:

1. 감독의 희소성: 학습 시에는 전체 경계 정보 대신, 각 행동 인스턴스당 단 하나의 시계열 포인트(타임스탬프)와 클래스 레이블만을 사용합니다.
2. 엄격한 온라인 추론: 모델은 스트리밍 비디오를 프레임 단위로 처리해야 하며, 미래의 컨텍스트에 접근하거나 과거의 결정을 수정할 수 없는 상태에서 예측을 수행해야 합니다.

핵심 과제는 포인트 레이블만으로 온라인 모델을 학습시키는 것이 경계 힌트의 부재와 행동의 범위를 정의하는 데 필요한 미래 컨텍스트의 부재로 인해 본질적으로 어렵다는 점입니다.

방법론: OnPoint 프레임워크

POTAL을 해결하기 위해, 저자들은 오프라인-투-온라인 멀티 레벨 증류(distillation) 프레임워크인 OnPoint를 제안합니다. 이 시스템은 (전체 비디오에 접근 가능한) 포인트 감독 기반 오프라인 교사(teacher) 모델을 사용하여 (스트리밍 윈도우를 처리하는) 엄격한 온라인 학생(student) 모델을 가이드합니다. 교사는 학생이 과거 및 현재 프레임만을 사용하여 모방할 수 있도록 구조화된 감독 신호를 생성합니다.

프레임워크는 네 가지 주요 기술적 구성 요소로 이루어져 있습니다:

1. 멀티 레벨 증류 신호 (Multi-Level Distillation Signals)

교사는 세 가지 상호 보완적인 신호를 통해 지식을 전달합니다:

• 인스턴스 레벨 의사 증류 (Instance-Level Pseudo-Distillation): 오프라인 교사는 희소한 포인트 레이블로부터 의사 세그먼트 정답(시작/종료 경계)을 생성합니다. 이 의사 레이블은 학생의 앵커 기반 인스턴스 예측 모듈을 감독하며, 학생이 포인트만으로는 유추할 수 없는 구조화된 경계 가이드를 제공합니다.
• 클래스 활성화 하위 시퀀스 (CASS) 증류: 시간적 표현력을 높이기 위해, 학생은 슬라이딩 윈도우 내의 프레임 단위 예측을 교사의 클래스 활성화 시퀀스(CAS)와 정렬합니다. 이 조밀한 프레임 단위 감독은 학생의 백본이 미래 컨텍스트 없이도 미세한 행동 전환을 포착하는 능력을 강화합니다.
• 예측 윈도우 레벨 증류 (Anticipatory Window-Level Distillation): 누락된 미래 컨텍스트를 보완하기 위해, 교사의 CAS는 다음 윈도우에서 발생할 행동의 가능성을 예측하는 데 사용됩니다. 이 "미래 지식"은 학생의 예측 헤드(anticipation head)로 증류되어, 모델이 임박한 행동 경계를 향하도록 유도합니다.

2. 액션니스 기반 어텐션 캘리브레이션 (Actionness-Guided Attention Calibration)

표준 앵커 기반 디코더는 명시적인 액션 사전 지식(prior)이 부족한 경우가 많습니다. OnPoint는 트랜스포머 디코더의 어텐션 가중치를 캘리브레이션하는 메커니즘을 도입합니다. 이는 CASS 예측기에서 도출된 액션니스 점수(구체적으로 배경 확률의 역수)를 활용하여 어텐션 로짓(logits)에 편향을 줍니다. 이를 통해 디코더가 액션 가능성이 높은 프레임을 강조하고 배경 노이즈를 억제하도록 강제하여, 앵커 특징의 품질을 개선합니다.

3. 보조 앵커 레벨 포인트 감독 (Auxiliary Anchor-Level Point Supervision)

교사가 생성한 불완전한 의사 레이블로부터 발생하는 오류 전파 위험을 완화하기 위해, 프레임워크는 원래의 정답 포인트 주석을 보조 감독 신호로 직접 포함합니다. 앵커 레벨 포인트 예측 모듈은 앵커가 포인트를 포함하고 있는지 분류하고, 앵커 중심과 포인트 사이의 거리를 회귀(regress)합니다. 이는 약하지만 신뢰할 수 있는 신호를 제공하여 학습을 안정화합니다.

4. 학습 및 추론

• 학습: 온라인 학생은 네 가지 손실 함수(의사 레이블로부터의 인스턴스 레벨 손실, CASS 손실, 예측 손실, 포인트 예측 손실)의 가중 결합을 사용하여 학습됩니다.
• 추론: 오프라인 교사는 폐기됩니다. 온라인 학생은 슬라이딩 윈도우를 처리하고, 앵커 디코더를 통해 프로포절(proposals)을 생성하며, 탐지 즉시 행동 세그먼트를 출력하기 위해 온라인 비최대 억제(Online Non-Maximum Suppression, ONMS)를 적용합니다.

주요 기여

1. POTAL 태스크 정식화: 엄격한 온라인 추론 제약과 포인트 수준의 감독을 동시에 적용하며, 평가 프로토콜과 베이스라인을 갖춘 최초의 시계열 행동 로컬라이제이션 태스크 정의입니다.
2. OnPoint 프레임워크: 포인트 감독 하의 TAL을 위한 최초의 오프라인-투-온라인 증류 프레임워크입니다. 이는 멀티 레벨 증류(의사 세그먼트, CASS, 예측)를 통해 전체 비디오 컨텍스트와 스트리밍 제약 사이의 간극을 독특하게 메웁니다.
3. 새로운 아키텍처 구성 요소:
   • CASS 증류: 미세한 시간적 가이드를 위해 CAS 기반 증류를 온라인 파이프라인에 최초로 통합했습니다.
   • 윈도우 레벨 예측: 오프라인 시간적 컨텍스트를 기반으로 다가올 행동을 예측하도록 온라인 모델을 가르치는 맞춤형 증류 메커니즘입니다.
   • 액션니스 캘리브레이션 디코딩: 미래 프레임이 없는 상황에서 앵커 특징을 정제하기 위해 액션니스 점수를 사용하는 새로운 어텐션 메커니즘입니다.
4. 강건성 메커니즘: 노이즈가 있는 의사 레이블에 대해 학습을 안정화하기 위해 직접적인 앵커 레벨 포인트 감독을 도입했습니다.

실험 결과

저자들은 다섯 가지 데이터셋(THUMOS'14, EGTEA, HOI4D-Office, FineAction, EPIC-Kitchens-100)에서 OnPoint를 평가했습니다.

• 성능: OnPoint는 모든 데이터셋에서 강력한 베이스라인(증류를 사용하지 않는 방식 및 전체 감독을 사용하여 학습된 다른 온라인 방식 포함)을 일관되게 능가했습니다.
  • THUMOS'14에서, OnPoint는 최상의 베이스라인 대비 평균 **4.8%**의 mAP 이득을 달тей하며 **61.9%**의 평균 mAP(tIoU 0.1–0.5)를 달성했고, 여러 완전 감독 기반 온라인 방법들을 넘어섰습니다.
  • EGTEA 및 HOI4D-O에서도 각각 베이스라인 대비 3.4% 및 **2.3%**의 일관된 이득을 보였습니다.
• 어블레이션 연구 (Ablation Studies): 세 가지 증류 신호(CASS, 예측, 인스턴스 레벨) 중 하나라도 제거하면 성능 저하가 발생하여, 멀티 레벨 접근 방식의 필요성을 입증했습니다. 액션니스 캘리브레이션 어텐션 메커니즘만으로도 **2.0%**의 성능 향상에 기여했습니다.
• 강건성: 앵커 레벨 포인트 감독이 활성화되었을 때, 모델은 교사의 의사 레이블에 존재하는 노이즈에 대해 탄력성을 보여주었으며, 증류를 사용하지 않는 변형 모델이 실패하는 지점에서도 안정성을 유지했습니다.
• 효율성: 온라인 모델은 계산 효율적입니다(93M 파라미터, RTX 4090 기준 약 312 FPS). 이는 HAT 또는 MATR와 같은 무거운 모델들과 비교했을 때 속도와 정확도 사이의 유리한 균형을 제공합니다.

의의 및 주장

본 논문은 OnPoint를 POTAL 연구를 위한 견고한 토대로 자리매김합니다. 저자들은 포인트 주석의 레이블 효율성과 온라인 스트리밍의 엄격한 인과 관계 제약을 성공적으로 연결한 최초의 연구라고 주장합니다.

저자들은 대규모 멀티모달 모델(LLM)이 자동 레이블 생성을 위해 테스트되었으나, 정밀한 시계열 로컬라이제이션에서는 (교사의 ~90% mAP에 비해 약 29% mAP만을 달성하며) 신뢰할 수 없음을 강조했습니다. 반면, OnPoint는 약한 인간 포인트 레이블로 학습된 태스크 특화 오프라인 교사가 온라인 학생에게 효과적으로 지식을 전달할 수 있음을 보여주며, 과도한 주석 비용 없이도 확장 가능한 실시간 행동 로컬라이제이션을 가능하게 합니다. 이 연구는 적절한 증류 아키텍처가 갖춰진다면 최소한의 감독만으로도 고성능 온라인 TAL이 가능하다는 것을 입증합니다.