기술 요약: AIDE – 증류된 전문 지식을 통한 참조 없는 운동 기술 코칭 자동화 (Automated Instruction via Distilled Expertise for Reference-Free Motor Skill Coaching)

문제 정의

운동 기술에 대해 구체적이고 실행 가능한 자연어 코칭 피드백을 생성하는 것은 스포츠에서 재활에 이르는 다양한 영역에서 매우 중요하지만, 전문가 코치에 대한 접근성은 희소성과 비용 문제로 인해 제한적이다. 최근의 동작 품질 평가(AQA) 기술은 자동 점수 산출을 가능하게 하고, 포즈 추정(pose estimation)은 신뢰할 수 있는 골격 표현을 제공하지만, 개방형 텍스트 피드백을 생성하는 방법론은 거의 없다. 기존의 참조 기반 방식(예: ExpertAF, CoachMe)은 학습자와 전문가의 포즈를 비교하기 위해 훈련 및 추론 시 모두 전문가 시연 영상이 필요하다. 이러한 의존성은 실제 환경 배포 시 모든 학습자의 시도에 대해 일치하는 전문가 시연을 확보하는 것이 불가능할 수 있다는 실질적인 병목 현상을 야기한다. 반면, 참조가 없는 방식(reference-free methods)은 고품질의 구체적인 피드백을 생성하는 데 필요한 비교 지식이 부족하다.

방법론: AIDE 프레임워크

저자는 특권 정보 활용 학습(Learning Using Privileged Information, LUPI) 패러다임에 기반한 AIDE (Automated Instruction via Distilled Expertise) 프레임워크를 제안한다. LUPI는 추가 정보(전문가 참조)가 훈련 시에는 가용하지만 추론 시에는 부재하는 설정을 공식화한다. AIDE는 고정된 대규모 언어 모델(LLM)을 백본으로 사용하여 두 단계로 작동하며, 포즈 유래 토큰은 경량 커넥터(Perceiver Resampler)를 통해 주입된다.

1단계: 교사 모델 훈련 (Teacher Model Training)

교사 모델은 쌍을 이룬 학습자($V$)와 전문가($\bar{V}$)의 포즈 시퀀스로 훈련된다.

• 포즈 인코더 (Pose Encoder): 공유 인코더(MLP + Perceiver Resampler)가 두 시퀀스를 처리하여 고정된 길이의 토큰 시퀀스를 생성한다.
• 토큰 분리 (Token Separation): 모델은 두 개의 별도 토큰 시퀀스를 생성한다:
  1. 학습자 토큰 ($z$): 학습자의 포즈로부터 인코딩됨.
  2. 차이 토큰 ($z_\Delta$): 요소별 뺄셈을 통해 계산됨: $z_\Delta = \text{Enc}(V) - \text{sg}(\text{Enc}(\bar{V}))$, 여기서 $\text{sg}$는 스톱 그래디언트(stop-gradient) 연산자를 의미한다. 이는 전문가 브랜치가 고정된 참조 역할을 하도록 보장한다.
• 생성 (Generation): LLM은 결합된 시퀀스 $[z; z_\Delta]$를 수신하고 구조화된 피드백(요약, 개선 부분, 잘된 부분)을 생성한다. 오직 포즈 인코더 파라미터만 업데이트되며, LLM은 동결(frozen) 상태를 유지한다.

2단계: 학생 모델 추론 (Student Model Inference)

학생 모델은 추론 시 전문가 참조 없이 작동하도록 설계되었다.

• 아키텍처: 학생 모델은 교사의 동결된 인코더 가중치($\theta^*_{enc}$)를 재사용하여 학습자 토큰($z$)을 생성한다.
• 보조 잠재 모듈 (Auxiliary Latent Module, ALM): 명시적인 차이 계산을 ALM($\theta_{aux}$)으로 대체하며, 이 모듈은 오직 학습자의 포즈($V$)만을 입력으로 받는다. ALM은 교사의 가중치로 초기화되며, 포즈 인코더(MLP + Resampler)와 동일한 아키텍처를 공유한다.
• 암묵적 지식 전이 (Implicit Knowledge Transfer): 학생 모델은 $[z; z_{aux}]$로부터 피드백을 생성한다. 결정적으로, 명시적인 증류 손실(distillation loss)(예: $\|z_{aux} - z_\Delta\|^2$ 최소화)은 적용되지 않는다. ALM은 구조적으로 제약된 교사의 차이 토큰을 모방하기보다는 최종 태스크에 적합한 표현을 학습할 수 있도록 자유롭게 설계되었다.
• 훈련 목적 함수 (Training Objective): 학생 모델은 정답 피드백에 대한 생성 손실($\mathcal{L}_{gen}$)만을 사용하여 훈련된다.

주요 기여

1. 코칭 피드백을 위한 LUPI 적용: 이는 코칭 피드백 분야에 LUPI 패러다임을 적용한 첫 사례이다. AIDE는 훈련 시에만 전문가 참조를 활용함으로써, 추론 시 매칭되는 전문가 시연이 필요 없도록 한다.
2. 암묵적 지식 전이: 본 논문은 인코더 공유와 가중치 초기화만으로도 교사로부터 학생에게 지식을 전달하기에 충분함을 입증한다. 이 방식은 명시적인 증류 손실 없이도 참조가 없는 베이스라인보다 우수한 성능을 보이며, 참조가 필요한 방식과 대등한 성능을 보여준다.
3. 토큰 분리 아키텍처: 학습자와 차이 토큰을 별도의 시퀀스로 유지함으로써, 프레임워크가 모듈형 지식 전이를 가능하게 한다. 학생 모델은 학습자 표현을 온전히 유지하면서 차이 경로만을 학습된 보조 모듈로 교체한다.

실험 결과

실험은 ExpertAF 데이터셋을 활용하여 농구(주요) 및 축구(보조) 서브셋에 대해 수행되었다.

• 베이스라인 대비 성능:

  • AIDE는 농구의 모든 지표에서 Learner-Only 베이스라인(훈련 및 추론 시 전문가 데이터가 없는 모델)보다 우수한 성능을 보였다 (ROUGE-L +1.6, 부분 예측을 위한 가중 F1 +5.9).
  • AIDE는 전문가 참조가 추론 시에도 필요한 Learner+Expert 교사와 구현된 CoachMe 베이스라인과 대등한 성능을 보였다. 예를 들어, 농구에서 AIDE는 ROUGE-L 22.3을 기록하여 Learner+Expert(21.7) 및 CoachMe(21.8)와 유사한 성과를 냈다.
  • 축구의 경우, AIDE는 Learner-Only(ROUGE-L 17.6)에 비해 상당한 텍스트 품질 향상(ROUGE-L 26.3)을 보였으나, 작은 훈련 데이터 크기로 인해 부분 예측 지표는 다소 낮게 나타났다.

• LLM 기반 평가: 두 개의 독립적인 심사위원(Claude Sonnet 4.6 및 Qwen3.5-9B)을 이용한 쌍별(pairwise) 평가 결과, AIDE가 정확성과 구체성 측면에서 Learner-Only보다 선호됨을 확인했다. AIDE는 Learner+Expert 및 CoachMe와 거의 대등한 승률을 기록하며, 추론 시의 참조를 암묵적 지식 전이로 대체할 수 있다는 주장을 뒷받침했다.

• 용량 제어 (Capacity Control): 절제 연구(Ablation studies)를 통해 AIDE의 성능 향상이 모델 용량 증가에 의한 것이 아님을 확인했다. Learner-Only 베이스라인의 토큰 수를 두 배로 늘려도 이와 같은 개선이 나타나지 않았으며, 학생 모델의 성공은 원시 파라미터 수가 아닌 인코더 공유 및 초기화라는 특정 메커니즘에 의존함을 입증했다.

의의 및 주장

본 논문은 AIDE가 매번 학습자의 시도마다 전문가 시연을 요구해야 하는 배포 장벽을 제거함으로써, 운동 기술 코칭을 위한 실질적인 경로를 제공한다고 주장한다. 핵심 발견은 암묵적 전이(명시적인 증류 손실 없이 공유 인코더 가중치와 초기화를 통해 달성됨)를 통해 참조가 없는 모델이 참조가 필요한 방식과 대등하게 수행될 수 있다는 것이다.

저자는 AIDE가 자원이 부족한 환경에서 코칭에 대한 접근성을 민주화한다고 강조한다. 원시 비디오 프레임(7,000개 토큰) 대신 포즈 시퀀스(1632개 토큰)로 입력을 줄이고, 전문가 추론 데이터의 필요성을 제거함으로써, AIDE는 계산 효율적이고 배포 가능한 솔루션을 제공한다. 또한, (요약, 개선점, 잘된 부분)으로 구성된 구조화된 출력 형식은 도메인 전문가의 해석 없이도 학습자에게 직접 실행 가능한 정보를 제공하도록 설계되었다.

저자는 데이터가 적은 환경(축구)에서의 부분 예측 성능 저하와 실세계 배포 시 포즈 추정 노이의 영향 등 한계점에 대해서도 겸허히 언급하며, 향후 다른 도메인으로의 일반화 및 검증이 필요함을 명시하였다.