💻 computer science

Latent Visual Diffusion Reasoning with Monte Carlo Tree Search

본 논문은 정확한 기술 평가와 해석 가능한 단계별 시각적 추론 궤적을 모두 생성함으로써 동작 품질 평가를 향상시키기 위해 키포인트 유도 몬테카를로 트리 탐색(keypoint-guided Monte Carlo Tree Search)을 통합한 새로운 프레임워크인 잠재 시각 확산 추론(Latent Visual Diffusion Reasoning, LVDR)을 제안한다.

원저자: Xirui Teng, Nan Xi, Junsong Yuan

게시일 2026-06-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xirui Teng, Nan Xi, Junsong Yuan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 체조 선수의 복잡한 루틴이나 외과의사의 섬세한 수술 장면을 보고 있다고 상상해 보십시오. 당신은 다음과 같은 궁금증이 생길 것입니다. "방금 정말 잘한 건가?"

현재의 컴퓨터 프로그램들은 영상을 보고 점수(예: 10점 만점에 8.5점)를 줄 수는 있습니다. 하지만 이들은 블랙박스와 같습니다. 점수는 주지만, 왜 그런 점수를 주었는지는 말해주지 않습니다. "체조 선수의 무릎이 너무 일찍 굽혀졌기 때문에 점수가 낮습니다"라거나 "수술 중 의사의 손이 떨렸습니다"라고 말해주지 않습니다. 그저 숫자만 내뱉을 뿐, 인간을 정보의 암흑 속에 남겨둡니다.

이 논문은 단순히 점수만 주는 것이 아니라, 자신의 사고 과정을 단계별로 설명해 주는 초정밀 관찰 코치 역할을 하는 LVDR(Latent Visual Diffusion Reasoning)이라는 새로운 시스템을 소개합니다.

이 시스템이 어떻게 작동하는지 쉬운 비유를 통해 설명해 드리겠습니다.

1. "디노이징(Denoising)" 코치 (디퓨전 부분)

당신이 미스터리를 풀려고 하는데, 사건 현장이 찍힌 아주 흐릿하고 노이즈가 가득한 사진 한 장만 가지고 있다고 상상해 보십시오.

문제점: 영상의 맨 처음(첫 1초)에 컴퓨터는 아는 것이 거의 없습니다. 마치 그 흐릿한 사진을 보는 것과 같습니다. 시스템은 무엇이 일어났는지에 대해 "노이즈"가 섞인 추측만을 가지고 있습니다.
해결책: LVDR 시스템은 **디퓨전(Diffusion)**이라 불리는 과정을 사용합니다. 이것은 탐정이 더러운 창문을 천천히 닦아내는 과정과 같습니다. 영상이 재생됨에 따라, 시스템은 초기의 흐릿한 추측을 프레임 단위로 "정화"합니다.
결과: 영상이 끝날 때쯤이면 "창문"은 수정처럼 맑아집니다. 시스템은 모호한 추측에서 시작하여 정교하고 일관된 이야기로 이해를 정교화합니다. 이를 통해 시스템은 단순히 정지 화면을 보는 것이 아니라, 동작의 흐름을 이해할 수 있게 됩니다.

2. "키포인트(Keypoint) 탐정" (MCTS 부분)

이제 시스템이 상황을 명확히 이해했다면, 어떻게 자신이 왜 그 점수를 주었는지 설명할 수 있을까요? 여기서 **몬테카를로 트리 탐색(MCTS)**이 등장합니다.

축구 경기를 지켜보는 인간 심판을 상상해 보십시오. 심판은 경기장 전체를 한꺼번에 응시하지 않습니다. 그들에게는 전략이 있습니다:

먼저, 선수의 발을 보며 넘어졌는지 확인합니다.
그다음, 균형이 깨졌는지 확인하기 위해 골반을 봅니다.
마지막으로 팔을 체크합니다.

LVDR 시스템도 똑같이 행동하지만, 매우 빠르게 머릿속에서 수천 가지의 "만약에" 시나리오를 실행하는 디지털 탐정입니다.

시스템은 자문합니다: "만약 내가 팔꿈치에 집중한다면 점수가 변할까? 무릎에 집중한다면 어떨까?"
시스템은 최종 점수에 실제로 영향을 미친 가장 중요한 신체 부위(키포인트)를 찾아내기 위해 의사 결정 트리(선택형 모험 소설과 같은 형태)를 구축합니다.
출력: 시스템은 이 특정 신체 부위들을 영상 위에 다양한 색상으로 강조하여 보여줍니다. 만약 무릎이 밝은 빨간색이라면, 이는 시스템이 결정을 내릴 때 무릎에 가장 많은 주의를 기울였다는 것을 의미합니다.

3. 종합: "투명한" 점수

LVDR을 사용하면 두 가지를 얻게 됩니다:

점수: 기존의 블랙박스 모델과 마찬가지로 점수(예: "8.5")를 제공합니다.
추론 경로: 시스템의 사고 과정을 보여주는 시각적 지도를 제공합니다. 당신은 인간 전문가가 몸을 훑는 것처럼, 신체 부위를 가로질러 이동하는 "주의(attention)의 흔적"을 볼 수 있습니다.

어디에서 테스트했나요?

저자들은 이 "슈퍼 코치"를 매우 서로 다른 두 세계에서 테스트했습니다:

스포츠: 농구, 축구, 클라이밍, 그리고 스쿼트와 같은 피트니스 운동.
수술: 로봇 보조 수술 및 백내장 수술.

결과

정확도: 시스템은 기존의 가장 뛰어난 컴퓨터 프로그램들과 대등하거나 혹은 더 높은 정확도로 점수를 부여했습니다.
신뢰도: 기존의 "블랙박스" 모델과 달리, LVDR은 자신의 근거를 보여주었습니다. 연구진이 인간 전문가에게 시스템의 "추론 경로"를 검토해 달라고 요청했을 때, 전문가들은 86%의 확률로 시스템의 판단에 동의했습니다.
증명: 연구진이 시스템이 중요하다고 말한 신체 부위들을 가려서 시스템을 "눈멀게" 만들었을 때, 시스템의 점수 정확도는 크게 떨어졌습니다. 이는 시스템이 단순히 추측하는 것이 아니라, 실제로 올바른 곳을 보고 있었다는 것을 증명합니다.

요약하자면: 이 논문은 컴퓨터가 단순히 수행 능력을 채점하는 법을 넘어, 어떤 신체 움직임이 가장 중요했는지를 정확히 짚어내며 인간처럼 단계적인 사고 과정을 시뮬레이션함으로써 자신의 채점을 설명하는 법을 가르쳐 줍니다.

기술 요약: 몬테카를로 트리 탐색을 이용한 잠재 시각 확산 추론 (Latent Visual Diffusion Reasoning with Monte Carlo Tree Search)

문제 정의

미세한 기술 평가(예: 스포츠 및 수술)는 컴퓨터 비전 분야에서 중요한 과제입니다. 단순한 동작 인식(Action Recognition)이 '어떤' 동작이 일 occurring하는지를 식별하는 것과 달리, 기술 평가는 동작이 '얼마나 잘' 수행되었는지를 평가해야 합니다. 이 작업은 단순한 시각적 패턴 인식을 넘어, 저수준의 운동 역학(motion dynamics)을 고수준의 평가 결과로 연결하는 단계별 시각적 추론을 요구합니다.

최근의 동작 품질 평가(AQA) 모델들은 심층 신경망을 사용하여 강력한 예측 정확도를 달acking 성과를 거두었으나, 대부분 "블랙박스" 형태로 작동합니다. 이러한 모델들은 판단의 근거가 되는 중간 추론 과정을 명시적으로 드러내지 못합니다. 이러한 불투명성은 해석 가능성을 제한하며, 모델 출력에 대한 인간 전문가의 검증이나 실행 가능한 통찰 도출을 방해합니다. 이는 투명성과 신뢰가 필수적인 수술 교육이나 엘리트 선수 훈련과 같은 고위험 영역에서의 배포에 있어 결정적인 장벽이 됩니다.

방법론: 잠재 시각 확산 추론 (Latent Visual Diffusion Reasoning, LVDR)

저자들은 잠재 시각 추론 과정을 모델링하고 시각화하기 위해 설계된 프레임워크인 **잠재 시각 확산 추론(LVDR)**을 제안합니다. 이 프레임워크는 잠재 추론을 위한 확산 기반 생성 모델과 명시적 시각화를 위한 키포인트 가이드 몬테카를로 트리 탐색(MCTS)의 두 가지 주요 구성 요소를 통합합니다.

1. 잠재 시각 확산 추론 (Latent Visual Diffusion Reasoning)

핵심 가설은 시각적 추론을 잠재 공간 내에서의 점진적인 디노이징(denoising) 과정으로 정식화할 수 있다는 것입니다.

잠재 공간 구축: 모델은 실제 영상 의미론(예: 전문가의 해설 또는 라벨)에서 유도된 타겟 시맨틱 분포를 학습합니다.
확산 과정: DDIM(Denoising Diffusion Implicit Models)을 기반으로, 본 프레임워크는 영상의 시작 부분을 추론 과정의 노이즈가 섞인 초기 상태로 취급합니다. 영상이 진행됨에 따라, 확산 모델은 프레임의 잠재 임베딩을 반복적으로 디노이징합니다.
메커니즘:
- 입력: 각 프레임 $I_i$ 에 대해 3D 키포인트 $K_i$ 를 추출합니다.
- 상태 학습: 추론 상태 학습기( $\theta_R$ )는 프레임과 키포인트를 통해 초기 시각 추론 임베딩 $P_i$ 를 생성합니다.
- 디노이징: 확산 트랜스포머( $\theta_D$ )는 이전 상태 $\hat{P}_{i-1}$ 와 초기 임베딩 $P_i$ 를 바탕으로 임베딩 $\hat{P}_i$ 를 정교화합니다. 이는 비정보적인 사전 확률(prior)로부터 일관된 타겟 시맨틱 상태로 진화하는 추론 과정을 모델링합니다.
- 예측: 최종 잠재 임베딩은 완전 연결 계층(fully connected layer)을 통과하여 성능 점수 $\hat{s}$ 를 예측합니다.
학습: 모델은 확산 디노이징 손실( $\mathcal{L}_{DM}$ )과 점수 회귀 손실( $\mathcal{L}_{score}$ )로 구성된 결합 손실 함수를 사용하여 학습됩니다.

2. 키포인트 가이드 몬테카로 트리 탐색 (Keypoint-Guided Monte Carlo Tree Search, MCTS)

암묵적인 잠재 추론 궤적을 명시적으로 해석 가능한 형태로 변환하기 위해, LVDR은 MCTS를 채택합니다.

동기: 순차적인 시각 전략(예: 하체 움직임을 보기 전에 상체 운동학에 집중하는 방식)을 사용하는 인간 심판에서 영감을 받아, 본 프레임워크는 시각적 처리를 조합적 탐색 공간으로 모델링합니다.
트리 구조:
- 노드: 특정 키포인트에 의해 정의되는 상태를 나타냅니다. 스포츠의 경우 주요 관절(팔꿈치, 어깨, 엉덩이, 무릎)을 기준으로 하며, 수술의 경우 기구 부품(팁, 몸체, 꼬리)을 기준으로 합니다.
- 특징: 각 노드는 해당 관절의 각도, 속도 및 3D 위치로 표현됩니다.
탐색 과정: MCTS는 프레임당 $M$ $M$ 번의 반복(iteration)을 수행하며, 다음 네 단계로 구성됩니다:
1. 선택 (Selection): 탐색(exploration)과 이용(exploitation)의 균형을 맞추기 위해 UCT(Upper Confidence Bound for Trees) 기준을 사용하여 트리를 순회합니다.
2. 확장 (Expansion): 방문하지 않은 경로를 탐색하기 위해 자식 노드를 추가합니다.
3. 시뮬레이션 (Simulation): 학습된 확산 모델 $\theta_D$ 를 활용하여 종단 상태(terminal state)까지의 상호작용을 시뮬레이션함으로써 노드의 기대 보상을 추정합니다.
4. 역전파 (Backpropagation): 시뮬레이션 결과를 바탕으로 리프(leaf) 노드에서 루트(root) 노드까지의 경로를 따라 가치 추정치를 업데이트합니다.
출력: 가장 높은 기대 보상( $v^*$ )을 가진 경로가 선택되어, 최종 판단에 가장 크게 기여한 핵심 키포인트(시각적 그라운딩)의 시퀀스를 드러냅니다.

주요 기여

LVDR 프레임워크: 일관성 있고 해석 가능한 평가를 가능하게 하기 위해, 단계별 시각적 추론을 잠재 추론 공간 내의 점진적 확산 과정으로 모델링하는 새로운 프레임워크를 도입했습니다.
키포인트 가이드 MCTS: 잠재 시각 추론 시퀀스를 발견하고 시각화하여, 가장 영향력 있는 추론 단계와 핵심 키포인트를 식별하는 메커니즘을 제안했습니다.
실증적 검증: LVDR이 다양한 스포츠 및 수술 데이터셋에서 경쟁력 있거나 우수한 정량적 성능을 달성하는 동시에, 의사 결정 과정에 대한 전례 없는 투명성을 제공함을 입증했습니다.

실험 결과

저자들은 EgoExo4D(스포츠), JIGSAWS(로봇 보조 수술), FitnessAQA(피트니스 기술), Cataract-101(백내장 수술)의 네 가지 다양한 데이터셋에서 LVDR을 평가했습니다.

정량적 성능:
- LVDR은 EgoExo4D 데이터셋에서 스피어먼 상관계수( $\rho$ )와 상대적 $L_2$ 거리 측면에서 도메인 특화 접근 방식(예: MAGR) 및 대규모 시각-언어 모델(예: GPT-4o, Gemini 2.5)을 능가하며 최첨단(SOTA) 결과를 달성했습니다.
- JIGSAWS, FitnessAQA, Cataract-101에서도 유사한 우수한 성능이 관찰되었으며, 모델은 점수 예측 정확도 면에서 일관되게 베이스라인을 앞질렀습니다.
- 어블레이션 연구(Ablation studies)를 통해 확산 모듈을 제거할 경우 성능 저하가 일관되게 발생함을 확인하였으며, 이는 점진적 추론을 모델링하는 데 있어 확산 모델의 필요성을 입증합니다.
해석 가능성 및 검증:
- 사용자 연구: 도메인 전문가가 50개의 스포츠 영상을 대상으로 MCTS가 생성한 키포인트 추론 과정을 평가한 결과, 86%의 정답률을 기록했습니다. 이는 모델이 인간 전문가의 판단과 강력하게 일치함을 나타냅니다.
- 키포인트 마스킹: MCTS에 의해 선택된 키포인트를 마스킹했을 때 모델 성능이 크게 하락한 반면, 선택되지 않은 키포인트를 마스킹했을 때는 영향이 미미했습니다. 이는 MCTS가 평가를 위한 핵심적인 움직임 단서를 효과적으로 식별하고 있음을 확인시켜 줍니다.
- 시각화: 프레임워크는 모델의 상태가 실제값(ground truth)을 향해 점진적으로 수렴하는 추론 궤적을 성공적으로 시각화했으며, 키포인트 어텐션 패턴(예: 스쿼트 중 무릎 관절에 대한 집중)이 도메인 특화된 생체 역학적 요구 사항과 일치함을 보여주었습니다.

의의

본 논문은 LVDR이 미세한 기술 평가에서 높은 예측 성능과 인간이 이해할 수 있는 추론 사이의 간극을 메운다고 주장합니다. 잠재 추론 과정을 명시적으로 모델링하고 핵심적인 시공간 패턴을 시각화함으로써, 이 프레임워크는 기존 AQA 시스템의 "블랙박스" 한계를 해결합니다. 이러한 투명성은 책임과 신뢰가 요구되는 고위험 분야에서 AI 기반 평가 시스템이 실제로 도입되기 위한 중요한 단계로 제시됩니다. 저자들은 현재의 연구가 단일 인원 시나리오에 집중하고 있으나, 향후 다인(multi-person) 시나리오 및 실시간 애플리케이션으로 프레임워크를 확장할 계획임을 밝히고 있습니다.