ViterbiPlanNet: Injecting Procedural Knowledge via Differentiable Viterbi for Planning in Instructional Videos

이 논문은 차분 가능한 비터비 계층을 통해 절차적 지식 그래프를 명시적으로 통합함으로써, 기존 대규모 모델보다 훨씬 적은 파라미터로 더 높은 샘플 효율성과 강건성을 달성하는 새로운 계획 프레임워크인 ViterbiPlanNet 을 제안합니다.

핵심

이 논문은 **"ViterbiPlanNet"**이라는 새로운 인공지능 시스템을 소개합니다. 이 시스템은 요리 레시피나 DIY 설명서 같은 ' instructional video( instructional video)'를 보고, "어떻게 하면 처음 상태에서 목표 상태에 도달할 수 있을까?"라는 질문에 답하는 계획 수립 (Planning) 능력을 배웁니다.

기존의 인공지능들은 방대한 데이터를 먹고 '암기'하듯 복잡한 규칙을 스스로 찾아내려 했지만, 이 방식은 비효율적이고 계산 비용이 너무 많이 들었습니다. 이 논문은 **"인공지능에게 암기 대신 '논리'와 '지도'를 가르쳐주자"**는 새로운 접근법을 제시합니다.

이해를 돕기 위해 몇 가지 비유를 들어 설명해 드리겠습니다.

---

1. 문제: "암기하는 학생" vs "이해하는 학생"

• 기존 방식 (암기하는 학생):
  기존의 AI 모델들은 거대한 도서관 (데이터) 에 있는 모든 요리 레시피를 통째로 외우려고 노력합니다. "계란을 깨고, 휘저고, 우유를 넣는 순서"를 수천 번 반복해서 외우죠. 하지만 시험장에 가서 조금만 다른 상황 (예: 계란이 아닌 달걀을 깨는 상황) 이 나오면, 외운 대로만 하다가 당황해서 엉뚱한 행동을 하거나 실패합니다. 또한, 이 모든 것을 외우려면 머리가 너무 커야 (파라미터가 많아야) 합니다.

• 새로운 방식 (ViterbiPlanNet - 이해하는 학생):
  이 시스템은 모든 레시피를 외우지 않습니다. 대신, **"요리할 때 지켜야 할 기본 법칙 (지도)"**을 가지고 있습니다.

  • 예시: "빵을 먼저 깔아야 그 위에 고기를 올릴 수 있다", "소스를 뿌리기 전에 재료를 섞어야 한다" 같은 **프로시저 지식 (Procedural Knowledge)**입니다.
  • 이 시스템은 이 '지도'를 바탕으로, 눈앞에 보이는 재료 (시작과 목표 이미지) 를 보고 "아, 지금 빵을 깔아야겠구나"라고 논리적으로 추론합니다.

2. 핵심 기술: "미끄러운 미로 찾기" (Differentiable Viterbi)

이 시스템의 가장 큰 특징은 **'미끄러운 미로 찾기 (Differentiable Viterbi Layer)'**라는 기술을 사용한다는 점입니다.

• 전통적인 미로 찾기 (비차분 가능):
  예전에는 AI 가 미로 (계획) 를 찾을 때, "이 길은 막혔으니 저기로 가자"라고 딱딱하게 결정했습니다. 문제는 이 결정 과정을 AI 가 스스로 수정할 수 없게 만들었다는 점입니다. 마치 "이 길은 정답이다"라고 딱 고정해버린 것과 같아서, AI 가 실수를 했을 때 "아, 내가 잘못 골랐구나"라고 배울 수 없었습니다.

• ViterbiPlanNet 의 미끄러운 미로 찾기:
  이 시스템은 미로를 찾을 때 부드러운 점토처럼 다룹니다. "이 길이 가장 유력하지만, 저 길도 아주 조금 가능성은 있어"라고 확률적으로 접근합니다.

  • 이렇게 하면 AI 가 실수를 했을 때, "아, 내가 이 부분을 부드럽게 조정해야겠구나"라고 **학습 (Gradient)**을 통해 스스로 수정할 수 있습니다.
  • 결과적으로 AI 는 복잡한 규칙을 외울 필요 없이, **지도 (PKG)**와 **눈 (시각 정보)**을 연결하는 '연결 고리'만 잘 만들면 됩니다.

3. 왜 이것이 획기적인가? (효율성과 정확성)

이 논문의 실험 결과는 매우 놀랍습니다.

• 압도적인 효율성:
  다른 최신 AI 들 (거대 언어 모델이나 확산 모델) 은 수천 억 개의 '뇌세포 (파라미터)'를 가지고 있습니다. 반면, ViterbiPlanNet 은 그보다 1,000 배에서 10,000 배 적은 뇌세포로 작동합니다.

  • 비유: 거대한 슈퍼컴퓨터로 간단한 사칙연산을 하는 대신, 작은 계산기로 똑똑하게 문제를 푸는 것과 같습니다.

• 데이터 효율성:
  적은 데이터로도 훨씬 잘 학습합니다. 다른 모델들이 100% 의 데이터를 다 봐야 하는 반면, 이 시스템은 25% 만 봐도 비슷한 성능을 냅니다. "지도"를 보고 있기 때문에, 모든 길을 다 경험할 필요가 없기 때문입니다.

• 예측 불가능한 상황에도 강함:
  훈련할 때는 6 단계짜리 요리를 배웠는데, 테스트할 때는 3 단계짜리 요리만 요구해도 잘 해냅니다. 이는 AI 가 단순히 순서를 '암기'한 것이 아니라, 요리의 논리 구조를 진짜로 이해했기 때문입니다.

4. 요약: 이 논문이 우리에게 주는 메시지

이 논문은 **"인공지능이 무작정 많이 배우는 것 (Big Data) 보다, 올바른 규칙 (Structure) 을 알고 배우는 것이 더 중요하다"**는 것을 증명했습니다.

• 기존: "모든 레시피를 외워라!" (비효율적, 비싸고, 틀리기 쉬움)
• ViterbiPlanNet: "요리의 기본 법칙 (지도) 을 보고, 눈으로 확인해서 논리적으로 계획을 세워라!" (효율적, 저렴하고, 똑똑함)

이 기술이 발전하면, 우리 집의 작은 로봇이 복잡한 요리나 수리 작업을 할 때, 거대한 서버가 아니라 작은 칩 하나만으로도 아주 똑똑하게 계획을 세우고 우리를 도와줄 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

** instructional videos(지시 영상)** 에서 초기 시각 상태 (시작 프레임) 와 목표 시각 상태 (목표 프레임) 가 주어졌을 때, 이를 달성하기 위한 행동 시퀀스 (계획) 를 생성하는 절차적 계획 (Procedural Planning) 작업에 초점을 맞추고 있습니다.

기존의 최신 방법론들은 대규모 데이터셋을 기반으로 절차적 구조를 암묵적으로 학습하는 데 의존합니다 (예: Diffusion 모델, LLM 기반 플래너, Transformer 아키텍처). 이러한 접근 방식은 다음과 같은 한계를 가집니다:

• 낮은 샘플 효율성: 복잡한 절차를 학습하기 위해 방대한 양의 데이터가 필요합니다.
• 높은 계산 비용: 수억~수십억 개의 파라미터를 가진 거대 모델을 요구합니다.
• 일반화 부족: 훈련 시 보지 못한 짧은 계획 구간 (horizon) 에 대해 약한 성능을 보입니다.
• 평가 불일치: 기존 연구들 간의 데이터 분할, 평가 지표, 특징 추출 방식 등이 불일치하여 공정한 비교가 어렵습니다.

2. 방법론 (Methodology)

저자들은 ViterbiPlanNet을 제안하며, 이는 절차적 지식 (Procedural Knowledge) 을 학습 과정에 명시적으로 통합하는 프레임워크입니다. 핵심 구성 요소는 다음과 같습니다.

A. 절차적 지식 그래프 (Procedural Knowledge Graph, PKG)

• 행동 (노드) 과 유효한 전이 (간선) 를 포함하는 방향성 그래프로 절차적 지식을 인코딩합니다.
• 간선 가중치는 훈련 데이터에서 행동의 공발생 (co-occurrence) 통계를 기반으로 추정된 전이 확률입니다.
• 이 그래프는 모델이 "무엇이 가능한지"에 대한 구조적 제약을 제공합니다.

B. 차분 가능한 비테르비 레이어 (Differentiable Viterbi Layer, DVL)

• 기존 비테르비 (Viterbi) 알고리즘은 max 및 argmax 연산으로 인해 미분 불가능하여 엔드 - 투 - 엔드 학습이 불가능했습니다.
• 저자들은 Log-sum-exp 및 Softmax 완화 기법을 도입하여 비테르비 디코딩을 미분 가능하게 만들었습니다.
• 작동 원리:
  1. 시각 인코딩: 시작/목표 프레임을 시각 백본 (S3D) 으로 인코딩합니다.
  2. 방출 확률 (Emission Probabilities): 신경망이 시각 입력과 시간/행동 인덱스를 기반으로 각 행동이 관찰될 확률 ($P(v_t|a_t)$) 을 예측합니다.
  3. 구조화된 디코딩: DVL 은 PKG 의 전이 확률 ($P(a_t|a_{t-1})$) 과 예측된 방출 확률을 결합하여 최적의 행동 시퀀스를 부드럽게 (softly) 디코딩합니다.
  4. 역전파: 디코딩된 소프트 플랜 (soft plan) 과 정답 간의 손실 (MSE) 을 통해 그래디언트가 DVL 을 거쳐 신경망 (방출 확률 예측기) 으로 역전파됩니다.

C. 학습 및 추론

• 학습: DVL 을 통해 구조를 인식하는 훈련 (Structure-aware training) 을 수행합니다. 모델은 전체 계획을 암기하는 대신, PKG 의 구조적 가이드 하에 최적의 경로를 찾는 방출 확률만 학습합니다.
• 추가 손실: 시각 - 의미 정렬 손실 ($L_{align}$) 과 태스크 분류 손실 ($L_{task}$) 을 사용하여 시각 인코더의 성능을 보조합니다.
• 추론: 학습된 DVL 은 제거되거나 표준 비테르비 디코더로 교체되어 이산적인 (discrete) 최종 계획을 생성합니다.

3. 주요 기여 (Key Contributions)

1. ViterbiPlanNet 프레임워크: PKG 를 엔드 - 투 - 엔드 학습에 통합하는 차분 가능한 비테르비 레이어 (DVL) 를 도입했습니다. 이는 모델이 복잡한 절차적 규칙을 암기하는 대신, 구조적 제약을 통해 효율적으로 학습하도록 합니다.
2. 표준화된 평가 프로토콜: CrossTask, COIN, NIV 데이터셋에 대한 불일치한 평가 방식을 해결하기 위해 통일된 평가 파이프라인을 구축하고 오픈소스화했습니다. 부트스트래핑을 활용한 통계적 유의성 검증을 통해 공정한 비교를 가능하게 했습니다.
3. 교차 구간 (Cross-Horizon) 테스트: 훈련 시보다 짧은 계획 구간에서 모델을 테스트하는 새로운 프로토콜을 제안하여 모델의 절차적 일반화 능력을 평가했습니다.

4. 실험 결과 (Results)

CrossTask, COIN, NIV 세 가지 벤치마크에서 다음과 같은 결과를 달성했습니다:

• 성능 우위: ViterbiPlanNet 은 모든 데이터셋에서 성공률 (Success Rate, SR) 에서 기존 최첨단 방법론 (SCHEMA, PlanLLM, PDPP 등) 을 통계적으로 유의미하게 상회했습니다.
• 파라미터 효율성: Diffusion 모델이나 LLM 기반 플래너 (수십억수천억 파라미터) 에 비해 **12 개 자릿수 적은 파라미터 (약 5~7M)** 로 더 높은 성능을 달성했습니다.
• 샘플 효율성: 훈련 데이터의 양이 적을 때 (예: 5%~25%) ViterbiPlanNet 은 SCHEMA 보다 훨씬 우수한 성능을 보였습니다. 이는 모델이 절차를 암기하는 대신 구조적 지식을 활용하기 때문입니다.
• 교차 구간 일관성: 긴 구간 (T=6) 에서 훈련된 모델을 짧은 구간 (T=3, 4, 5) 에서 테스트했을 때, ViterbiPlanNet 은 다른 모델들보다 훨씬 높은 견고성 (Robustness) 을 보였습니다.
• PKG 활용도 비교: PKG 를 단순히 추론 시 후처리 (Post-processing) 하거나 조건부 (Conditioning) 로 사용하는 기존 방법보다, 학습 과정에 PKG 를 직접 통합 (Guided Training) 하는 방식이 성능 향상에 훨씬 효과적이었습니다.

5. 의의 및 결론 (Significance)

이 논문은 명시적인 구조적 지식 (Procedural Knowledge) 을 신경망 학습 과정에 통합하는 것이 절차적 계획 작업에서 매우 효과적임을 입증했습니다.

• 효율성: 거대 모델에 의존하지 않고도 구조적 제약을 통해 높은 정확도와 일반화 능력을 달성할 수 있음을 보여줍니다.
• 신뢰성: 비테르비 알고리즘의 구조적 특성을 활용함으로써, 물리적으로 불가능한 행동 순서를 생성하지 않도록 보장하며, 훈련 데이터에 없는 짧은 계획 구간에서도 일관된 예측을 가능하게 합니다.
• 미래 지향성: 이 연구는 온디바이스 (on-device) 에이전트나 제한된 컴퓨팅 자원을 가진 환경에서도 효율적인 계획이 가능함을 시사하며, 향후 보조 에이전트 및 로봇 공학 분야에서 구조적 사전 지식 (Structural Priors) 의 중요성을 부각시킵니다.

요약하자면, ViterbiPlanNet 은 "데이터를 많이 먹어 암기하는 방식"에서 "지식 그래프를 통해 논리적으로 추론하는 방식"으로의 패러다임 전환을 제안하며, 절차적 계획 분야에서 새로운 표준을 제시합니다.