💻 computer science

OSEF: One-Step Evidence Fusion for Cross-Video Scene Procedure Planning

이 논문은 모델이 관련 비디오 증거를 검색하는 동시에 행동을 계획하도록 요구하는 새로운 과업인 Cross-Video Scene Procedure Planning (CVSPP)을 소개하고, 모든 후보 증거를 계획을 위한 소프트 격자(soft lattice)로 융합함으로써 하드 선택을 피하는 방법인 One-Step Evidence Fusion (OSEF)을 제안하며, 새롭게 구축된 11개 소스 벤치마크에서 최첨단 성능을 달성하였다.

원저자: Zhentong Ye, Lei Zhang, Sijia Zhou, Yingda Yu, Yuehan Shi, Jiaqi Xuan, Shuaiwu Dong, Guanchao Tong, Meimei Zhang, Bin Li

게시일 2026-08-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhentong Ye, Lei Zhang, Sijia Zhou, Yingda Yu, Yuehan Shi, Jiaqi Xuan, Shuaiwu Dong, Guanchao Tong, Meimei Zhang, Bin Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 완벽한 커피 한 잔을 만드는 법을 가르치려 한다고 상상해 보세요. 단순히 로봇이 단계를 알게 하는 것만으로는 부족합니다. 당신은 로봇이 영상을 보고, 어떤 특정 영상이 올바른 방법을 보여주는지 파악하고, 바리스타가 물을 붓는 정확한 순간을 찾아낸 뒤, 스스로 지침을 작성하기를 원합니다. 이것이 바로 **비디오 장면 절차 계획(Video Scene Procedure Planning)**의 세계입니다. 이는 컴퓨터가 영상을 관찰함으로써 시작 장면(예: 생재료)에서 목표 장면(예: 완성된 식사)으로 어떻게 변하는지를 이해하도록 만드는 인공지능의 한 분야입니다.

오랫동안 연구자들은 컴퓨터에게 "정확한" 영상과 정확한 시작 및 종료 시간을 제공해 왔습니다. 그것은 마치 로봇에게 요리책의 올바른 페이지를 건네주며 "이것을 읽으라"고 말하는 것과 같았습니다. 하지만 현실 세계에서 만약 당신이 검색 엔진에 "커피 만드는 법"을 검색한다면, 검색 엔진은 완벽한 영상 하나만을 주지 않습니다. 대신 열 가지 정도의 서로 다른 영상 목록을 보여줍니다. 어떤 것은 훌륭하고, 어떤 것은 형편없으며, 어떤 것은 같은 단계를 보여주지만 촬영된 주방이 다를 수도 있습니다. 큰 과제는 다음과 같습니다: 컴퓨터가 이 지저분한 목록 중에서 어떻게 올바른 영상을 고르고, 그 영상 내에서 올바른 부분을 찾아내며, 잘못된 옵션들 때문에 혼란에 빠지지 않고 단계적인 계획을 세우도록 가르치는 방법은 무엇인가? 이 논문은 이 복잡하고 실제적인 문제를 다룹니다.

문제점: "잘못된 레시피"의 함정

저자들은 **교차 비디오 장면 절차 계획(Cross-Video Scene Procedure Planning, CVSPP)**이라는 더 까다로운 새로운 게임을 소개합니다. 이것은 마치 요리 쇼의 챌린지와 같습니다. 진행자가 요리 설명을 주고("감자로 시작해서 황금빛 감자튀김으로 끝내세요") 네 개의 서로 다른 요리 영상을 쌓아 놓습니다. 당신의 임무는 다음과 같습니다:

실제로 감자튀김 만드는 법을 보여주는 영상을 고릅니다.
해당 영상 내에서 튀기는 과정이 일어나는 특정 클립을 찾습니다.
단계별 레시피를 작성합니다.

까다로운 점은, 네 개의 영상 모두가 "음식 만들기"에 관한 것일 수 있고, 심지어 매우 유사해 보일 수도 있다는 것입니다. 만약 당신이 잘못된 영상을 고르거나(예를 들어 케이크를 굽는 영상을 고름), 잘못된 클립을 고른다면(예를 들어 튀기는 과정이 아니라 감자를 씻는 과정을 고름), 당신의 레시피는 엉터리가 될 것입니다.

이전 방식들은 "추측하고 확인하기(guess and check)" 방식으로 이를 해결하려 했습니다. 그들은 하나의 영상을 골라 "좋아, 이게 정답이야!"라고 말한 뒤 절차를 계획하려고 시도했습니다. 하지만 처음에 잘못된 영상을 골랐다면, 전체 계획은 무너지고 맙니다. 그것은 마치 런던 지도를 잘못 들고 파리로 가는 길을 찾으려는 것과 같습니다. 지도를 아무리 잘 읽는다 해도 결코 에펠탑에 도달할 수 없습니다. 저자들은 이렇게 너무 일찍 "어려운 선택"을 내리는 것이 치명적인 실수라고 주장합니다.

해결책: OSEF (One-Step Evidence Fusion)

이를 해결하기 위해 팀은 OSEF(One-Step Evidence Fusion)라고 불리는 새로운 시스템을 구축했습니다. 모든 영상을 한꺼번에 섞어두고 마지막 순간까지 유지하는 대신, OSEF는 모든 영상을 계속 섞어둡니다.

이것은 마치 당신이 미스터리를 풀려는 탐정인 것과 같습니다. 첫 번째 용의자를 보자마자 체포하는 대신, 네 명의 용의자를 모두 방 안에 둡니다. 당신은 단서(시작과 목표 설명)를 보고 묻습니다: "용의자 A가 이야기에 얼마나 잘 부합하는가? 용의자 B는 어떤가?" 당신은 단지 한 명을 고르는 것이 아니라, 모든 영상의 모든 순간에 대한 "점수판"을 만듭니다.

그다음, OSEF는 특수한 "번역기"(token-global adapter라고 불림)를 사용하여 이 전체 점수판을 계획하는 두뇌에 전달합니다. 이것은 요리사에게 모든 가능한 단계가 담긴 거대하고 투명한 시트를 주는 것과 같습니다. 각 단계는 그것이 정답일 가능성에 따라 가중치가 부여되어 있습니다. 그러면 요리사는 전체 그림을 보고 결정할 수 있습니다: "아, 영상 1의 튀기는 단계가 가장 좋아 보이지만, 영상 2의 채소 써는 단계가 더 명확하네."

모든 옵션을 "부드럽게(soft)" 유지하고 사용 가능하게 함으로써, 시스템은 너무 일찍 잘못된 영상에 고착되는 함정을 피합니다. 이를 통해 초기 추측이 약간 틀렸더라도 계획 과정에서 스스로를 수정할 수 있게 합니다.

연구 결과

저자들은 자신들이 구축한 대규모 벤치마크(요리, DIY, 청소 등 11가지 다른 소스의 교육용 영상을 포함)를 통해 새로운 방식을 기존의 9가지 계획 모델들과 비교 테스트했습니다. 그들은 14가지 서로 다른 테스트 시나리오를 가진 "점수판"을 만들었습니다.

수치가 말해주는 결과는 다음과 같습니다:

큰 승리: 가장 신뢰할 수 있는 6가지 테스트 시나리오(이른바 "native cells")에서 OSEF는 모든 시나리오에서 1위를 차지했습니다.
개선 사항: 영상들이 매우 유사한(same-task) 네 가지 특정 테스트에서, OSEF는 이전의 최고 방식들과 비교했을 때 정확한 영상과 정확한 계획을 찾아내는 성공률을 2.9~10.7 퍼센트 포인트 향상시켰습니다.
비법: 저자들은 가장 큰 폭의 향상이 영상을 고르는 화려한 새로운 수학적 기법에서 온 것이 아니라, 플래너가 모든 영상 옵션을 볼 수 있도록 유지해 주는 인터페이스에서 왔다는 것을 발견했습니다. 차이를 만든 것은 바로 "token-global" 접근 방식이었습니다.
한계: 시스템은 영상이 매우 짧거나 레이블이 지저분할 때 여전히 어려움을 겪습니다. 변환된 5가지 테스트 시나리오에서 시스템은 가장 흔한 답을 고르는 것(majority-sequence floor)보다 나은 성과를 내지 못했는데, 이는 일부 지저분한 데이터 유형에 대해서는 여전히 문제가 매우 어렵다는 것을 시사합니다.

왜 중요한가

이 논문은 우리가 컴퓨터에게 지저잡한 실제 영상 더미로부터 배우라고 요청할 때, 그들에게 즉각적으로 단 하나의 결정적인 선택을 강요해서는 안 된다는 것을 보여줍니다. 대신, 모든 가능성을 한 번에 마음속에 담아두고, 최종 결정이 전체 그림으로부터 자연스럽게 드러나도록 해야 합니다.

저자들은 이 연구가 중요한 진전이지만 마법의 지팡이는 아니라는 점을 분명히 하고 있습니다. 시스템은 여전히 전처리된 비디오 특징과 결정론적 쿼리에 의존하며, 영상이 너무 비슷하거나 데이터가 너무 노이즈가 심하면 여전히 혼란을 겪을 수 있습니다. 그러나 "옵션을 열어두는 것"이 "승자를 일찍 뽑는 것"보다 더 효과적임을 증명함으로써, 그들은 AI 연구자들에게 인간의 교육용 영상이라는 혼란스럽고 경이로운 덩어리로부터 기계가 학습하는 법을 가르치는 더 강력하고 견고한 방법을 제시했습니다.

기술 요약: OSEF: 교차 비디오 장면 절차 계획을 위한 일단계 증거 융합 (One-Step Evidence Fusion)

1. 문제 정의: 교차 비디오 장면 절차 계획 (CVSPP)

본 논문은 기존의 비디오 장면 절차 계획(VSPP)에 존재하는 공백을 다룹니다. 전통적인 VSPP 시스템은 시작 장면에서 목표 장면으로 변환하는 행동 시퀀스를 예측하기 위해, 올바른 증거 비디오와 시간적 창(temporal window)이 입력값으로 제공된다고 가정합니다. 그러나 실제 시나리오에서는 올바른 증거를 사용할 수 없으며, 시스템은 계획을 세우기 전에 후보 집합에서 올바른 비디오를 검색하고 관련 시간적 창을 국지화(localize)해야 합니다.

저자들은 다음과 같은 입력을 받는 벤치마크 과업으로서 **교차 비디오 장면 절차 계획(CVSPP)**을 도입합니다:

법적 쿼리(Legal Query): 비디오 ID, 타임스탬프 또는 행동 시퀀스를 드러내지 않고 정답이 삭제된 텍스트 설명 (예: "시작: 생감자; 목표: 황금빛 감자튀김 서빙").
후보 집합 ( $K$ 개의 비디오): 각 비디오는 $M$ 개의 시간적 셀(temporal cells)로 나뉩니다.

모델은 다음을 동시에 수행해야 합니다:

올바른 지원 비디오를 **검색(Retrieve)**한다.
해당 비디오 내에서 관련 시간적 창을 **국지화(Localize)**한다.
시작 및 목표 상태를 잇는 순서대로 된 폐쇄 집합(closed-set) 행동 시퀀스를 **계획(Plan)**한다.

이 과업은 두 가지 결합된 과제로 정의됩니다:

동일 과업 증거 모호성(Same-task Evidence Ambiguity): 여러 후보 비디오가 거의 동일한 단계와 인접한 창을 가진 유사한 명목상의 절차를 보여줄 수 있으며, 이로 인해 과업 이름만으로는 조건화(conditioning)하기에 불충분합니다.
검색-계획 오류 전파(Retrieval-to-Plan Error Propagation): 표준적인 "검색 후 계획" 캐스케이드 방식에서는, 초기에 잘못된 비디오나 창을 하드하게 선택하면 잘못된 장면 체인이 플래너(planner)로 전달되어 계획 손실(planning loss)이 회복 불가능하게 실패하게 됩니다.

2. 방법론: 일단계 증거 융합 (OSEF)

이러한 문제를 해결하기 위해 저자들은 돌이킬 수 없는 증거 확정을 지연시키는 프레임워크인 **일단계 증거 융합(OSEF)**을 제안합니다. 단일 비디오를 선택하고 창을 크롭(crop)한 후 계획을 세우는 대신, OSEF는 모든 후보 셀의 점수를 매기고 전체 소프트 증거 표현을 단일 미분 가능한 경로를 통해 플래너에 전달합니다.

아키텍처는 세 가지 주요 구성 요소로 이루어집니다:

쿼리 조건부 증거 격자 (Query-Conditioned Evidence Lattice):
- 모델은 $K \times M$ 후보 격자의 모든 셀 $(k, m)$ 에 대해 법적 쿼리 $q$ 와의 유사도를 측정합니다.
- 매개변수가 없는 대칭적 리프트(symmetric lift)를 사용하여 유효한 폐쇄 구간 $(i \le j)$ 을 구축하여 점수 격자 $H_\theta(q, k, i, j)$ 를 형성합니다.
- 이 격자의 argmax가 평가를 위한 보고된 비디오와 국지화된 범위를 결정하지만, 플래너 경로는 모든 $K \times M$ 셀을 유지합니다.
토큰-글로벌 증거-플랜 (E2P) 어댑터:
- 이 구성 요소는 표준 풀링(pooling)에서 발생하는 셀 수준 신호의 손실을 방지합니다.
- 전체 $K \times M$ 격자를 펼치고(flatten) 이를 단일 레이어 트랜스포머 인코더를 통해 처리합니다.
- $2T$ 개의 학습된 엔드포인트 쿼리(각 $T$ 단계의 시작 및 목표 상태를 나타냄)가 격자의 모든 셀에 크로스 어텐션(cross-attend)합니다.
- 이를 통해 모든 후보의 증거가 하드 argmax 선택이 틀리더라도 플래너에 계속 사용 가능하도록 장면-상태 체인 텐서( $B \times T \times 2 \times d_v$ )를 생성합니다.
목표 조건부 플래너 (Goal-Conditioned Planner):
- 3개 층의 트랜스포머가 상태 쌍을 단계별 행동 로짓(logits)으로 매핑합니다.
- 법적 쿼리는 두 가지 메커니즘을 통해 플래너를 조건화합니다: 상태 토큰에 대한 FiLM 방식의 아핀 스케일/시프트(affine scale/shift) 적용, 그리고 별도의 접두사(prepended) 토칸으로서의 활용입니다.
- 공유 헤드가 $T$ 단계를 디코딩합니다.

학습 목적 함수:
모델은 **결합 캐스케이드 감독(Joint-Cascade Supervision)**을 사용합니다. 손실 함수( $L_{JC}$ )는 소프트 글로벌 체인( $\hat{S}$ )으로부터 생성된 계획의 교차 엔트로피 손실과, 검색 확률 $p_k$ 에 의해 가중치가 부여된 개별 후보 체인( $S_k$ )들로부터 생성된 계획들의 가중 합산 손실을 결합합니다. 이를 통해 계획 손실이 증거 표현을 재형성할 수 있게 합니다.

3. 벤치마크 구축

저자들은 11개의 교육용 비디오 소스(3개의 네이티브 계획 벤치마크: COIN, CrossTask, NIV 및 YouCook2, Ego4D 등과 같이 변환된 8개의 소스)로부터 벤치마크를 구축했습니다.

법적 쿼리 감사: "실패 폐쇄(fail-closed)" 게이트를 통해 쿼리에 정답 누출(비디오 ID, 타임스탬프 또는 행동 시퀀스 포함)이 없음을 보장합니다.
부정적 역할 (Negative Roles): 특정 실패 모드를 테스트하기 위해 유형화된 부정적 역할을 포함합니다: 잘못된 비디오 (WV), 잘못된 창 (WO), 잘못된 과업 (WA).
지표:
- 증거 축 (Evidence Axis): Exact-video R@1, MRR, span-IoU.
- **계획 축 (Plan Axis): 단계별 평균 정확도 (MAcc) 및 전체 시퀀스 성공 (PLAN-SR).
- 전체 지표: FULL-SR, 비디오를 올바르게 검색하고, 창을 국지화하며, 정확한 행동 시퀀스를 동시에 예측할 확률.

4. 주요 결과

논문은 14개의 소스-호라이즌 셀에 걸쳐 9개의 적응된 플래너 패밀리(잠재적, 그래프, 생성적, 이산 시퀀스 플래너 포함)를 대상으로 OSEF를 평가합니다.

순위 성능: OSEF는 방법론적 순위 산정이 유효한 모든 6개의 네이티브 셀(COIN, CrossTask, NIV)에서 1위를 차지했습니다.
성능 향상: 네 개의 매칭된 동일 과업 셀(COIN-T3/T4 및 CrossTask-T3/T4)에서, OSEF는 강화된 하드 선택 방식의 SOTA 베이스라인보다 FULL-SR을 2.9에서 10.7 퍼센트 포인트 개선했습니다.
구성 요소 분석: 어블레이션 연구에 따르면, 토큰-글로벌 인터페이스(풀링 대신 모든 셀을 유지하는 것)가 성능 향상의 가장 큰 요인임을 밝혀냈습니다. 소프트 풀링만으로는 불충 sufficient하지 않으며, 학습된 쿼리를 통해 전체 격자를 읽을 수 있는 능력이 핵심적입니다.
실패 모드:
- 특정 소스(예: NIV-T3는 R@1 99.20% 도달)에 대해 서로 다른 과업 후보에 대한 검색은 거의 포화 상태에 도달했으나, 계획(planning)이 여전히 병목 구간으로 남았습니다.
- 국지화(Localization)는 취약합니다. 올바른 계획이 반드시 올바른 창을 보장하는 것은 아닙니다 (span-IoU가 낮더라도 FULL-SR은 높게 유지됨).
- 조잡한 라벨을 가진 변환된 소스(예: CEgo, TACoS)의 경우, 성능이 종종 "다수 시퀀스 하한선(majority-sequence floor)" 근처에 머무는데, 이는 이 셀들이 증거를 랭킹하는 것이 아니라 라벨이 퇴화된 스트레스 테스트임을 나타냅니다.

5. 의의 및 주장

본 논문은 정답이 삭제된 쿼리로부터 검색, 국지화, 계획을 함께 평가하는 최초의 벤치마크라고 주장합니다. 그 의의는 다음과 같습니다:

결합된 문제의 공식화: "동일 과업 증거 모호성"과 "검색-계획 오류 전파"를 명확히 분리하여, 하드 선택 캐스케이드가 얼마나 취약한지를 보여주었습니다.
소프트 퓨전 도입: 증거를 전체 후보 격자에 대해 "소프트"하게 유지하고 토큰-글로벌 어댑터를 통해 플래너에 전달하는 것이 하드 선택 베이스라인보다 훨씬 우수함을 입증했습니다.
전이 벤치마킹: 기존의 VSPP 플래너들이 증거가 제공되지 않을 때 어떻게 전이되는지에 대한 엄격한 테스트베드를 제공하며, 대부분의 상속된 플래너들이 특정 OSEF 인터페이스 없이는 실패한다는 것을 밝혀냈습니다.

저자들은 현재 설정이 고정된 특징(frozen features)과 결정론적 쿼리를 사용하며, 격자의 비용이 후보 수( $K$ )에 따라 증가한다는 한계점을 겸허히 언급했습니다. 또한 충실한 창 디코딩(faithful span decoding)과 더 강력한 백본(backbone)이 향후 과제임을 명시했습니다. 부록 패키지에는 모델 생성기, 평가 코드 및 각 셀에 대한 감사가 포함되어 있습니다.