기술 요약: StreamSoccer

문제 정의

비디오 이해를 위한 스트리밍은 비디오가 도착함에 따라 모델이 내부 상태를 인과적으로 업데이트하고, 성장하는 이력을 진화하고, 지속되며, 제한된 계산 및 메모리 하에서 회상할 수 있는 의미적 단위로 조직하도록 요구합니다. 이러한 과제는 라이브 축구 해설에서 특히 두드러집니다. 오프라인 비디오 캡셔닝이나 미리 정의된 클립에 의존하는 방법들과 달리, 스트리밍 시스템은 진화하는 경기 프로세스를 지속적으로 이해해야 하며, 미래 정보에 접근할 수 없는 상태에서 적절한 순간에 해설을 생성해야 합니다.

기존의 접근 방식들은 이 영역에서 두 가지 주요 한계점에 직면해 있습니다:

1. 일반적인 스트리밍 비디오-언어 모델: StreamingVLM 또는 TimeChat-Online과 같은 시스템은 프레임, 시각적 토큰 또는 키-값(key-value) 캐시를 중심으로 이력을 조직합니다. 이는 효율적이긴 하지만, 진화하는 의미적 프로세스를 완성 후 폐쇄되어 나중에 재사용될 수 있는 연속적인 상태 단위로 유지하기보다는, 의미론적으로 무관한 토큰의 시퀀스로 취급하는 경면이 있습니다.
2. 축구 특화 방법론: 기존의 축구 해설 모델(예: SoccerNet-Caption, MatchTime)은 일반적으로 사전 정의된 비디오 클립, 주어진 출력 타임스탬프 또는 오프라인 전체 비디오 입력을 활용합니다. 이들은 실시간 스트리밍에서 필요한 인과적, 이벤트 기반의 라이프사이클을 본질적으로 지원하지 못합니다. 즉, 시스템이 오직 그 시점까지 가용한 정보만을 바탕으로 언제 말을 할지(또는 침묵할지)를 결정해야 하는 상황을 지원하지 못합니다.

핵식적인 문제는 새로운 관측치가 이벤트로 발전함에 따라 이를 흡수하고, 가변적인 지속 시간의 프로세스를 고정된 예산의 상태로 압축하며, 완료 시 안정적이고 재사용 가능한 메모리를 형성하고, 최근의 보유와 역사적 회상을 모두 지원할 수 있는 중간 표현을 식별하는 것입니다.

방법론: StreamSoccer

저자들은 **이벤트 메모리(event memory)**를 중간 표현으로 사용하는 이벤트 중심 시스템인 StreamSoccer를 제안합니다. 이 시스템은 활성화(activate)–업데이트(update)–종료(close)–통합(consolidate)–회상(retrieve) 라이프사이클을 통해 성장하는 비디오 이력을 명시적인 의미적 역할을 가진 고정 예산 상태로 변환합니다.

1. 시스템 아키텍처

• 스트리밍 이벤트 메모리 인코더:

  • 입력 처리: 들어오는 비디오 클립은 동결된 Qwen3-VL 인코더에 의해 시각적 토큰으로 인코딩되며, 학습 가능한 Clip Event Adapter를 통해 고정된 수의 클립 수준 이벤트 토큰($E_t$)으로 압축됩니다.
  • 상태 업데이트: 온라인 이벤트 업데이트 모듈은 들어오는 토큰을 이전의 활성 메모리($M_{t-1}$)와 비교합니다. 게이트 통합 메커니즘을 사용하여, 점진적인 정보를 흡수하도록 진행 중인 상태를 업데이트합니다. 이 상태는 스팬되는 클립의 수와 관계없이 고정된 토큰 예산($K_m$)을 유지합니다.
  • 이벤트 종료: 시스템은 두 가지 메커니즘을 통해 이벤트가 종료되는 시점을 결정합니다: 전환 헤드(transition head)에 의해 학습된 예측된 운영-전이 지표($b_t$)와, 최대 지속 시간($D_{max} = 24s$)을 초과할 경우 이벤트를 닫는 결정론적 지속 시간 안전장치($\rho_t$)입니다.
  • 메모리 통합: 이벤트가 종료되면, 활성 상태는 불변의 완료된 이벤트 메모리(completed-event memory)($M^c_j$)가 됩니다. 이 메모리는 즉시 단기 컨텍스트를 위한 로컬 최근 이벤트 버퍼(Recent Event Buffer)($B_t$)로 들어갑니다. 동시에, 기록 브랜치는 메모리-투-언어 프로젝터와 언어 모델을 통해 $M^c_j$를 텍exual한 역사적 이벤트 기록(Historical Event Record)($R_j$)로 변환합니다. 이러한 기록들은 장기 컨텍스트를 위해 회상 가능한 리스트($L_t$)에 저장됩니다.

• 다중 컨텍스트 해설 생성기:

  • 통합 생성기는 동일한 언어 모델 백본(LoRA 적응 사용)을 사용하되 서로 다른 컨텍스트 구성을 사용하여 세 가지 별도의 트랙에 대한 해설을 생성합니다:
    1. 현재 이벤트 해설: 방금 종료된 완료된 이벤트 메모리($M^c_j$)를 사용합니다.
    2. 최근 윈도우 해설: 활성 이벤트 메모리($M_t$)와 버퍼 내에서 선택된 로컬 완료 이벤트 메모리들을 결래합니다.
    3. 역사적 메모리 해설: 현재/최근의 잠재적 컨텍스트와 역사적 리스트($L_t$)에서 검색된 텍스트 기록($R_t$)을 결합합니다.
  • 생성기는 이러한 컨텍스트들을 소프트 프리픽스($Z_t$)로 투영하여 언어 모델을 가이드합니다.

• 규칙 보조 스케줄러:

  • 결정론적 스케le듈러는 고정된 규칙, 쿨다운 및 우선순위에 따라 해설 모드(현재, 최근, 역사적 또는 침묵)를 선택합니다. 이는 학습을 통해 말하기 결정을 내리는 것이 아니라, 시스템이 인과적 제약과 운영 로직(예: 현재 이벤트 모드를 위해 돌출된 이벤트가 필요함)을 준수하도록 보장합니다.

2. 태스크 정식화 및 데이터

저자들은 스트리밍 축구 해설을 시간적 가시성에 의해 제약된 생성 태스크로 정의합니다. 이들은 SoccerNet 액션 어노테이션과 MatchTime 해설으로부터 세 가지 트랙 데이터셋을 구축했습니다:

• 현재 이벤트: 방금 완료된 이벤트를 설명합니다.
• 최근 윈도우: 컷오프 이전에 보이는 여러 최근 이벤트를 요약합니다.
• 역사적 메모리: 현재의 플레이를 이전의 경기 정보와 연결합니다.
  이 데이터셋은 명시적인 관측 컷오프와 경기 분리(match-disjoint) 분할을 통해 미래 누출(future leakage)을 방지하고 엄격한 인과적 유효성을 보장합니다.

3. 학습

StreamSoccer은 3단계 학습 과정을 채택합니다:

1. 1단계: 액션 인식, 운영-전이 예측 및 이벤트 유형 분류를 위해 스트리밍 이벤트 메모리 인코더를 학습시킵니다.
2. 2단계: 완료된 메모리로부터 이벤트-기록 캡션을 생성하기 위해 메모리-투-언어 프로젝터를 학습시킵니다.
3. 3단계: 메모리 컨텍스트 선택 및 검색 랭킹을 위한 보조 손실을 포함하여, 모든 세 가지 트랙에 대해 다중 컨텍스트 해설 생성기를 최적화합니다.

주요 결과

시스템은 58번의 경기(174회의 원시 비디오 실행)를 대상으로 공통된 인과적 앵커에서의 해설 품질과 장기 이력 효율성에 초점을 맞추어 평가되었습니다.

• 해설 품질: 공유된 인과적 출력 앵커에서, StreamSoccer은 현재 이벤트(38.62) 및 역사적 메모리(17.39) 트랙에서 가장 높은 보고된 CIDEr 점수를 달성했으며, 최근 윈도우 트랙에서는 UniSoccer에 이어 2위를 기록했습니다(23.96). 또한 BERTScore-F1 측면에서 역사적 메모리 트랙에서 1위를 차지했습니다.
• 효율성 및 확장성: StreamSoccer은 90분간의 경기 동안 약 0.10–0.22의 **95백분위수 실시간 계수(RTF)**를 유지했습니다. 결정적으로, 컨텍스트 길이에 따라 비용이 증가하거나 컨텍스트 제한에 부딪히는 베이스라인 모델(예: VideoLLM-online)과 달리, 이러한 효율성은 경기 이력이 증가함에 따라 지속적인 성장 없이 안정적으로 유지되었습니다.
• 이벤트 메모리 검증: 절제 연구(Ablation studies)를 통해 **재귀적 이벤트 메모리(recurrent event memory)**가 다운스트림 캡션 생성을 위해 운영-이벤트 풀링(operational-event pooling) 및 고정 시간 풀링(fixed-time pooling)보다 우수함을 확인했습니다. 또한, 로컬 이벤트 메모리와 역사적 기록을 추가하면 모든 세 가지 트랙에서 성능이 점진적으로 향提升되었으며, 전체 구성이 최상의 결과를 냈습니다.
• 정성적 분석: 사례 연구를 통해 StreamSoccer이 현재의 압박 상황을 이전의 세트피스 이벤트와 성공적으로 연결하는 반면, 베이스라인 모델들은 반복적인 주장, 일관성 없는 타임스탬프를 생성하거나 플레이를 조직하는 데 실패함을 보여주었습니다.

의의 및 주장

본 논문은 이벤트 메모리가 스트리밍 축구 해설을 위한 효과적인 중간 표현 역할을 한다고 주장합니다. 이벤트를 활성화, 업데이트, 종료, 통합하는 방식으로 이벤트 라이프사이클을 명시적으로 모델링함으로써, 시스템은 성장하는 비디오 이력을 재사용 가능한 고정 예산 상태로 조직합니다.

저자들은 StreamSoccer이 다음을 수행한다고 강조합니다:

1. 다중 범위 해설 지원: 단일 통합 프레임워크 내에서 현재, 최근, 역사적 해설을 성공적으로 처리하며, 스포츠 해설의 다중 시간적 특성을 해결합니다.
2. 장기 이력 계산 제어: 프레임이나 토큰을 무차별적으로 압축하는 방법과 달리, StreamSoccer의 이벤트 기반 접근 방식은 경기가 진행됨에 따라 발생하는 계산 저하를 방지하여 전체 경기에 대한 실시간 처리를 가능하게 합니다.
3. 인과적 프레임워크 제공: 시스템은 엄격하게 인과적 제약을 준-수하며, 모든 해설이 방출 시간 이전에 가용한 정보만을 바탕으로 생성되도록 보장합니다. 이는 오프라인 또는 사전 정의된 클립 기반 접근 방식에서 종종 간과되는 요구사항입니다.

논문은 결론적으로, 시스템이 규칙 보조 스케줄링과 결정론적 이벤트 경계에 의존하지만, 제안된 이벤트 메모리 아키텍처가 라이브 스트리밍 스포츠 해설의 특정 과제에 대한 강력한 솔루션을 제공한다고 밝힙니다.