기술 요약: JoyAI-VL-Interaction

문제 정의

현재의 대규모 언어 및 시각-언어 모델(VLM)은 주로 **턴 기반 패러다임(turn-based paradigm)**에 따라 작동합니다. 즉, 사용자의 프롬프트가 있을 때까지 대기 상태로 머물며, 특정 입력이 수신된 후에만 반응합니다. 이러한 구조적 한계는 보안 피드에서 화재를 감지하거나, 화상 통화 중 찰나의 표정을 포착하거나, 앱 화면의 변화를 탐색하는 쇼퍼를 보조하는 것과 같이 즉각적이고 자발적인 개입이 필요한 실제 세계의 순간들을 처리하는 것을 방해합니다. 기존의 "실시간" 옴니 모델(예: GPT-Realtime-2, Qwen3.5-Omni)은 지연 시간을 줄이기는 하지만, 여전히 이벤트 기반의 주도성(event-driven proactivity)보다는 대화의 차례를 주고받는 것에 최적화되어 있습니다. 마찬가지로 소비자용 영상 통화 제품(예: Doubao, Gemini)은 외부 폴링(polling) 메커니나 엄격한 질의응답 주기에 의존하므로, 사용자의 트리거가 있거나 고정된 폴링 간격이 발생하기 전까지는 "현재"를 인지하거나 말할 결정을 내릴 수 없습니다. 즉, 시각적 스트림을 지속적으로 관찰하고, 내부적으로 언제 행동할지 결정하며, 사용자 프롬프트를 기다리지 않고 무제한의 시간 동안 존재감을 유지할 수 있는 시스템이 부족한 실정입니다.

방법론

저자들은 JoyAI-VL-Interaction을 제안하며, 이는 턴 기반 대화에서 실시간 스트리밍 상호작용으로의 패러다임 전환을 의미합니다. 이 시스템은 두 가지 핵심 축인 주도적 상호작용 모델과 완전한 배포 가능 시스템 아키텍처를 기반으로 구축되었습니다.

1. 상호작용 모델 (JoyAI-VL-Interaction)

• 아키텍처: JoyAI-VL 1.0 베이스 모델(Qwen3-8B 및 Qwen3-VL ViT로부터 초기화됨)을 기반으로 구축되었으며, 모델은 **시각 우선(vision-first)**으로 설계되었습니다. 음성(ASR/TTS)은 핵심 의사결정 프로세스와 분리된 플러그형 I/O 모듈로 취급됩니다.
• 행동 공간(Action Space): 비디오 스트림의 매 초마다 모델은 다음과 같은 이산적이고 학습된 결정을 내립니다:
  1. 침묵 유지(Stay Silent): 계속 관찰함 (단순히 말을 하지 않는 것이 아니라, 하나의 일차적인 행동으로 취급됨).
  2. 응답(Respond): 사용자에게 실시간 답변을 생성함.
  3. 위임(Delegate): 복잡하거나 느리고 어려운 추론 작업을 비동기 백그라운드 모델로 넘기면서도 존재감을 유지함.
• 비디오 인코딩: 무제한 스트림을 효율적으로 처리하기 위해 시스템은 AdaCodec을 사용합니다. 모든 프레임을 전체 ViT 토큰으로 인코딩하는 대신, 예측할 수 없는 부분만을 전송합니다. 예측 가능한 프레임은 압축된 P-토큰(모션 + 잔차)으로 인코딩되어, 예측 가능한 콘텐츠에 대한 토큰 소비를 약 16배 줄이고 컨텍스트 예산이 서서히 증가하도록 보장합니다.
• 학습 전략:
  • 데이터 구축: 저자들은 6가지 계열(주도적 경고, 시간 정렬 QA(역방향/현재/순방향), 카운팅, 라이브 코멘터리, 캐주얼 채팅, 위임 에피소드)에 걸쳐 400만 개 이상의 시간 정렬 스트리밍 클립 데이터셋을 제작했습니다.
  • 초당 감독(Per-Second Supervision): 모델은 비디오의 매 초마다 올바른 행동(침묵, 응답, 위임)을 예측하도록 학습됩니다. 침묵은 모델이 불필요하게 말하는 것을 방지하기 위해 명시적인 긍정적 타겟으로 레이블링됩니다.
  • 손실 함수(Loss Function): 침묵 단계가 응답 단계를 훨씬 더 많이 차지하는 클래스 불균형을 처리하기 위해 가중치 적용 크로스 엔트로피 손실(weighted cross-entropy loss)이 사용됩니다. 침묵 지속은 가중치를 낮추고, 응답 시작은 가중치를 높입니다.
  • 강화 학습(RL): GRPO 기반의 RL 단계는 스트림 수준의 보상을 사용하여 초당 정책을 최적화하며, 오보(false alarm), 타이밍 미스, 그리고 항상 응답만 하는 퇴보적 행동을 억제하는 동시에, 정확한 타이밍과 효과적인 위임에 보상을 줍니다.

2. 시스템 아키텍처

모델은 배포를 위해 설계된 완전한 오픈 소스 시스템으로 래핑되어 있습니다:

• 이중 루프 작동(Dual-Loop Operation): 시스템은 두 개의 동시 루프를 실행합니다:
  • 실시간 루프(Real-time Loop): 데이터 수집, 상호작용 모델의 결정, 그리고 즉각적인 TTS/UI 출력을 처리합니다.
  • 비동기 루프(Asynchronous Loop): **백그라운드 브릿지(Background Bridge)**를 통해 위임된 작업을 처리합니다. 이 브릿지는 외부 API, 에이전트 또는 모델과 연결됩니다. 이는 작업 ID, 타임아웃, 결과 폴딩(result folding)을 관리하여, 복잡한 작업이 백그라운드에서 처리되는 동안에도 모델이 사용자 곁에 머물 수 있게 합니다.
• 장기 지평 메모리(Long-Horizon Memory): 계층적 메모리 시스템(단기 원시 토큰, 중기 텍ền 요약, 장기 압축 블록)을 통해 시스템은 컨텍스트 창을 초과하지 않고 수 시간 동안 연속적인 비디오 컨텍스트를 유지할 수 있습니다. 이 메모리는 vLLM에서의 **접두사 재사용(prefix reuse)**에 최적화되어, 긴 히스토리에서도 서브 세컨드 단위의 지연 시간을 가능하게 합니다.
• 모듈성: 시스템은 "의사결정은 모델 내부에, 나머지는 교체 가능"하도록 설계되었습니다. ASR, TTS, 메모리 백엔드, 백그라운드 브레인과 같은 구성 요소는 플러그형이므로, 스택을 다시 구축하지 않고도 커스텀 모듈로 교체할 수 있습니다.

주요 기여

1. JoyAI-VL-Interaction 모델: 언제 말하고, 침묵하고, 위임할지를 결정하는 법을 배우는 시각 우선의 8B 규모 상호작용 모델입니다. 이는 그 학습 레시피와 데이터를 함께 공개하는 최초의 오픈 시각 주도 상호작용 모델입니다.
2. 전이 가능한 학습 레시피: 새로운 도메인으로 깔끔하게 전이되는 데이터 구축 및 학습 방법론을 제공하며, 이를 통해 창발적 능력(예: 특정 학습 데이터 없이도 변화하는 앱 화면을 안내하거나, 슬라이드로부터 즉흥 강연을 수행하는 능력)을 이끌어냅니다.
3. 완전한 배포 가능 시스템: 백그라운드 브릿지를 통한 비동기 위임, 계층적 메모리, 시각화 UI를 갖추고 서브 세컨드 지연 시간으로 수 시간의 연속 비디오를 지원하는 풀스택 시스템입니다.
4. 오픈 릴리스: 저자들은 모델 가중치, 상호작용 데이터, 전체 시스템 코드(2026년 6월 20일 목표)를 공개하여 커뮤니티가 이 작업을 재현하고 발전시킬 수 있도록 약속합니다.

결과

저자들은 여섯 가지 실제 스트리밍 시나리오(모니터링/경고, 실시간 카운팅, 실시간 번역, 시간 인지, 라이브 코멘터리, 장기 메모리)에 대해 Doubao와 Gemini의 인앱 영상 통화 어시스턴트를 대상으로 JoyAI-VL-Interaction을 평가했습니다.

• 인간 평가: 전문가가 **품질(Quality)**과 **타이밍(Timing)**을 기준으로 평가한 58개 케이스의 헤드 투 헤드 비교에서:
  • JoyAI-VL-Interaction은 Doubao와의 비교에서 **77.6%**의 승률을 기록했습니다 (5.2% 손실).
  • Gemini와의 비교에서는 **87.9%**의 승률을 기록했습니다 (1.7% 손실).
• 시나리오 성능:
  • 완벽한 승리: 모델은 두 베이스라인 모두를 상대로 모니터링/경고에서 100% 승률을 달성했으며, Gemini를 상대로 실시간 카운팅 및 번역에서도 100% 승률을 기록했습니다.
  • 타이밍 우위: 모델의 주요 강점은 타이밍에 있었습니다. 베이스라인들은 종종 사용자 프롬프트나 폴링 간격이 지나기 전까지 반응하지 못했으나, JoyAI-VL-Interaction은 이벤트가 발생하는 정확한 순간에 반응했습니다.
  • 창발적 능력: 모델은 명시적으로 학습되지 않은 능력(예: 쇼핑 앱 인터페이스를 통해 사용자를 안내하거나, 엄격한 4초 코멘터리 박자를 유지하는 것)을 보여주었으며, 이는 일반적인 "보고 수행하기(watch-and-do)" 역량을 시사합니다.
• 한계: 저자들은 일반적인 턴 기반 채팅 품질과 희귀 입력에 대한 견고함 측면에서 8B 모델이 Doubao와 Gemini를 구동하는 더 크고 성숙한 모델들에 비해 뒤처진다는 점을 인정했습니다. 코멘터리에서의 간헐적인 환각 현상은 모델의 컴팩트한 규모와 희소한 코멘터리 데이터 때문인 것으로 분석되었습니다.

의의 및 주장

본 논문은 **상호작용성(interactivity)**이 외부 트리거나 턴 탐지기에 의해 시뮬레이션되는 것이 아니라, 모델 자체의 별도 능력으로서 확장되어야 한다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

• 패러다임 전환: VLM을 "요청을 제출하고 기다리는" 모드에서, AI가 물리적 세계에 진정으로 존재하며 협력하는 "보고 수행하는(watch-and-do)" 모드로 전환합니다.
• 이벤트 기반 존재감: 컴팩트한 모델이라도 언제 행동할지를 결정할 수 있다면, 단순히 턴 기반 시스템보다 시간 민감도가 높은 이벤트 중심 시나리오에서 더 뛰어난 성능을 낼 수 있음을 입증했습니다.
• 오픈 파운데이션: 모델, 레시피, 데이터, 시스템 전체를 공개함으로써, 저자들은 커뮤니티가 "항상 존재하는" 어시스턴트, AI 글래스, 체화된 지능(embodied intelligence)을 탐구하는 장벽을 낮추고, 분야의 중심을 턴 기반 대화에서 진정한 스트리밍 상호작용으로 옮기고자 합니다.

저자들은 현재의 릴리스가 데이터 스케일링과 견고함 개선의 여지가 있는 초기 단계이지만, 요청되지 않은 시간 인지적 행동의 창발성이 상호작용성을 주요 능력으로 스케일링하는 방향의 타당성을 입증한다고 결론지었습니다.