Technische Samenvatting: JoyAI-VL-Interactie

Probleemstelling

Huidige grote taal- en visuele taalmodellen (VLM's) opereren primair volgens een beurtgebaseerd paradigma: ze blijven inactief tot ze door een gebruiker worden geprompt, en reageren pas nadat een specifieke input is ontvangen. Deze structurele beperking voorkomt dat ze kunnen omgaan met real-world momenten die onmiddellijke, ongeprompt interventie vereisen, zoals het detecteren van een brand in een beveiligingsfeed, het reageren op een vluchtige uitdrukking in een videogesprek, of het assisteren van een shopper die door veranderende app-schermen navigeert. Hoewel bestaande "real-time" omni-modellen (bijv. GPT-Realtime-2, Qwen3.5-Omni) de latentie verminderen, zijn ze nog steeds geoptimaliseerd voor conversatie-beurten in plaats van gebeurtenisgestuurde proactiviteit. Evenzo vertrouwen consumentenproducten voor videogesprekken (bijv. Doubao, Gemini) op externe pollingsmechanismen of strikte vraag-antwoordcycli, wat betekent dat ze niet kunnen waarnemen wat er "nu" gebeurt of kunnen besluiten om te spreken totdat een gebruikerstrigger of een vast polling-interval optreedt. Er is een gebrek aan systemen die continu een visuele stroom observeren, intern beslissen wanneer ze moeten handelen, en aanwezigheid behouden over onbegrensde tijd zonder te wachten op een gebruikersprompt.

Methodologie

De auteurs stellen JoyAI-VL-Interactie voor, een paradigmaverschuiving van beurtgebaseerde dialoog naar real-time streaming interactie. Het systeem is gebouwd op twee kernzuilen: een proactief interactiemodel en een volledige, inzetbare systeemarchitectuur.

1. Het Interactiemodel (JoyAI-VL-Interactie)

• Architectuur: Gebouwd op het JoyAI-VL 1.0 basismodel (geïnitialiseerd vanuit Qwen3-8B en Qwen3-VL ViT), is het model ontworpen om visie-georiënteerd te zijn. Spraak (ASR/TTS) wordt behandeld als een vervangbare I/O-module, ontkoppeld van het kernbesluitvormingsproces.
• Actieruimte: Bij elke seconde van een videostroom maakt het model een discrete, geleerde beslissing om te:
  1. Stil blijven: Verder kijken (behandeld als een primaire actie, niet slechts de afwezigheid van spraak).
  2. Reageren: Een real-time antwoord genereren aan de gebruiker.
  3. Delegeren: Complexe, trage of moeilijke redeneertaken uitbesteden aan een asynchroon achtergrondmodel terwijl de aanwezigheid behouden blijft.
• Videocodering: Om onbegrensde stromen efficiënt te verwerken, gebruikt het systeem AdaCodec. In plaats van elke frame volledig met ViT-tokens te coderen, verzendt het alleen wat de voorspelling niet kan verklaren. Voorspelbare frames worden gecodeerd als compacte P-tokens (beweging + residuen), wat het tokenverbruik met ~16x vermindert voor voorspelbare inhoud en ervoor zorgt dat het contextbudget langzaam groeit over de tijd.
• Trainingsstrategie:
  • Dataconstructie: De auteurs hebben een dataset gecreëerd van 4M+ tijd-uitgelijnde streaming clips verdeeld over zes families: proactieve waarschuwing, tijd-uitgelijnde QA (achterwaarts/heden/voorwaarts), tellen, live commentaar, casual chat en delegatie-episoden.
  • Per-seconde supervisie: Het model wordt getraind om de juiste actie (stilte, reactie, delegeren) te voorspellen voor elke seconde van de video. Stilte wordt expliciet gelabeld als een positieve target om te voorkomen dat het model onnodig spreekt.
  • Loss-functie: Er wordt een gewogen cross-entropy loss gebruikt om de klassenonbalans te behandelen waarbij stilte-stappen de reactie-stappen veruit overtreffen. Continuaties van stilte worden lager gewogen, terwijl het begin van een reactie hoger wordt gewogen.
  • Reinforcement Learning (RL): Een GRPO-gebaseerde RL-fase optimaliseert het per-seconde beleid met behulp van stream-niveau beloningen, waarbij valse alarmen, slecht getimede reacties en gedegenereerd "altijd-reageren"-gedrag worden bestraft, terwijl correcte timing en effectieve delegatie worden beloond.

2. De Systeemarchitectuur

Het model is verpakt in een volledig, open-source systeem ontworpen voor implementatie:

• Dual-Loop Operatie: Het systeem draait twee gelijktijdige lussen:
  • Real-time Loop: Behandelt ingestie, de beslissing van het interactiemodel en directe TTS/UI-output.
  • Asynchrone Loop: Behandelt gedelegeerde taken via een Background Bridge. Deze brug verbindt met elke externe API, agent of model. Het beheert task-ID's, timeouts en het samenvoegen van resultaten, waardoor het model aanwezig kan blijven bij de gebruiker terwijl een complexe taak op de achtergrond wordt verwerkt.
• Long-Horizon Geheugen: Een hiërarchisch geheugensysteem (kortetermijn ruwe tokens, middellangetermijn tekstsamenvattingen, langetermijn gecomprimeerde blokken) stelt het systeem in staat om context over uren van continue video te behouden zonder de contextvensters te overschrijden. Dit geheugen is geoptimaliseerd voor prefix reuse in vLLM, wat een sub-seconde latentie mogelijk maakt, zelfs met lange historieën.
• Modulariteit: Het systeem is ontworpen met het principe "beslissing in het model, de rest vervangbaar." Componenten zoals ASR, TTS, geheugen-backends en de achtergrond-brein zijn vervangbaar, waardoor gebruikers eigen modules kunnen inpassen zonder de hele stack opnieuw te bouwen.

Belangrijkste Bijdragen

1. JoyAI-VL-Interactie Model: Een 8B-schaal, visie-georiënteerd interactiemodel dat leert wanneer te spreken, stil te blijven of te delegeren. Het is het eerste open, visie-gestuurde interactiemodel dat wordt uitgebracht met de bijbehorende trainingsmethode en data.
2. Overdraagbare Trainingsmethode: Een methode voor dataconstructie en training die emergente capaciteiten oplevert (bijv. gebruikers begeleiden door veranderende app-schermen zonder specifieke trainingsdata, improviserende colleges geven vanaf slides) en gemakkelijk overdraagbaar is naar nieuwe domeinen.
3. Volledig Inzetbaar Systeem: Een full-stack systeem dat uren van continue video ondersteunt met sub-seconde latentie, voorzien van een background bridge voor asynchrone delegatie, hiërarchisch geheugen en een visualisatie UI.
4. Open Release: De auteurs verbinden zich ertoe om modelgewichten, interactiedata en de volledige systeemcode vrij te geven (gericht op 20 juni 2026), zodat de community het werk kan reproduceren en erop voort te bouwen.

Resultaten

De auteurs hebben JoyAI-VL-Interactie geëvalueerd tegen de in-app video-call assistenten van Doubao en Gemini over zes real-world streaming scenario's: monitoring/waarschuwing, real-time tellen, real-time vertaling, tijdsbewustzijn, live commentaar en long-horizon geheugen.

• Menselijke Evaluatie: In een head-to-head vergelijking met 58 gevallen beoordeeld door menselijke experts op Kwaliteit en Timing:
  • JoyAI-VL-Interactie won 77,6% van de vergelijkingen tegen Doubao (met 5,2% verlies).
  • Het won 87,9% van de vergelijkingen tegen Gemini (met 1,7% verlies).
• Scenario Prestaties:
  • Perfecte Overwinningen: Het model behaalde een winstpercentage van 100% in Monitoring/Waarschuwing tegen beide baselines, en 100% in Real-time Tellen en Vertaling tegen Gemini.
  • Timing Voordeel: Het primaire voordeel van het model lag in de timing. Baselines faalden vaak pas te reageren nadat een gebruikersprompt of een polling-interval was gepasseerd, terwijl JoyAI-VL-Interactie reageerde op het exacte moment van de gebeurtenis.
  • Emergente Capaciteiten: Het model toonde vaardigheden die niet expliciet getraind waren, zoals het begeleiden van een gebruiker door een winkel-app interface en het aanhouden van een strikt 4-seconden commentaar-cadans, wat wijst op een algemene "kijken-en-doen" competentie.
• Beperkingen: De auteurs erkennen dat op het gebied van algemene beurtgebaseerde chatkwaliteit en robuustheid tegen zeldzame inputs, het 8B-model wordt overtroffen door de grotere, volwassen modellen die Doubao en Gemini aandrijven. Incidentele hallucinaties in het commentaar werden toegeschreven aan de compacte schaal van het model en de schaarse commentaar-data.

Betekenis en Claims

Het paper betoogt dat interactiviteit moet worden geschaald als een onderscheidende capaciteit van het model zelf, in plaats van te worden gesimuleerd door externe triggers of beurten-detectoren. De betekenis van dit werk ligt in:

• Paradigmaverschuiving: De verschuiving van VLMs van "stuur een verzoek en wacht" naar een "kijk-en-doe" modus van samenwerking, waarbij de AI werkelijk aanwezig is in de fysieke wereld.
• Gebeurtenisgestuurde Aanwezigheid: Het bewijs dat een compact model grotere, beurtgebaseerde systemen kan verslaan in tijdgevoelige, gebeurtenisgestuurde scenario's, simpelweg door in staat te zijn te beslissen wanneer te handelen.
• Open Fundament: Door de volledige stack (model, recept, data, systeem) vrij te geven, beogen de auteurs de drempel voor de community te verlagen om "altijd aanwezige" assistenten, AI-brillen en embodied intelligence te verkennen, waarmee het veld verschuift van beurtgebaseerde dialoog naar echte streaming interactie.

De auteurs concluderen dat hoewel de huidige release een vroege fase is met ruimte voor data-scaling en verbeteringen in robuustheid, de opkomst van ongepropt, tijdsbewust gedrag de richting van het schalen van interactiviteit als een primaire capaciteit valideert.