Don't Pause: Streaming Video-Language Synchrony for Online Video Understanding
यह शोध पत्र LyraV प्रस्तुत करता है, जो एक ऑनलाइन वीडियो-भाषा मॉडल है जिसमें एक फ्रेम-ड्रिवन ट्रांजिशन कंट्रोलर और एक स्ट्रीमिंग टोकन पेसर के साथ एक पदानुक्रमित नियंत्रण ढांचा (hierarchical control framework) है, ताकि धारणा (perception) को रोके बिना फ्रेम प्रोसेसिंग और वृद्धिशील टोकन जनरेशन को आपस में जोड़कर निर्बाध, वास्तविक समय की वीडियो-भाषा तुल्यकालिता (video-language synchrony) प्राप्त की जा सके।