← नवीनतम पेपर
💬 NLP

STORM: Internalized Modeling for Spatial-Temporal Reasoning in Video-Language Models

STORMS एक दो-चरणीय ढांचा है जो वीडियो-भाषा मॉडलों के स्थानिक-कालिक तर्क (spatial-temporal reasoning) को बढ़ाता है, उन्हें सीमित निरंतर लेटेंट प्रक्षेप पथों (bounded continuous latent trajectories) में गतिशील दृश्य साक्ष्य को आंतरिक रूप से आत्मसात करने के लिए प्रशिक्षित करके, जिससे बाहरी उपकरणों या स्पष्ट पाठ्य चेन-ऑफ-थॉट (textual chain-of-thought) पर निर्भर विधियों की तुलना में काफी कम इन्फरेंस विलंबता (inference latency) के साथ उच्च सटीकता प्राप्त होती है।

मूल लेखक: Yiming Liang, Yixiao Chen, Yiyang Zhou, Yixuan Wang, Shoubin Yu, Andong Deng, Fuxiao Liu, Qin Zhang, Chen Chen, Mohit Bansal, Huaxiu Yao

प्रकाशित 2026-05-26
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Yiming Liang, Yixiao Chen, Yiyang Zhou, Yixuan Wang, Shoubin Yu, Andong Deng, Fuxiao Liu, Qin Zhang, Chen Chen, Mohit Bansal, Huaxiu Yao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ TORM पेपर का स्पष्टीकरण दिया गया है, जिसे रोजमर्रा के उदाहरणों के साथ सरल अवधारणाओं में विभाजित किया गया है।

बड़ी समस्या: वीडियो के बारे में "सोचना" कठिन है

कल्पना कीजिए कि आप किसी को सैंडविच बनाते हुए देख रहे हैं। यह सवाल हल करने के लिए कि "वे आगे क्या करेंगे?", आपके मस्तिष्क को उनके हाथों की गति, सामग्रियों के क्रम और हर सेकंड के साथ दृश्य कैसे बदल रहा है, इस पर नज़र रखनी पड़ती है।

वर्तमान AI मॉडल (वीडियो-लैंग्वेज मॉडल्स) तस्वीरों को देखने में बेहतरीन हैं, लेकिन वे वीडियो के साथ संघर्ष करते हैं क्योंकि वीडियो एक चलता-फिरता पहेली जैसा होता है।

  • पुराना तरीका: इसे हल करने के लिए, वर्तमान AI अक्सर अपनी समस्याओं को "बोलकर" सुलझाने की कोशिश करता है। वह रुकता है, विचारों की एक लंबी सूची लिखता है (जैसे एक डायरी), कुछ विशिष्ट फ्रेम को फिर से देखने के लिए चुनता है, या मदद के लिए बाहरी टूल्स (tools) का उपयोग भी करता है।
  • नुकसान: यह एक गणित की समस्या को हल करने जैसा है जहाँ आप हर एक स्टेप को कागज पर लिखने की कोशिश करते हैं, फिर उसे मिटाते हैं, और फिर से लिखते हैं। यह धीमा, बोझिल और बहुत अधिक ऊर्जा (कंप्यूटिंग पावर) लेने वाला है।

समाधान: TORM ("आंतरिक मूवी")

लेखकों ने TORM (Spatial-Temporal reasOning via inteRnalized Modeling) का प्रस्ताव दिया है।

AI को मजबूर करने के बजाय कि वह अपने विचारों को बाहर लिखे या मदद के लिए पुकारे, TORM AI को एक छिपे हुए, संक्षिप्त कोड का उपयोग करके अपने स्वयं के "मस्तिष्क" के भीतर वीडियो को सिम्युलेट (simulate) करना सिखाता है।

इसे इस तरह समझें:

  • पुराना AI: एक जासूस की तरह जिसे रुकना पड़ता है, आवर्धक लेंस (magnifying glass) निकालना पड़ता है, सबूत की फोटो लेनी पड़ती है, रिपोर्ट लिखनी पड़ती है, और फिर एक और फोटो लेनी पड़ती है।
  • TORM AI: एक ऐसे जासूस की तरह जो अपनी आँखें बंद करता है और अपने दिमाग में उस दृश्य को पूरी तरह से दोबारा चलाता (replay) है, और फिर तुरंत आपको उत्तर दे देता है।

यह कैसे काम करता है: दो-चरणीय प्रशिक्षण (Two-Stage Training)

पेपर में AI को यह "माइंड मूवी" कौशल सिखाने के लिए एक चतुर दो-चरणीय प्रशिक्षण प्रक्रिया का वर्णन किया गया है।

चरण 1: "शिक्षक" मूवी दिखाता है

प्रशिक्षण के दौरान, सिस्टम एक विशेष "थॉट वीडियो" (Thought Video) बनाता है।

  1. यह एक वास्तविक वीडियो और एक प्रश्न लेता है।
  2. यह एक शक्तिशाली AI का उपयोग करके एक छोटा, नया वीडियो बनाता है जो केवल उन हिस्सों को दिखाता है जो उत्तर के लिए प्रासंगिक हैं (जैसे, ड्रिंक मिलाते हुए केवल हाथ)।
  3. मॉडल को यह "थॉट वीडियो" दिखाया जाता है और कहा जाता है: "तुम्हारी छिपी हुई मस्तिष्क अवस्थाओं (latent tokens) को इस वीडियो की तरह दिखना चाहिए।"
  4. उपमा: कल्पना कीजिए कि एक शिक्षक छात्र को एक फुटबॉल गोल का एक छोटा, सटीक क्लिप दिखाता है। शिक्षक कहता है, "गोल के बारे में पैराग्राफ मत लिखो। इसके बजाय, अपने दिमाग में गेंद के जाल से टकराने के अहसास को महसूस करो, और सुनिश्चित करो कि तुम्हारी 'मानसिक छवि' इस क्लिप से मेल खाती हो।"

चरण 2: "मौन" अभ्यास

एक बार जब AI इन वीडियो क्लिप्स के साथ अपने आंतरिक मस्तिष्क राज्यों (brain states) को मिलाना सीख जाता है, तो प्रशिक्षण बदल जाता है।

  1. "थॉट वीडियो" को हटा दिया जाता है।
  2. AI से फिर से वही प्रश्न पूछा जाता है।
  3. उसे कहा जाता है: "जाओ और अपने दिमाग में सोचो (उन आंतरिक अवस्थाओं का उपयोग करके जो तुमने सीखी हैं), लेकिन मुझे वीडियो मत दिखाओ। बस अंतिम उत्तर दो।"
  4. उपमा: शिक्षक क्लिप दिखाना बंद कर देता है। अब, छात्र को अपनी आँखें बंद करनी होती हैं, चरण 1 में सीखी गई मानसिक मूवी को अपने दिमाग में चलाना होता है, और उत्तर चिल्लाना होता है। उन्हें अब न तो नोट्स लिखने की अनुमति है और न ही स्क्रीन देखने की।

परिणाम: तेज़ और कुशल

जब AI का परीक्षण (inference) किया जाता है:

  • यह नए वीडियो बनाता नहीं है।
  • यह फ्रेम को दोबारा नहीं देखता है।
  • यह बाहरी टूल्स का उपयोग नहीं करता है।

यह बस अपने छिपे हुए कोड के भीतर एक छोटा, तेज़ "सिमुलेशन" (latent rollout) चलाता है और फिर उत्तर देता है।

यह बेहतर क्यों है?

  • गति: क्योंकि इसे भारी वीडियो फाइलें जेनरेट करने या फ्रेम खोजने की आवश्यकता नहीं होती है, इसलिए यह बहुत तेज़ है। पेपर दिखाता है कि यह बाहरी टूल्स पर निर्भर तरीकों की तुलना में लगभग 30 गुना तेज़ है।
  • सटीकता: यह जटिल वीडियो प्रश्नों के उत्तर देने में वास्तव में बेहतर हो जाता है क्योंकि इसने शब्दों के माध्यम से केवल वर्णन करना ही नहीं, बल्कि आंतरिक रूप से गति और समय को "महसूस" करना सीख लिया है।

सारांश

TORM AI को वीडियो समझने का एक नया तरीका है। AI को एक लंबी कहानी लिखने या बाहरी टूल्स का उपयोग करने के बजाय, यह उसे वीडियो का एक शांत, आंतरिक सिमुलेशन चलाने के लिए सिखाता है। यह प्रशिक्षण के दौरान "थॉट वीडियो" देखकर सीखता है, लेकिन वास्तविक परीक्षण के दौरान, यह बस त्वरित और सटीक उत्तर देने के लिए अपने आंतरिक "माइंड मूवी" का उपयोग करता है।

मुख्य बात: यह वीडियो रीजनिंग को "ज़ोर से काम करने" (धीमा और अव्यवस्थित) से बदलकर "मन में चुपचाप सोचने" (तेज़ और कुशल) में ले जाता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →