Dynamic Cluster Data Sampling for Efficient and Long-Tail-Aware Vision-Language Pre-training
यह शोध पत्र DynamiCS को प्रस्तुत करता है, जो एक गतिशील क्लस्टर-आधारित नमूनाकरण (sampling) विधि है जो प्रत्येक इपोक (epoch) में बड़े क्लस्टरों को डाउनसैंपल करके और छोटे क्लस्टरों को अपसैंपल करके सेमेंटिक डेटा वितरण को संतुलित करती है, जिससे कंप्यूटिंग लागत कम होती है और लॉन्ग-टेल अवधारणाओं (long-tail concepts) पर विजन-लैंग्वेज मॉडल के प्रदर्शन में महत्वपूर्ण सुधार होता है।