Minibatch Selection via Partition Matroid Constrained Gradient Matching
यह शोधपत्र PartitionSel का प्रस्ताव करता है, जो बड़े भाषा मॉडलों (large language models) को फाइन-ट्यून करने के लिए एक क्रॉस-डोमेन मिनीबैच चयन विधि है, जो अभिसरण गति (convergence speed) और डोमेन कवरेज को संतुलित करने के लिए पार्टीशन-मैट्रॉइड कन्सट्रेंड ग्रेडिएंट मैचिंग (partition-matroid constrained gradient matching) का उपयोग करता है, जिससे ग्रेडिएंट संघर्षों को कम किया जा सके और मौजूदा बेसलाइन की तुलना में प्रदर्शन में सुधार किया जा सके।