तकनीकी सारांश: FBHM: घृणास्पद मीम्स (Hateful Memes) का पता लगाने के लिए VLMs का कार्यात्मक बेंचमार्किंग और स्टीयरिंग (Steering)

1. समस्या विवरण (Problem Statement)

घृणास्पद मीम्स का पता लगाना विजन-लैंग्वेज मॉडल्स (VLMs) के लिए एक कठिन चुनौती बना हुआ है। मौजूदा बेंचमार्क, जैसे कि फेसबुक हेटफुल मीम्स (FHM) और मामी (MAMI) डेटासेट्स, संरचनात्मक रूप से अवलोकन संबंधी (observational) हैं। वे अलंकारिक घृणा तंत्र (rhetorical hate mechanisms) को विशिष्ट लक्षित समुदाय विशेषताओं के साथ मिला देते हैं, जिससे मॉडल की कमजोरियों का कारणत्मक मूल्यांकन (causal evaluation) करना असंभव हो जाता है। फलस्वरूप, इन डेटासेट्स पर फाइन-ट्यून किए गए मॉडल मजबूत मल्टीमॉडल तर्क (multimodal reasoning) सीखने के बजाय डेटासेट-विशिष्ट ह्यूरिस्टिक्स (जैसे कि जनसांख्यिकीय पूर्वाग्रह) का लाभ उठाते हैं। जब वे कार्यात्मकता या लक्षित समुदायों के नियंत्रित बदलावों का सामना करते हैं, तो ये मॉडल गंभीर सामान्यीकरण अंतराल (generalization gap) का अनुभव करते हैं, और लगभग रैंडम प्रदर्शन पर गिर जाते हैं। इसके अलावा, मानक अनुकूलन रणनीतियाँ जैसे कि पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) और फ्यू-शॉट इन-कॉन्टेक्स्ट लर्निंग (ICL), अत्यधिक लो-डेटा बाधाओं (जैसे 500 नमूने) के तहत इस अंतर को पाटने में विफल रहती हैं, जो अक्सर सोर्स-डोमेन प्रदर्शन के लिए विनाशकारी विस्मृति (catastrophic forgetting) का कारण बनती हैं।

2. कार्यप्रणाली (Methodology)

A. FBHM बेंचमार्क

कारणत्मक मूल्यांकन की कमी को दूर करने के लिए, लेखक FBHM (Functionality Based Hateful Memes) पेश करते हैं, जो 5,000 मीम्स का एक व्यवस्थित रूप से क्यूरेट किया गया डेटासेट है। इस डेटासेट का निर्माण दो ऑर्थोगोनल अक्षों (orthogonal axes) पर किया गया है:

1. 25 विशिष्ट अलंकारिक कार्यात्मकताएँ (Rhetorical Functionalities): सॉफ्टवेयर इंजीनियरिंग के कार्यात्मक परीक्षण सिद्धांतों और पूर्व NLP हेट स्पीच कार्य (जैसे HateCheck) से प्रेरित, ये कार्यात्मकताएँ पांच आयामों को कवर करती हैं: विजुअल फॉर्मेट्स, टेक्स्टुअल अस्पष्टता (textual obfuscation), संरचनात्मक संरचना (structural composition), प्रागमैटिक अनुमान (pragmatic inference), और गैर-घृणास्पद विरोधाभास (non-hateful contrasts)।
2. 10 लक्षित समुदाय: इसमें मुस्लिम, यहूदी, अश्वेत, श्वेत, महिलाएं, पुरुष, ट्रांसजेंडर, समलैंगिक, अप्रवासी और विकलांग व्यक्ति शामिल हैं।

क्यूरेशन प्रक्रिया में एक विशिष्ट कार्यात्मकता के लिए एक बेस इमेज-टेक्स्ट पेयर बनाना और फिर केवल लक्षित समुदाय को बदलकर 10 नियंत्रित वेरिएंट बनाना शामिल है। यह संरचना आइसोलेटेड काउंटरफैक्चुअल मूल्यांकन (isolated counterfactual evaluation) को सक्षम बनाती है, जिससे शोधकर्ता यह निर्धारित कर सकते हैं कि मॉडल किसी विशिष्ट अलंकारिक तंत्र के कारण विफल हो रहा है या किसी विशिष्ट लक्षित समूह के कारण।

B. LSV (Learnable Steering Vectors)

न्यूनतम डेटा के साथ सामान्यीकरण अंतराल को कुशलतापूर्वक भरने के लिए, लेखक LSV प्रस्तावित करते हैं, जो एक अल्ट्रा-लो-डेटा रिजीम रणनीति है। PEFT के विपरीत, जो मॉडल वेट्स को अपडेट करता है, LSV एक फ्रोजन (frozen) VLM पर लेयर-वाइज निरंतर स्टीयरिंग वेक्टर्स के माध्यम से एक कारणत्मक हस्तक्षेप (causal intervention) लागू करता है।

• तंत्र (Mechanism): $L$ लेयर्स वाले एक फ्रोजन मॉडल $M$ के लिए, LSV लेयर-वाइज स्टीयरिंग वेक्टर्स $V = \{v_1, \dots, v_L\}$ और स्केलर गुणांक $\alpha = \{\alpha_1, \dots, \alpha_L\}$ सीखता है। लेयर $l$ पर हिडन स्टेट को इस प्रकार संशोधित किया जाता है:
  $$h'_l(x_q) = h_l(x_q) + c \cdot \alpha_l \cdot v_l$$
  जहाँ $c$ एक इन्फरेंस-टाइम स्केलिंग हाइपरपैरामीटर है।
• प्रशिक्षण उद्देश्य (Training Objective): वेक्टर्स को एक न्यूनतम स्टीयरिंग सेट ($D_{steer}$) पर अनुकूलित किया जाता है जिसमें 500 नमूने (केवल 50 अद्वितीय बेस मीम्स से प्राप्त) होते हैं, जो एक ड्यूल-ऑब्जेक्टिव लॉस का उपयोग करता है:
  1. डिस्ट्रीब्यूशन अलाइनमेंट ($L_d$): एक क्वेरी पर स्टीयर्ड मॉडल और एक रेफरेंस डिस्ट्रीब्यूशन (जो 32 उदाहरणों वाले ICL प्रदर्शन प्रॉम्प्ट से निर्मित है) के बीच कलबैक-लीब्लर (KL) डाइवर्जेंस को कम करता है। यह ICL प्रॉम्प्ट के संज्ञानात्मक तर्क को वेक्टर्स में स्थानांतरित करता है।
  2. ग्राउंड-ट्रुथ एंकर ($L_{gt}$): सही वर्गीकरण लेबल के साथ संरेखण सुनिश्चित करने के लिए पहले जेनरेटेड टोकन पर क्रॉस-एन्ट्रॉपी लॉस।
• इन्फरेंस (Inference): इन्फरेंस के समय, बेस मॉडल फ्रोजन रहता है, और कोई ICL प्रदर्शन प्रदान नहीं किया जाता है। सीखे गए वेक्टर्स को सीधे जीरो-शॉट फॉरवर्ड पास में इंजेक्ट किया जाता है।

3. मुख्य योगदान (Key Contributions)

1. नया डायग्नोस्टिक बेंचमार्क: FBHM का परिचय, जो 25 कार्यात्मकताओं और 10 लक्षित समुदायों में VLMs के आइसोलेटेड मूल्यांकन को सक्षम करने वाला एक कारणत्मक रूप से संरचित डेटासेट है।
2. सामान्यीकरण विफलता का अनुभवजन्य प्रमाण: यह प्रमाण कि अत्याधुनिक VLMs (Qwen-3, Pixtral, InternVL-3.5, और GPT-4.1/5-mini जैसे प्रोप्रायटरी मॉडल सहित) FHM/MAMI पर उच्च इन-डोमेन स्कोर प्राप्त करते हैं लेकिन FBHM पर बुरी तरह विफल होते हैं, जो स्प्यूरियस ह्यूरिस्टिक्स (spurious heuristics) पर निर्भरता को सिद्ध करता है।
3. मानक अनुकूलन की सीमाएँ: साक्ष्य कि जब न्यूनतम स्टीयरिंग सेट्स तक सीमित हो, तो मानक तकनीकें (PEFT और फ्यू-शॉट ICL) जटिल मल्टीमॉडल तर्क को संरेखित करने के लिए अपर्याप्त हैं, जो अक्सर सोर्स-डोमेन प्रदर्शन को भी खराब कर देती हैं।
4. LSV फ्रेमवर्क: एक विधि जो ICL तर्क को एक्टिवेशन वेक्टर्स में एक कारणत्मक हस्तक्षेप उद्देश्य के माध्यम से संकलित (distill) करती है, जो वेट अपडेट के बिना सामान्यीकरण को सफलतापूर्वक पुनर्प्राप्त करती है।

4. परिणाम और विश्लेषण (Results and Analysis)

प्रदर्शन लाभ (Performance Gains)

बेंचमार्किंग एक बड़े प्रदर्शन अंतर को प्रकट करती है। FHM/MAMI पर फाइन-ट्यून किए गए मॉडल FBHM पर लगभग रैंडम प्रदर्शन (जैसे ~45 मैक्रो-F1) पर गिर जाते हैं।

• LSV प्रभावकारिता: LSV FBHM प्रदर्शन को लगभग 30 मैक्रो-F1 पॉइंट्स तक बढ़ा देता है। उदाहरण के लिए, बेस Qwen-3 मॉडल FBHM टेस्ट सेट पर 45.99 से 72.78 मैक्रो-F1 तक सुधर जाता है।
• तुलना: LSV दोनों PEFT (जो नगण्य लाभ देता है और सोर्स प्रदर्शन को खराब करता है) और 32-शॉट ICL (जो मध्यम लाभ प्रदान करता है लेकिन कॉन्टेक्स्ट विंडो सीमाओं के कारण पूर्ण कार्यात्मक स्थान को कवर करने में विफल रहता है) की तुलना में काफी बेहतर प्रदर्शन करता है।

मजबूती और निष्पक्षता (Robustness and Fairness)

• सोर्स डोमेन संरक्षण: महत्वपूर्ण रूप से, क्योंकि LSV वेट्स को अपडेट नहीं करता है, यह मूल FHM और MAMI बेंचमार्क पर प्रदर्शन को बनाए रखता है या बढ़ाता है, जिससे विनाशकारी विस्मृति (catastrophic forgetting) से बचा जा सके।
• यूनिफॉर्म अलाइनमेंट: लक्षित-समुदाय-वार प्रदर्शन का विश्लेषण दिखाता है कि LSV सभी 10 लक्षित समूहों में वर्गीकरण सीमा को 70-80% की सीमा तक समान रूप से विस्तारित करता है, जिससे ICL बेसलाइन्स में देखे गए समुदाय-विशिष्ट बॉटलनैक्स समाप्त हो जाते हैं।
• कार्यात्मकता कवरेज: रडार चार्ट विश्लेषण इंगित करता है कि LSV संरचनात्मक तर्क क्षमताओं को सुचारू बनाता है, जो लगभग सभी 25 कार्यात्मकताओं में लाभ प्रदान करता है, जबकि ICL वेरिएंट विशिष्ट, स्थानीयकृत कार्यात्मक पॉकेट्स में विफल हो जाते हैं।

त्रुटि विश्लेषण (Error Analysis)

सुधार के बावजूद, अवशेष विफलता मोड (residual failure modes) बने हुए हैं:

• फॉल्स नेगेटिव (False Negatives): जटिल अस्पष्टता (स्लर्स का बीजगणितीय/हेक्स एनकोडिंग), तर्क उलटाव (रैथेटिक इनवर्जन - "ओपोजिट डे" फ्रेमिंग), और छद्म-सकारात्मक व्यंग्य (pseudo-positive sarcasm) चुनौतीपूर्ण बने हुए हैं।
• फॉल्स पॉजिटिव (False Positives): फॉन्ट पर्टर्बेशन (करप्टेड OCR) और हेट-एडजेंट शब्दावली वाले काउंटरस्पीच अक्सर गलत वर्गीकृत किए जाते हैं। ये पैटर्न विभिन्न आर्किटेक्चर (Qwen, GPT-4/5) में बार-बार आते हैं, जो सुझाव देते हैं कि उन्हें एक्टिवेशन-लेवल स्टीयरिंग से परे गहरे डिस्कोर्स अंडरस्टैंडिंग की आवश्यकता है।

इन्फरेंस स्केलिंग (Inference Scaling)

इष्टतम स्केलिंग कांस्टेंट $c$ को आर्किटेक्चर- और फाइन-ट्यूनिंग-निर्भर पाया गया है। होल्ड-आउट स्प्लिट्स पर वैलिडेशन इष्टतम $c$ का सटीक अनुमान लगाता है, जो टेस्ट-सेट एक्सेस के बिना वास्तविक दुनिया में तैनाती के लिए दृष्टिकोण की व्यावहारिकता की पुष्टि करता है।

5. महत्व और दावे (Significance and Claims)

यह पेपर वर्तमान VLM अलाइनमेंट में एक महत्वपूर्ण खामी को उजागर करने का दावा करता है: उच्च इन-डोमेन स्कोर विविध कार्यात्मक संरचनाओं में सामान्यीकरण करने की विफलता को छिपा देते हैं। इस कार्य का महत्व निम्नलिखित में निहित है:

1. डायग्नोस्टिक कठोरता: एक ऐसा उपकरण प्रदान करना जो उन कार्यात्मकता-वार और लक्षित-वार असमानताओं को उजागर करता है जिन्हें मानक बेंचमार्क मिस कर देते हैं।
2. कुशल अलाइनमेंट: यह प्रदर्शित करना कि कारणत्मक हस्तक्षेप (causal intervention) के माध्यम से सीखे गए स्टीयरिंग वेक्टर्स मात्र 500 नमूनों के साथ जटिल मल्टीमॉडल तर्क को संरेखित कर सकते हैं, जो वेट-आधारित अनुकूलन और कॉन्टेक्स्ट-हैवी विधियों से बेहतर है।
3. सुरक्षा और निष्पक्षता: एक ऐसी विधि प्रदान करना जो भारी रिट्रेनिंग की आवश्यकता के बिना, विविध जनसांख्यिकी में हेट डिटेक्शन की मजबूती और निष्पक्षता में सुधार करती है।

लेखक निष्कर्ष निकालते हैं कि हालांकि LSV जीरो-शॉट डिटेक्शन क्षमताओं में सुधार करता है, यह एक पूरी तरह से स्वायत्त निर्णायक के बजाय मानव मॉडरेटर्स की सहायता के लिए एक डायग्नोस्टिक टूल के रूप में कार्य करता है, विशेष रूप से जटिल प्रागमैटिक बायस जैसे कि विडंबना (irony) और गणितीय अस्पष्टता के बने रहने को देखते हुए।