Parallelograms Strike Back: LLMs Generate Better Analogies than People

यहाँ शोध पत्र "Parallelograms Strike Back: LLMs Generate Better Analogies than People" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र संज्ञानात्मक विज्ञान (cognitive science) में शब्द उपमाओं (word analogies, जैसे $A:B::C:D$) की प्रकृति के संबंध में एक मौलिक बहस को संबोधित करता है।

• समानांतर चतुर्भुज मॉडल (The Parallelogram Model): एक शास्त्रीय ज्यामितीय सिद्धांत (Rumelhart & Abrahamson, 1973) यह प्रस्तावित करता है कि उपमाओं को एक अर्थपूर्ण स्थान (semantic space) में वेक्टर अंकगणित ($D \approx C + (B - A)$) द्वारा हल किया जाता है।
• चुनौती: हाल के शोध (Peterson et al., 2020) ने सुझाव दिया कि यह मॉडल मानव-जनित उपमाओं को पकड़ने में विफल रहता है, और तर्क दिया कि मनुष्य संबंधपरक बाधाओं (relational constraints) के बजाय स्थानीय समानता अनुमानी (local similarity heuristics) (जैसे $C$ के समान शब्द चुनना) पर अधिक निर्भर करते हैं।
• प्रश्न: क्या समानांतर चतुर्भुज मॉडल इसलिए विफल होता है क्योंकि यह उपमा का एक गलत मॉडल है, या इसलिए क्योंकि मनुष्य संज्ञानात्मक रूप से सीमित हैं और लगातार संबंध-संरक्षण करने वाली उपमाएँ उत्पन्न करने में विफल रहते हैं? लेखक इसकी जांच करने के लिए मानव प्रदर्शन की तुलना बड़े भाषा मॉडलों (LLMs) के साथ करते हैं, जो अलग-अलग संज्ञानात्मक सीमाओं वाले हो सकते हैं।

2. कार्यप्रणाली (Methodology)

डेटा और उद्दीपन (Data and Stimuli)

• डेटासेट: अध्ययन में Peterson et al. (2020) से लिए गए 846 चार-पद वाले उपमा स्टेम (stems) का उपयोग किया गया, जो Green et al. (2010), Kmiecik & Morrison (2013), और SemEval-2012 Task 2 से प्राप्त किए गए थे।
• मॉडल: छह अत्याधुनिक LLMs का परीक्षण किया गया:
  • Closed-source: GPT-5-mini, o4-mini.
  • Open-source: DeepSeek-V3.1-671B, Qwen3-235B, Qwen3-32B, Gemma-3-27B.
• जेनरेशन प्रोटोकॉल: प्रत्येक उपमा को चार अर्थपूर्ण रूप से समान वाक्यांशों के साथ प्रॉम्प्ट किया गया, जिसे प्रति प्रॉम्प्ट 10 बार दोहराया गया (तापमान/temperature = 1.0), जिससे प्रति मॉडल प्रति उपमा 40 प्रतिक्रियाएँ प्राप्त हुईं। इससे ~203,040 LLM प्रतिक्रियाएँ उत्पन्न हुईं।
• मानव आधार रेखा (Human Baseline): मूल Peterson et al. डेटासेट से 26,265 मानव प्रतिक्रियाओं के विरुद्ध तुलना की गई।

मूल्यांकन मेट्रिक्स (Evaluation Metrics)

1. मानव रेटिंग: 390 प्रतिभागियों ने 7-पॉइंट स्केल पर $C:D$ की $A:B$ के साथ संबंधपरक समानता को रेट किया।
2. ज्यामितीय मॉडलिंग (GloVe): प्रतिक्रियाओं को 300-आयामी GloVe एम्बेडिंग में मैप किया गया। पूर्णता (completions) की भविष्यवाणी करने के लिए तीन नियमों का परीक्षण किया गया:
   • Parallelogram (समानांतर चतुर्भुज): $v(B) - v(A) + v(C)$ के कोसाइन सिमिलरिटी (cosine similarity) के आधार पर रैंकिंग।
   • Local Similarity ($C:D$): केवल $C$ के साथ समानता के आधार पर रैंकिंग।
   • Nearest-Neighbor (NN): $B$ या $C$ में से जो अधिक निकट हो, उसके साथ समानता के आधार पर रैंकिंग।
3. अनुमानात्मक विश्लेषण (Predictive Analysis): लेखकों ने यह मापने के लिए कि ये नियम प्रतिक्रियाओं के वितरण को कितनी अच्छी तरह पकड़ते हैं, Cumulative Proportion Retrieved (CPR) का उपयोग किया।
4. रिग्रेशन विश्लेषण (Regression Analysis): रेटिंग अंतर (LLM बनाम मानव) की भविष्यवाणी करने के लिए मल्टीपल रिग्रेशन मॉडल बनाए गए, जिसमें चार भविष्यवक्ता (predictors) थे:
   • $\Delta$ Parallelogram एलाइनमेंट।
   • $\Delta$ Local similarity ($C:D$ या NN)।
   • $\Delta$ Log word frequency (lexical accessibility/शाब्दिक सुलभता)।
5. आंतरिक प्रतिनिधित्व जाँच (Internal Representation Check): लेखकों ने यह देखने के लिए ओपन-सोर्स मॉडलों से 'residual stream embeddings' निकाले कि क्या LLM के आंतरिक प्रतिनिधित्व GloVe की तुलना में समानांतर चतुर्भुज मॉडल के साथ बेहतर संरेखित होते हैं।

3. मुख्य परिणाम (Key Results)

A. LLMs बेहतर उपमाएँ उत्पन्न करते हैं

• रेटिंग लाभ: मानव रेटर्स ने लगातार LLM-जनित उपमाओं को मानव-जनित उपमाओं की तुलना में उच्च गुणवत्ता (अधिक संबंधपरक समानता) वाला माना।
  • GPT-5-mini ने सबसे बड़ा लाभ दिखाया ($b = 0.18, p < .001$)।
  • Qwen3-32B एकमात्र मॉडल था जो मनुष्यों से महत्वपूर्ण रूप से बेहतर नहीं था।
• वितरणात्मक अंतर: LLM का लाभ मानव प्रतिक्रियाओं के लॉन्ग टेल (long tail) द्वारा संचालित है। मनुष्यों ने विविध प्रकार की कम-आवृत्ति वाली, कमजोर पूर्णताएँ उत्पन्न कीं। LLMs अधिक केंद्रित थे (85% LLM प्रतिक्रियाएँ मोडल थीं बनाम 64% मनुष्यों के लिए)।
  • महत्वपूर्ण निष्कर्ष: जब केवल मोडल (सबसे अधिक आवृत्ति वाले) प्रतिक्रियाओं की तुलना को प्रतिबंधित किया गया, तो LLM का लाभ गायब हो गया। मनुष्य और LLMs अपने सबसे सामान्य उत्तरों पर समान रूप से अच्छा प्रदर्शन करते हैं।

B. समानांतर चतुर्भुज मॉडल "वापस हमला करता है" (The Parallelogram Model "Strikes Back")

• भविष्यवाणी सटीकता: जबकि स्थानीय समानता अनुमानी ($C:D$) दोनों मनुष्यों और LLMs के लिए सबसे अच्छे समग्र भविष्यवक्ता थे (Peterson et al. की पुनरावृत्ति करते हुए), समानांतर चतुर्भुज मॉडल LLMs के लिए मनुष्यों की तुलना में काफी बेहतर प्रदर्शन करता है।
• अंतराल में कमी: समानांतर चतुर्भुज मॉडल और स्थानीय समानता अनुमानी के बीच का प्रदर्शन अंतराल मनुष्यों के लिए LLMs की तुलना में दोगुने से अधिक बड़ा था। यह सुझाव देता है कि LLMs संबंधपरक बाधाओं का अधिक सख्ती से पालन करते हैं।

C. गुणवत्ता के चालक (Drivers of Quality)

रिग्रेशन विश्लेषण ने खुलासा किया कि दो कारकों ने भविष्यवाणी की कि LLM उपमाएँ बेहतर क्यों थीं:

1. Parallelogram Alignment: GloVe स्पेस में वेक्टर अंतर $(B-A)$ के साथ उच्च संरेखण ने उच्च रेटिंग की भविष्यवाणी की ($\beta \approx 0.20, p < .001$)।
2. Lexical Accessibility (शाब्दिक सुलभता): LLMs ने मनुष्यों की तुलना में कम-आवृत्ति वाले (कम सुलभ) शब्दों का उपयोग किया। विरोधाभासी रूप से, ये कम सामान्य शब्द बेहतर उपमाओं के रूप में रेट किए गए।
   • नोट: Local similarity ($C:D$) वास्तव में एक नकारात्मक भविष्यवक्ता था; $C$ के बहुत अधिक समान होना बिना संबंध को संतुष्ट किए रेटिंग को कम कर देता था।

D. आंतरिक बनाम बाहरी प्रतिनिधित्व (Internal vs. External Representations)

• GloVe बनाम आंतरिक: बाहरी GloVe स्पेस में समानांतर चतुर्भुज संरेखण ने LLMs के अपने आंतरिक 'residual stream embeddings' की तुलना में मानव रेटिंग की बेहतर भविष्यवाणी की।
• निहितार्थ: LLMs इस कार्य को हल करने के लिए आंतरिक रूप से ज्यामितीय वेक्टर्स में "सोचते" नहीं हैं। इसके बजाय, वे ऐसे आउटपुट उत्पन्न करते हैं जो संबंधपरक बाधाओं को संतुष्ट करते हैं, भले ही वे बाधाएं उनके आंतरिक ज्यामिति में स्पष्ट रूप से एनकोड न हों।

4. मुख्य योगदान (Key Contributions)

1. समानांतर चतुर्भुज मॉडल का पुनर्मूल्यांकन: यह शोध पत्र इस निष्कर्ष को चुनौती देता है कि समानांतर चतुर्भुज मॉडल एक खराब उपमा मॉडल है। इसके बजाय, यह सुझाव देता है कि मॉडल एक अच्छी उपमा के क्या होने का एक वैध विवरण है, लेकिन मनुष्य संज्ञानात्मक बाधाओं (सुलभता, पुनर्प्राप्ति विफलता) के कारण इसे निष्पादित करने में अक्सर विफल रहते हैं।
2. LLM बनाम मानव संज्ञानात्मक प्रोफाइल: यह प्रदर्शित करता है कि LLMs संबंध-संरक्षण करने वाली उपमाएँ उत्पन्न करने में अधिक सुसंगत हैं, जबकि मनुष्य "लॉन्ग टेल" वाली कमजोर, स्थानीय रूप से समान प्रतिक्रियाएँ दिखाते हैं।
3. जेनरेशन और इवैल्यूएशन का पृथक्करण: यह अध्ययन दिखाता है कि हालांकि LLMs बेहतर उपमाएँ उत्पन्न करते हैं, वे ऐसा बिना यह आवश्यक रूप से किए करते हैं कि उनके आंतरिक तंत्र उनके मूल्यांकन के लिए उपयोग किए जाने वाले बाहरी GloVe स्पेस के ज्यामितीय मॉडलों के समान हों।
4. मोडल रिस्पॉन्स विश्लेषण: यह एक महत्वपूर्ण सूक्ष्मता पेश करता है कि "LLM लाभ" काफी हद तक मानव विसंगति (लॉन्ग टेल) का एक आर्टिफैक्ट है, न कि सर्वोत्तम संभव उत्तर उत्पन्न करने में LLM की श्रेष्ठता।

5. महत्व (Significance)

• संज्ञानात्मक विज्ञान: निष्कर्ष बताते हैं कि मानव अध्ययनों में समानांतर चतुर्भुज मॉडल की "विफलता" स्वयं मॉडल की विफलता नहीं है, बल्कि मानव उत्पादन की विफलता है। मनुष्य संबंधपरक उपमाओं को पसंद करते हैं लेकिन संज्ञानात्मक भार के तहत उन्हें बनाने में संघर्ष करते हैं।
• AI मूल्यांकन: यह उजागर करता है कि LLMs उच्च-गुणवत्ता वाले संबंधपरक तर्क का अनुकरण कर सकते हैं, भले ही उनके आंतरिक तंत्र उन ज्यामितीय मॉडलों से भिन्न हों जिनका उपयोग उनके मूल्यांकन के लिए किया जाता है।
• भविष्य की दिशाएँ: यह शोध पत्र सुझाव देता है कि AI सिस्टम का अध्ययन संज्ञानात्मक विज्ञान में नए अंतर्दृष्टि प्रदान कर सकता है, विशेष रूप से मानव संज्ञानात्मक सीमाओं के शोर से "आदर्श" संबंधपरक प्रदर्शन को अलग करके।

संक्षेप में, यह शोध पत्र तर्क देता है कि LLMs बेहतर उपमाएँ उत्पन्न करते हैं क्योंकि वे लगातार संबंधपरक बाधाओं (समानांतर चतुर्भुज) को संतुष्ट करते हैं और कम सुलभ शब्दावली का उपयोग करते हैं, जबकि मनुष्य अक्सर आसान, स्थानीय रूप से समान शब्दों पर वापस आ जाते हैं जो संबंधपरक परीक्षण में विफल रहते हैं। समानांतर चतुर्भुज मॉडल मानव गुणवत्ता के निर्णय के लिए एक मजबूत भविष्यवक्ता बना हुआ है, भले ही यह मानव उत्पादन के लिए एक खराब भविष्यवक्ता हो।