💬 NLP

ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces

यह शोध पत्र ACAR को प्रस्तुत करता है, जो एक ऐसा मापन ढांचा (measurement framework) है जो सटीकता प्राप्त करने के लिए सेल्फ-कंसिस्टेंसी वेरिएंस (self-consistency variance) का उपयोग करते हुए मल्टी-मॉडल एन्सेम्बल्स के बीच कार्यों को रूट करता है, जिससे आधे से अधिक कार्यों पर पूर्ण एन्सेबलिंग से बचते हुए दो-मॉडल बेसलाइन से अधिक सटीकता प्राप्त होती है, साथ ही रिट्रीवल ऑग्मेंटेशन, 'एग्रीमेंट-ऑन-व्रांग' (गलत पर सहमति) विफलता मोड और एट्रिब्यूशन के लिए प्रॉक्सी संकेतों की अपर्याप्तता के संबंध में महत्वपूर्ण सीमाओं को भी प्रलेखित करता है।

मूल लेखक: Ramchand Kumaresan

प्रकाशित 2026-02-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ramchand Kumaresan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक उच्च-स्तरीय परामर्श फर्म (consulting firm) चलाते हैं। आपके पास तीन प्रतिभाशाली विशेषज्ञ हैं: Claude, GPT, और Gemini।

कभी-कभी, आपके क्लाइंट सरल प्रश्न पूछते हैं जैसे, "फ्रांस की राजधानी क्या है?" इसके लिए आपको तीनों विशेषज्ञों की बैठक बुलाने की आवश्यकता नहीं है; एक ही काफी है। लेकिन अन्य समय में, क्लाइंट अविश्वसनीय रूप से कठिन प्रश्न पूछते हैं जैसे, "मैं एक ऐसी सेल्फ-ड्राइविंग कार कैसे बनाऊं जो कभी दुर्घटनाग्रस्त न हो?" उन प्रश्नों के लिए, सही उत्तर प्राप्त करने के लिए आपको सही उत्तर पाने हेतु तीनों विशेषज्ञों को मिलकर विचार-मंथन (brainstorm) करने की आवश्यकता होती है।

समस्या क्या है? हर प्रश्न के लिए तीनों विशेषज्ञों को बुलाना महंगा और धीमा है। हर प्रश्न के लिए केवल एक विशेषज्ञ को बुलाना सस्ता है लेकिन जोखिम भरा है क्योंकि वे गलती कर सकते हैं।

यह पेपर ACAR (Adaptive Complexity Routing) नामक एक स्मार्ट सिस्टम पेश करता है जो एक अति-कुशल प्रोजेक्ट मैनेजर की तरह कार्य करता है ताकि यह तय किया जा सके कि कब एक विशेषज्ञ को बुलाना है और कब पूरी टीम को बुलाना है।

यह इस प्रकार काम करता है, जिसे सरल अवधारणाओं में विभाजित किया गया है:

1. "वाइब चेक" (द रूटिंग मैकेनिज्म)

महंगे विशेषज्ञों से पूछने से पहले, सिस्टम एक तेज़, सस्ते "प्रोब" मॉडल (Gemini) से प्रश्न को लगातार तीन बार पूछने के लिए कहता है।

परिदृश्य A (आसान कार्य): प्रोब तीन बार एक ही उत्तर देता है।
- मैनेजर का विचार: "ठीक है, सभी सहमत हैं। यह आसान है। आइए बस अंतिम उत्तर भेज दें और पैसे बचाएं।"
- परिणाम: केवल एक मॉडल का उपयोग किया जाता है।
परिदृश्य B (ट्रिकी कार्य): प्रोब दो अलग-अलग उत्तर देता है (जैसे, दो कहते हैं "हाँ", एक कहता है "नहीं")।
- मैनेजर का विचार: "हम्म, कुछ असहमति है। चलिए दो विशेषज्ञों को दोबारा जांच करने के लिए बुलाते हैं।"
- परिणाम: दो मॉडलों का उपयोग किया जाता है।
परिदृश्य C (कठिन कार्य): प्रोब तीन पूरी तरह से अलग उत्तर देता है।
- मैनेजर का विचार: "पूर्ण अराजकता! यह एक दुःस्वप्न है। हमें इस समस्या को हल करने के लिए तीन विशेषज्ञों की पूरी टीम की आवश्यकता है।"
- परिणाम: तीनों मॉडलों का उपयोग किया जाता है।

जादू: इस "वाइब चेक" को पहले करके, सिस्टम आसान कार्यों के लिए पैसे बचाता है जबकि कठिन कार्यों के लिए उच्च-गुणवत्ता वाले उत्तर भी प्रदान करता है।

2. "ऑडिट ट्रेल" (क्यों यह पेपर विशेष है)

अधिकांश AI शोध एक 'ब्लैक बॉक्स' की तरह है: आप डेटा डालते हैं, परिणाम प्राप्त करते हैं, और उम्मीद करते हैं कि यह काम करेगा। यह पेपर अलग है। शोधकर्ताओं ने TEAMLLM नामक एक प्रणाली बनाई है जो एक कांच की दीवारों वाली फैक्ट्री की तरह है।

प्रत्येक निर्णय, खर्च किया गया प्रत्येक डॉलर, और प्रत्येक बार जब मॉडल सहमत या असहमत हुए, उसे एक अपरिवर्तनीय लॉग (log) में रिकॉर्ड किया जाता है। यह एक विमान के फ्लाइट रिकॉर्डर की तरह है। यदि कुछ गलत हो जाता है, तो आप पीछे देख सकते हैं और बिल्कुल देख सकते हैं कि ऐसा क्यों हुआ। यह परिणामों को भरोसेमंद और पुनरुत्पादक (reproducible) बनाता है।

3. "ओप्स" के चौंकाने वाले क्षण (क्या काम नहीं आया)

शोधकर्ताओं ने कुछ चीजें आजमाईं जिन्हें उन्हें लगा कि मदद करेंगी, लेकिन वास्तव में उन्होंने चीजों को और खराब कर दिया। ये वे "नकारात्मक परिणाम" हैं जो सफलताओं जितने ही महत्वपूर्ण हैं:

"खराब संदर्भ" की समस्या: उन्होंने मॉडलों को पिछले समान प्रश्नों की एक "चीट शीट" (cheat sheet) देने की कोशिश की (रिट्रीवल ऑग्मेंटेशन)।
- उपमा: कल्पना कीजिए कि आप एक शेफ से स्टेक पकाने के लिए कह रहे हैं, लेकिन आप उन्हें केक की रेसिपी थमा देते हैं क्योंकि वे दिखने में एक जैसे लगते हैं।
- परिणाम: इसने मॉडलों को भ्रमित कर दिया और उन्हें और भी बदतर बना दिया। यह स्पष्ट है कि केवल "अधिक जानकारी" होना मददगार नहीं है यदि वह जानकारी वास्तव में समस्या से मेल नहीं खाती है।
"ग्रुपथिंक" (Groupthink) का जाल: कभी-कभी, तीनों विशेषज्ञ एक गलत उत्तर पर सहमत होते हैं।
- उपमा: यदि एक कमरे में तीन लोग पूरी तरह से विश्वास के साथ कहते हैं, "आसमान हरा है," और आप उनकी सहमति पर भरोसा करते हैं, तो आप अभी भी गलत हैं।
- परिणाम: सिस्टम इसे ठीक नहीं कर सका। यदि प्रारंभिक "वाइब चेक" गलत उत्तर पर सहमत होता है, तो सिस्टम सोचता है कि कार्य आसान है और वहीं रुक जाता है। यह एक कठिन सीमा है कि सिस्टम कितना स्मार्ट हो सकता है।

4. निचोड़ (The Bottom Line)

ACAR प्रणाली लागत और गुणवत्ता के बीच संतुलन बनाने का एक स्मार्ट तरीका है।

इसके बिना: या तो आप हर समय सभी विशेषज्ञों का उपयोग करने के लिए एक बड़ी राशि चुकाते हैं, या आप केवल एक का उपयोग करके खराब उत्तरों का जोखिम उठाते हैं।
इसके साथ: आपको ऐसे उत्तर मिलते हैं जो केवल दो विशेषज्ञों का उपयोग करने से बेहतर हैं, लेकिन आप कम पैसा खर्च करते हैं क्योंकि आप आसान चीजों के लिए महंगे "फुल टीम मीटिंग" को छोड़ देते हैं।

संक्षेप में: यह पेपर हमें सिखाता है कि यह तय करने के लिए कि किस AI का उपयोग करना है, आपको एक जटिल AI मस्तिष्क की आवश्यकता नहीं है। कभी-कभी, एक सरल नियम "आइए तीन बार पूछें और देखें कि क्या वे सहमत हैं" पैसे बचाने और अच्छे परिणाम प्राप्त करने का सबसे अच्छा तरीका होता है। यह हमें यह चेतावनी भी देता है कि "अधिक डेटा" या "समूह सहमति" पर अंधाधुंध भरोसा करना कभी-कभी हमें गलत रास्ते पर ले जा सकता है।

यहाँ शोध पत्र "ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र बड़े भाषा मॉडल (LLMs) को तैनात करने में गुणवत्ता (Quality) और लागत (Cost) के बीच के मौलिक संतुलन (trade-off) को संबोधित करता है।

चुनौती: एक एकल मॉडल जटिल कार्यों पर विफल हो सकता है, जबकि कई मॉडलों को समानांतर में चलाना (ensembling) विश्वसनीयता तो बढ़ाता है लेकिन इन्फरेंस लागत को कई गुना बढ़ा देता है।
अंतराल (Gap): मौजूदा समाधान अपर्याप्त हैं:
- Learned Routers: इन्हें प्रशिक्षण डेटा की आवश्यकता होती है, ये वितरण परिवर्तन (distribution shift) से प्रभावित होते हैं, इनमें व्याख्यात्मकता (interpretability) का अभाव होता है, और ये सहयोगों में क्रेडिट असाइनमेंट को नहीं संभाल सकते।
- Observability Platforms: ये पोस्ट-हॉक विश्लेषण प्रदान करते हैं लेकिन वास्तविक समय में रूटिंग निर्णयों को प्रभावित नहीं करते हैं।
लक्ष्य: एक सिद्धांत-आधारित, अनुकूलन योग्य (adaptive) रूटिंग तंत्र विकसित करना जो निष्पादन से पहले कार्य की कठिनाई के आधार पर कंप्यूट आवंटित करे, बिना किसी सीखे गए क्लासिफायर (learned classifier) पर निर्भर रहे, और पूर्ण ऑडिटेबिलिटी एवं पुनरुत्पादकता (reproducibility) सुनिश्चित करे।

2. कार्यप्रणाली (Methodology)

A. निष्पादन आधार (The Execution Substrate): TEAMLLM

लेखकों ने TEAMLLM बनाया है, जो ऑडिट योग्य मल्टी-मॉडल प्रयोगों के लिए डिज़ाइन किया गया एक नियतात्मक (deterministic) निष्पादन आधार है। यह तीन नियमों को लागू करता है:

नियतात्मक निष्पादन (Deterministic Execution): प्रत्येक रन सीड्स (seeds), प्रॉम्प्ट हैश और एनवायरनमेंट फिंगरप्रिंट को कैप्चर करता है ताकि समान पुन: निष्पादन सुनिश्चित हो सके।
अपरिवर्तनीय आर्टिफैक्ट्स (Immutable Artifacts): सभी प्रतिक्रियाएं और निर्णय ट्रेस 'अपेंड-ओनली' (append-only) हैं, जो ऐतिहासिक डेटा के संशोधन को रोकते हैं।
फॉरवर्ड-ओनली स्टेट मशीन (Forward-Only State Machine): रन परिभाषित अवस्थाओं (Pending → Executing → Verifying → Completed) के माध्यम से आगे बढ़ते हैं और इसमें कोई रोलबैक नहीं होता।

B. मुख्य तंत्र: ACAR (Adaptive Complexity & Attribution Routing)

ACAR कार्य की कठिनाई के प्रॉक्सी के रूप में सेल्फ-कंसिस्टेंसी वेरिएंस ( $\sigma$ ) का उपयोग करता है। एक क्लासिफायर को प्रशिक्षित करने के बजाय, यह एक तेज़ "प्रोब" (probe) मॉडल के सामंजस्य पर आधारित एक ह्यूरिस्टिक का उपयोग करता है।

प्रोब चरण (Probe Phase): एक तेज़ मॉडल (Gemini 2.0 Flash) दिए गए कार्य के लिए $N=3$ स्वतंत्र नमूने उत्पन्न करता है।
वेरिएंस गणना (Variance Calculation): सिस्टम कैनोनिकल उत्तरों ( $a_1, a_2, a_3$ $a_{1}, a_{2}, a_{3}$ ) को निकालता है और $\sigma$ $σ$ की गणना करता है:
- $\sigma = 0.0$ : तीनों उत्तर सहमत हैं (कार्य संभवतः आसान है)।
- $\sigma = 0.5$ : 3 में से 2 उत्तर सहमत हैं (कार्य संदिग्ध है)।
- $\sigma = 1.0$ : तीनों उत्तर भिन्न हैं (कार्य कठिन/जटिल है)।
रूटिंग लॉजिक (Routing Logic):
- $\sigma = 0.0$ (Single-Agent): एक उच्च-गुणवत्ता वाले एकल मॉडल को रूट करता है।
- $\sigma = 0.5$ (Arena-Lite): सत्यापन के लिए 2-मॉडल एन्सेम्बल को रूट करता है।
- $\sigma = 1.0$ (Full-Arena): सर्वश्रेष्ठ उत्तर चुनने के लिए एक जज के साथ 3-मॉडल एन्सेम्बल को रूट करता है।

C. प्रयोगात्मक सेटअप (Experimental Setup)

मॉडल: Claude Sonnet 4, GPT-4o, और Gemini 2.0 Flash (प्रोब के रूप में उपयोग किया गया)।
बेंचमार्क: MathArena, Reasoning Gym, LiveCodeBench, और SuperGPQA से 1,510 कार्य।
कॉन्फ़िगरेशन: Single-Model, 2-Model Ensemble, 3-Model Ensemble, और दो ACAR वेरिएंट्स (रिट्रीवल ऑग्मेंटेशन के साथ और बिना) की तुलना की गई।

3. प्रमुख योगदान (Key Contributions)

ACAR फ्रेमवर्क: एक अनुकूलन योग्य रूटिंग तंत्र जो 55.6% सटीकता प्राप्त करता है, जो एक स्टैटिक 2-मॉडल बेसलाइन (54.4%) से बेहतर है, जबकि 54.2% कार्यों के लिए पूर्ण एन्सेम्बलिंग से बचता है।
नकारात्मक परिणाम और फाल्सिफिएबल बेसलाइन्स (Negative Results & Falsifiable Baselines): शोध पत्र स्पष्ट रूप से दस्तावेजीकृत करता है कि क्या विफल हुआ, जो समुदाय के लिए महत्वपूर्ण अंतर्दृष्टि प्रदान करता है:
- रिट्रीवल ऑग्मेंटेशन (Retrieval Augmentation): नेटिव रिट्रीवल (सख्त सिमेंटिक एलाइनमेंट के बिना) ने शोर (noise) के इंजेक्शन के कारण सटीकता में 3.4 प्रतिशत अंक की कमी की।
- एट्रिब्यूशन प्रॉक्सी (Attribution Proxies): प्रतिक्रिया समानता या एंट्रॉपी पर आधारित अनुमानों ने ग्राउंड-ट्रुथ काउंटरफैक्चुअल के साथ कमजोर सहसंबंध दिखाया; वास्तविक एट्रिब्यूशन के लिए स्पष्ट काउंटरफैक्चुअल गणना की आवश्यकता होती है।
- एकमत-परंतु-गलत (Agreement-But-Wrong): जब मॉडल एक गलत उत्तर पर सर्वसम्मति में होते हैं ( $\sigma=0$ ), तो कोई भी डाउनस्ट्रीम एन्सेम्बल इसे सुधार नहीं सकता। यह एक अपरिहार्य सटीकता सीमा (full ensembling से 8pp कम) बनाता है।
TEAMLLM इंफ्रास्ट्रक्चर: ऑडिट योग्य 7,550+ रन के साथ एक नियतात्मक आधार का रिलीज़, जो पुनरुत्पादित मल्टी-मॉडल अनुसंधान को सक्षम बनाता है।

4. मुख्य परिणाम (Key Results)

प्रदर्शन बनाम लागत (Performance vs. Cost): ACAR-U (रिट्रीवल के बिना) ने 55.6% सटीकता के साथ ** $20.34** की लागत प्राप्त की, जो स्टैटिक 2-मॉडल एन्सेम्बल (54.4% सटीकता,$ 20.64) और सिंगल-मॉडल बेसलाइन (45.4% सटीकता, $17.04) से बेहतर प्रदर्शन करता है।
दक्षता (Efficiency): 32.9% कार्यों को सिंगल-एजेंट मोड में और 21.3% कार्यों को "arena-lite" में रूट करके, ACAR अधिकांश कार्यों के लिए महंगे फुल-एन्सेम्बल मोड से बचता है।
रिट्रीवल विफलता (Retrieval Failure): रिट्रीवल वाला वेरिएंट (ACAR-UJ) घटकर 52.4% सटीकता पर आ गया। विश्लेषण से पता चला कि औसत रिट्रीवल समानता केवल 0.167 थी, जो इंगित करता है कि उच्च हिट रेट का अर्थ सिमेंटिक प्रासंगिकता नहीं है।
लैटेंसी (Latency): ACAR-U ने आसान कार्यों को तेज़ सिंगल-मॉडल निष्पादन की ओर रूट करके मध्यम लैटेंसी प्राप्त की, जिससे फुल एन्सेम्बल के समन्वय ओवरहेड से बचाव हुआ।

5. महत्व और निहितार्थ (Significance and Implications)

अनुकूलन (Optimization) से माप (Measurement) की ओर बदलाव: पूर्ववर्ती कार्यों के विपरीत जो सीखे गए मॉडलों के माध्यम से रूटिंग सटीकता को अधिकतम करने पर केंद्रित थे, ACAR ऑडिटेबिलिटी, व्याख्यात्मकता और पुनरुत्पादकता को प्राथमिकता देता है। यह लागत-सचेत रूटिंग को एक माप समस्या (measurement problem) के रूप में देखता है।
रिट्रीवल उपयोगिता को फिर से परिभाषित करना: शोध पत्र इस बात का पुख्ता प्रमाण देता है कि "अधिक संदर्भ" (more context) स्वतः ही फायदेमंद नहीं होता है। रिट्रीवल ऑग्मेंटेशन के लिए उच्च सिमेंटिक एलाइनमेंट (समानता > 0.7) की आवश्यकता होती; अन्यथा, यह हानिकारक शोर पेश करता है।
सेल्फ-कंसिस्टेंसी की सीमाएँ: अध्ययन एक मौलिक सैद्धांतिक सीमा की पहचान करता: वे सिस्टम जो कठिनाई अनुमान के लिए सेल्फ-कंसिस्टेंसी पर भरोसा करते हैं, वे "सर्वसम्मत गलत सहमति" (unanimous incorrect agreement) से उबर नहीं सकते।
एट्रिब्यूशन की वास्तविकता: यह दर्शाता है कि ऑब्जर्वेशनल डेटा (प्रॉक्सियों) से मॉडल योगदान का अनुमान लगाना अविश्वसनीय है; कठोर एट्रिब्यूशन के लिए स्पष्ट काउंटरफैक्चुअल गणना की आवश्यकता होती है।

संक्षेप में, ACAR अनुकूलन योग्य इन्फरेंस के लिए एक मजबूत, मॉडल-एग्नोस्टिक फ्रेमवर्क प्रदान करता है जो लागत और गुणवत्ता के बीच संतुलन बनाता है, और साथ ही मल्टी-मॉडल सिस्टम में रिट्रीवल और एट्रिब्यूशन के संबंध में सामान्य धारणाओं पर एक महत्वपूर्ण "रियलिटी चेक" भी देता है।