🤖 machine learning

HERO: A Heterogeneity-Aware Benchmark Library for Federated Continual Learning

यह शोध पत्र HERO को पेश करता है, जो फेडरेटेड कॉन्टिनुअल लर्निंग के लिए एक विषमता-जागरूक (heterogeneity-aware) बेंचमार्क लाइब्रेरी है जो टास्क स्प्लिट्स, क्लाइंट डेटा वितरण और टास्क सीक्वेंस को अलग करती है ताकि पुनरुत्पादनीय (reproducible) मूल्यांकन सक्षम किया जा सके, जो यह प्रकट करता है कि विभिन्न विषमता सेटिंग्स में विधियों का प्रदर्शन कैसे भिन्न होता है और औसत मेट्रिक्स द्वारा इसे कैसे छिपाया जा सकता है।

मूल लेखक: Thinh T. H. Nguyen, Le-Tuan Nguyen, Minh-Duong Nguyen, Nhi Trinh, Anh Tran Nam Nguyet, Dung D. Le, Kok-Seng Wong

प्रकाशित 2026-07-13

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Thinh T. H. Nguyen, Le-Tuan Nguyen, Minh-Duong Nguyen, Nhi Trinh, Anh Tran Nam Nguyet, Dung D. Le, Kok-Seng Wong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप छात्रों की एक विशाल कक्षा को पढ़ा रहे हैं जो सभी अलग-अलग कमरों में हैं, अलग-अलग पाठ्यपुस्तकों का उपयोग कर रहे हैं और अलग-अलग गति से सीख रहे हैं। यह Federated Continual Learning (FCL) की दुनिया है। लक्ष्य एक स्मार्ट "सुपर-टीचर" मॉडल को प्रशिक्षित करना है जो इन सभी छात्रों से सीख सके, लेकिन कभी भी उनकी निजी नोटबुक को न देखे। लेकिन यहाँ एक पेंच है: छात्रों के सबक समय के साथ बदलते रहते हैं। एक दिन वे बिल्लियों के बारे में सीखते हैं, अगले दिन कुत्तों के बारे में, और अगले दिन रॉकेटों के बारे में। शिक्षक को रॉकेटों को सीखते समय बिल्लियों को याद रखना होगा, जबकि छात्र दुनिया भर में बिखरे हुए हैं।

लंबे समय तक, इन "सुपर-टीचर्स" को टेस्ट करने की कोशिश करने वाले वैज्ञानिक "सेब की तुलना संतरे से करने" के खेल में लगे हुए थे। एक शोधकर्ता ने 100 तस्वीरों के डेटासेट पर परीक्षण किया होगा, दूसरे ने 1,000 पर; एक के पास सभी छात्र एक ही क्रम में सीख रहे होंगे, जबकि दूसरे के पास वे अराजकता में सीख रहे होंगे। यह बता पाना असंभव था कि कोई विधि वास्तव में स्मार्ट थी या सिर्फ भाग्यशाली थी क्योंकि टेस्ट आसान था।

पेश है HERO (Heterated-Aware Benchmark Library for Federated Continual Learning)। HERO को एक विशाल, पूरी तरह से कैलिब्रेटेड बाधा दौड़ (obstacle course) के रूप में समझें जिसे हर सुपर-टीचर को दौड़ना ही होगा। शोधकर्ताओं को अपने स्वयं के अस्त-व्यस्त ट्रैक बनाने देने के बजाय, HERO उनके लिए ट्रैक बनाता है, यह सुनिश्चित करते हुए कि सभी को बिल्कुल एक जैसी बाधाओं का सामना करना पड़े।

तीन जादुई नॉब्स (The Three Magic Knobs)

पेपर की मुख्य खोज यह है कि पिछले परीक्षणों ने तीन अलग-अलग प्रकार की समस्याओं को एक बड़े ढेर में मिला दिया था। HERO उन्हें तीन अलग-अलग "नॉब्स" में अलग करता है जिन्हें आप यह देखने के लिए घुमा सकते हैं कि मॉडल कहाँ टूटता है:

"किसे क्या मिलता है" वाला नॉब (Client Data Skew): एक पिज्जा पार्टी की कल्पना करें। यदि सभी को हर टॉपिंग का समान हिस्सा मिलता है, तो यह आसान है। लेकिन क्या होगा यदि एक छात्र को केवल पेपरोनी मिले, दूसरे को केवल मशरूम मिले, और तीसरे को एक अजीब मिश्रण मिले? यह क्लाइंट डेटा स्क्यू (client data skew) है। पेपर एक संख्या का उपयोग करता है जिसे $\alpha$ कहा जाता है। एक उच्च $\alpha$ (जैसे 100.00) का अर्थ है कि सभी को उचित हिस्सा मिलता है। एक निम्न $\alpha$ (जैसे 0.10) का अर्थ है कि हिस्से बहुत असमान हैं।
"कौन कब जाता है" वाला नॉब (Task-Order Mismatch): एक रिले रेस की कल्पना करें। एक सिंक्रोनाइज्ड रेस में, हर कोई लेग 1 दौड़ता है, फिर लेग 2, फिर लेग 3 एक साथ। लेकिन एक अराजक रेस में, छात्र A लेग 1 दौड़ता है, फिर लेग 3, फिर लेग 2, जबकि छात्र B लेग 2 दौड़ता है, फिर लेग 1, फिर लेग 3। यह टास्क-ऑर्डर मिसमैच (task-order mismatch) है। पेपर एक संख्या का उपयोग करता है जिसे $\rho$ कहा जाता है। यदि $\rho$ 0.00 है, तो सभी एक ही ताल में दौड़ते हैं। यदि $\rho$ 1.00 है, तो हर कोई अपनी खुद की अराजक लय में दौड़ रहा है।
"मेन्यू में क्या है" वाला नॉब (Task Split): यह तय करता है कि कौन से विषय (जैसे "बिल्लियाँ" या "कुत्ते") प्रत्येक सबक का हिस्सा बनेंगे।

इन्हें अलग करके, HERO शोधकर्ताओं को यह पूछने की अनुमति देता है: "क्या यह मॉडल इसलिए विफल हो रहा है क्योंकि डेटा असमान है, या क्योंकि छात्र पाठों के क्रम को लेकर भ्रमित हैं?"

बड़ा आश्चर्य: औसत स्कोर झूठ बोलते हैं

शोधकर्ताओं ने CIFAR-100 (100 इमेज श्रेणियों का एक डेटासेट) और TinyImageNet (100 इमेज श्रेणियों का एक छोटा सेट) का उपयोग करके एक विशाल प्रयोग चलाया। उन्होंने कई अलग-अलग "सुपर-टीचर" विधियों का परीक्षण किया।

यहाँ बड़ा खुलासा है: औसत स्कोर एक आपदा को छिपा सकते हैं।

"आसान" सेटिंग (जहाँ डेटा निष्पक्ष है और सभी एक क्रम में सीखते हैं) में, FedCBDR नामक एक विधि स्टार थी। इसकी औसत सटीकता सबसे अधिक थी। लेकिन जैसे ही शोधकर्ताओं ने अराजकता को बढ़ाया (डेटा को असमान और क्रम को मिश्रित किया), FedCBDR टूटने लगा।

इस बीच, TagFed और LGA जैसी अन्य विधियों ने आसान सेटिंग में सबसे अच्छा प्रदर्शन नहीं किया था, लेकिन वे कठिन सेटिंग में सबसे मजबूत जीवित रहने वाले (toughest survivors) थे। उन्होंने "निचले 10%" छात्रों (जिनके पास सबसे कठिन डेटा और अजीब शेड्यूल था) को पूरी तरह से विफल होने से बचाया।

पेपर ने इसे तीन विशिष्ट स्कोर का उपयोग करके मापा:

Final Average Accuracy (AFA): क्लास का औसत।
Average Forgetting (AF): शिक्षक पुराने पाठों के बारे में कितना भूल गया।
Bottom-10% Client Accuracy (B10): सबसे खराब स्थिति वाले छात्रों ने कैसा प्रदर्शन किया।

परिणामों ने दिखाया कि एक विधि का उच्च AFA हो सकता है लेकिन terrible B10 हो सकता है। यह एक ऐसे स्कूल की तरह है जहाँ शीर्ष छात्र A+ ग्रेड प्राप्त करते हैं, लेकिन निचले 10% छात्र फेल हो रहे हैं। यदि आप केवल औसत देखते हैं, तो आप सोचेंगे कि स्कूल बहुत अच्छा है। HERO आपको सच्चाई देखने के लिए निचले 10% को देखने के लिए मजबूर करता है।

ग्राफ प्रयोग: केवल तस्वीरें नहीं

यह साबित करने के लिए कि HERO केवल तस्वीरों के लिए नहीं है, लेखकों ने इसे अणुओं (रासायनिक संरचनाओं) के बारे में एक डेटासेट OGB-MolPCBA पर आजमाया। नए प्रकार के अणुओं को सीखने के बजाय, मॉडल को अणुओं के विभिन्न समूहों से सीखना था जो अलग दिखते थे (जैसे विभिन्न स्कैफोल्ड्स)।

उन्होंने इसे अणुओं को 5, 15, या 25 अलग-अलग डोमेन में समूहित करके टेस्ट किया। जैसे-जैसे उन्होंने समूहों को छोटा और अधिक विशिष्ट बनाया (डोमेन की संख्या बढ़ाई), मॉडल खराब होते गए। "औसत परिशुद्धता" (AP) गिर गई, और "भूलना" (forgetting) बढ़ गया। इसने साबित कर दिया कि HERO का इंटरफेस छवियों के साथ-साथ ग्राफ और रसायनों के लिए भी काम करता है।

पेपर क्या खारिज करता है

पेपर स्पष्ट रूप से इस विचार के विरुद्ध तर्क देता है कि आप इन मॉडलों को एकल "लीडरबोर्ड" स्कोर के साथ जज कर सकते हैं। वे दिखाते हैं कि एक विधि जो सरल, सिंक्रोनाइज्ड टेस्ट में जीतती है, वह बुरी तरह हार सकती है जब वास्तविक दुनिया अव्यवस्थित हो जाती है। वे इस विचार को भी खारिज करते हैं कि "औसत प्रदर्शन" पर्याप्त है; आपको यह जानने के लिए कमजोर क्लाइंट्स के प्रदर्शन की जांच करनी चाहिए कि क्या कोई विधि वास्तव में मजबूत है।

हम कितने आश्वस्त हैं?

लेखक इस बात को लेकर बहुत आश्वस्त हैं क्योंकि उन्होंने केवल अनुमान नहीं लगाया; उन्होंने इसे मापा। उन्होंने परिणामों के संयोग न होने की पुष्टि करने के लिए अलग-अलग रैंडम सीड के साथ अपने प्रयोगों को पाँच बार चलाया। उन्होंने CIFAR-100 में आसान सेटिंग में सटीकता के लिए 53.91 ± 1.53 जैसे नंबर रिपोर्ट किए, जिससे यह स्पष्ट हुआ कि परिणाम कितने भिन्न थे।

उन्होंने पाया कि "Joint-Hard" सेटिंग (जहाँ $\alpha = 0.10$ और $\rho = 1.00$ है) में, सबसे अच्छी विधि (TagFed) ने CIFAR-100 पर 42.83 का AFA प्राप्त किया, जबकि आसान-सेटिंग विजेता (FedCBDR) गिरकर 39.74 पर आ गया। ये मापे गए तथ्य हैं, न कि केवल सुझाव।

मुख्य निष्कर्ष (The Takeaway)

HERO AI मॉडलों के लिए एक नए प्रकार के जिम की तरह है। उन्हें एक सपाट, खाली ट्रैक पर दौड़ने देने के बजाय जहाँ वे सभी तेज़ दिखते हैं, HERO उन्हें पहाड़ियों, हवा और असमान सतहों वाले ट्रैक पर डालता है। यह हमें दिखाता है कि जो मॉडल सपाट ट्रैक पर सबसे तेज़ दिखता है, वही वह हो सकता है जो कीचड़ में लड़खड़ा जाए। "किसे क्या मिलता है" को "कौन कब जाता है" से अलग करके, HERO हमें ऐसा AI बनाने में मदद करता है जो वास्तव में अव्यवस्थित, अप्रत्याशित वास्तविक दुनिया के लिए तैयार है।

तकनीकी सारांश: HERO – एक हेटेरोजेनिटी-अवेयर बेंचमार्क लाइब्रेरी (Heterogeneity-Aware Benchmark Library)

1. समस्या विवरण (Problem Statement)

फेडरेटेड कॉन्टिनुअल लर्निंग (FCL) वितरित क्लाइंट्स द्वारा गैर-स्थिर (non-stationary) डेटा स्ट्रीम से सीखने और पहले से प्राप्त ज्ञान को बनाए रखने की चुनौती का समाधान करता है। हालाँकि, यह क्षेत्र एक महत्वपूर्ण "बेंचमार्क गैप" से जूझ रहा है। मौजूदा मूल्यांकनों की तुलना करना कठिन है क्योंकि शोधकर्ता एक साथ कई चरों (variables) को बदल देते हैं: डेटासेट, टास्क स्प्लिट, क्लाइंट डेटा वितरण, टास्क सीक्वेंस, मॉडल बैकबोन, मेमोरी बाधाएं, और रिपोर्टिंग नियम। फलस्वरूप, कोई विधि इसलिए श्रेष्ठ नहीं दिखती क्योंकि वह अधिक मजबूत (robust) है, बल्कि इसलिए क्योंकि उसे अधिक अनुकूल या कम हेटेरोजेनियस प्रोटोकॉल के तहत मूल्यांकित किया गया था। वर्तमान मूल्यांकन अक्सर यह अंतर करने में विफल रहते हैं कि क्या कोई विधि क्लाइंट डेटा स्क्यू (skew), टास्क-सीक्वेंस मिसमैच, या डोमेन शिफ्ट के प्रति मजबूत है, या क्या वह केवल सिंक्रोनाइज़्ड और आसान सेटिंग्स के तहत अच्छा प्रदर्शन करती है।

2. कार्यप्रणाली: HERO फ्रेमवर्क (Methodology: The HERO Framework)

लेखक HERO पेश करते हैं, जो एक हेटेरोजेनिटी-अवेयर बेंचमार्क लाइब्रेरी है जिसे स्ट्रीम निर्माण, विधि निष्पादन (method execution) और परिणाम रिपोर्टिंग को एकीकृत करने के लिए डिज़ाइन किया गया है। इसका मुख्य डिज़ाइन दर्शन उन तीन युग्मित विकल्पों (coupled choices) का पृथक्करण है जो आमतौर पर पूर्ववर्ती कार्यों में मिश्रित होते हैं:

टास्क स्प्लिट (Task Split): यह तय करना कि कौन सी क्लास या डोमेन प्रत्येक टास्क बनाते हैं।
क्लाइंट डेटा स्प्लिट (Client Data Split): यह तय करना कि प्रत्येक क्लाइंट को प्रत्येक टास्क के लिए कौन सा डेटा वितरण प्राप्त होता है।
क्लाइंट टास्क सीक्वेंस (Client Task Sequence): यह तय करना कि प्रत्येक क्लाइंट किस क्रम में टास्क का सामना करता है।

स्ट्रीम निर्माण (Stream Construction):
HERO स्ट्रीम $B(\xi, \alpha, \rho)$ उत्पन्न करता है जहाँ:

$\xi$ पुनरुत्पादकता (reproducibility) सुनिश्चित करने के लिए एक सीड (seed) है।
$\alpha$ डिरिचलेट वितरण (Dirichlet distribution) ( $pt,c \sim \text{Dir}_K(\alpha \mathbf{1})$ ) के माध्यम से क्लाइंट डेटा स्क्यू को नियंत्रित करता है। कम $\alpha$ मान अधिक तीव्र स्क्यू (non-IID डेटा) उत्पन्न करते हैं।
$\rho$ टास्क-ऑर्डर मिसमैच को नियंत्रित करता है। यह एक साझा संदर्भ क्रम $\pi^*$ से व्यक्तिगत क्लाइंट टास्क सीक्वेंस के विचलन को परिभाषित करता है। उच्च $\rho$ मान अधिक एसिंक्रोनस (asynchronous) और मिसमैच्ड टास्क सीक्वेंस का परिणाम देते हैं।

लाइब्रेरी में तीन स्तर शामिल हैं:

HERO-Core: प्राथमिक तुलनीय बेंचमार्क जो CIFAR-100 और TinyImageNet का उपयोग करके इमेज-आधारित फेडरेटेड क्लास-इन्क्रीमेंटल लर्निंग (FCIL) पर केंद्रित है।
HERO-Portability: इंटरफ़ेस के अन्य सेटिंग्स में विस्तार का परीक्षण करता है, विशेष रूप से OGB-MolPCBA (ग्राफ-आधारित आणविक डेटा) पर एक डोमेन-इन्क्रीमेंटल लर्निंग (Domain-IL) केस स्टडी।
HERO-Extended: भविष्य के उपयोग के लिए अतिरिक्त डेटासेट कंस्ट्रक्टर्स और मेथड इम्प्लीमेंटेशन को संग्रहीत करता है।

मेट्रिक्स (Metrics):
प्रदर्शन के विभिन्न पहलुओं को पकड़ने के लिए HERO तीन प्राथमिक मेट्रिक्स रिपोर्ट करता है:

फाइनल एवरेज एक्यूरेसी (AFA): समग्र अंतिम प्रदर्शन को मापता है।
एवरेज फॉरगेटिंग (AF): पुराने टास्क पर प्रदर्शन में गिरावट को मापता है।
बॉटम-10% क्लाइंट एक्यूरेसी (B10): सबसे खराब प्रदर्शन करने वाले 10% क्लाइंट्स पर प्रदर्शन को मापता है, जो हेटेरोजेनिटी के खिलाफ मजबूती को उजागर करता है।
ग्राफ-आधारित पोर्टेबिलिटी अध्ययन के लिए, एवरेज प्रिसिजन (AP) और AP-फॉरगेटिंग का उपयोग किया जाता है।

3. मुख्य योगदान (Key Contributions)

यह शोध पत्र चार विशिष्ट योगदान देता है:

HERO लाइब्रेरी: एक एकीकृत, हेटेरोजेनिटी-अवेयर बेंचमार्क लाइब्रेरी जो स्ट्रीम निर्माण को विधि निष्पादन से अलग करती है, जिससे पुनरुत्पादकता सुनिश्चित करने के लिए फिक्स्ड स्ट्रीम, कॉन्फ़िगरेशन और रिपोर्टिंग स्क्रिप्ट जारी की जाती है।
डिकपल्ड स्ट्रीम जनरेटर (Decoupled Stream Generator): एक जनरेटर जो टास्क स्प्लिट, क्लाइंट डेटा स्प्लिट और क्लाइंट टास्क सीक्वेंस को अलग करता है, जिससे शोधकर्ता क्लाइंट डेटा स्क्यू ( $\alpha$ ) और टास्क-ऑर्डर मिसमैच ( $\rho$ ) को स्वतंत्र रूप से नियंत्रित और निरीक्षण कर सकते हैं।
HERO-Core बेंचमार्क: CIFAR-100 और TinyImageNet पर एक सघन, इमेज-आधारित FCIL बेंचमार्क जिसमें साझा स्ट्रीम, नियंत्रित हेटेरोजेनिटी सेटिंग्स और एक प्रतिनिधि पूल ऑफ मेथड्स शामिल हैं।
पोर्टेबिलिटी प्रदर्शन (Portability Demonstration): OGB-MolPCBA पर एक केस स्टडी जो दिखाता है कि HERO इंटरफ़ेस ग्राफ-आधारित Domain-IL तक विस्तारित होता है, जहाँ स्कैफोल्ड-ग्रुप्ड मॉलिक्यूलर डोमेन बिना प्रेडिक्शन टास्क बदले वितरण परिवर्तन (distribution shifts) पैदा करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने "Easy" (सिंक्रोनाइज़्ड, बैलेंस्ड) से लेकर "Joint-Hard" (उच्च स्क्यू, उच्च मिसमैच) तक के $\alpha$ - $\rho$ ग्रिड में प्रतिनिधि FCL विधियों (जैसे, FedAvg, GLFC, TagFed, LGA, FedCBDR) का मूल्यांकन किया।

मेथड बिहेवियर वेरिएंस (Method Behavior Variance): विधि का प्रदर्शन हेटेरोजेनिटी सेटिंग पर अत्यधिक निर्भर है। वे विधियाँ जो "Easy" सेटिंग्स में हावी होती हैं (जैसे, FedCBDR), आवश्यक रूप से उच्च हेटेरोजेनिटी के तहत सबसे स्थिर नहीं रहती हैं। उदाहरण के लिए, जैसे-जैसे क्लाइंट डेटा स्क्यू और टास्क-ऑर्डर मिसमैच बढ़ता है, TagFed और LGA अधिक प्रतिस्पर्धी हो जाते हैं, विशेष रूप से B10 के संबंध में।
एवरेज बनाम बॉटम-क्लाइंट प्रदर्शन: औसत सटीकता (AFA) कठिन क्लाइंट्स के कमजोर प्रदर्शन को छिपा सकती है। जबकि FedCBDR अक्सर उच्च AFA प्राप्त करता है, TagFed और LGA हेटेरोजेनियस सेटिंग्स में बेहतर बॉटम-10% क्लाइंट एक्यूरेसी (B10) प्रदर्शित करते हैं, जो कम प्रदर्शन करने वाले क्लाइंट्स के लिए बेहतर सुरक्षा का संकेत देता है।
विशिष्ट विफलता मोड (Distinct Failure Modes): अध्ययन से पता चलता है कि क्लाइंट डेटा स्क्यू और टास्क-ऑडर मिसमैच अलग-अलग विफलता पैटर्न का कारण बनते हैं।
- क्लाइंट डेटा स्क्यू ( $\alpha$ ): मुख्य रूप से B10 को कम करता है, जो दर्शाता है कि कठिन क्लाइंट्स डेटा असंतुलन से असमान रूप से प्रभावित होते हैं।
- टास्क-ऑर्डर मिसमैच ( $\rho$ ): मुख्य रूप से एवरेज फॉरगेटिंग (AF) को बढ़ाता है, जो सुझाव देता है कि मिसमैच्ड सीक्वेंस अधिक टेम्पोरल इंटरफेरेंस (temporal interference) पैदा करते हैं।
पोर्टेबिलिटी: OGB-MolPCBA अध्ययन में, स्कैफोल्ड-डोमेन ग्रैनुलैरिटी (बारीक डोमेन) बढ़ाने से एवरेज प्रिसिजन कम हो गया और फॉरगेटिंग बढ़ गई। ग्राफ-आधारित विधियों (POWER, MOTION) ने FedAvg को पछाड़ दिया, जो पुष्टि करता है कि HERO इंटरफ़ेस इमेज-आधारित FCIL से परे वितरण-शिफ्ट स्ट्रीम का वर्णन कर सकता है।

5. महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि HERO, FCL में नियंत्रित, तुलनीय मूल्यांकन की कमी को संबोधित करता है। हेटेरोजेनिटी के स्रोतों को अलग करके, HERO शोधकर्ताओं को अनुमति देता है:

यह निर्धारित करने के लिए कि क्या कोई विधि विशिष्ट प्रकार की कठिनाई (स्क्यू बनाम मिसमैच) के प्रति मजबूत है, न कि केवल एक जेनेरिक "हेटेरोजेनस" सेटिंग के प्रति।
यह प्रकट करने के लिए कि एक एकल ग्लोबल लीडरबोर्ड अपर्याप्त है; विशिष्ट हेटेरोजेनिटी कॉन्फ़िगरेशन के आधार पर मेथड रैंकिंग महत्वपूर्ण रूप से बदल जाती है।
क्लाइंट्स के "लॉन्ग टेल" (long tail) पर विफलताओं को उजागर करने के लिए (B10 के माध्यम से) जिन्हें औसत मेट्रिक्स छिपा देते हैं।
इमेज-आधारित FCML के साथ असंगत सेटिंग्स को मिलाए बिना, गैर-विज़न डोमेन (जैसे ग्राफ) तक मूल्यांकन प्रोटोकॉल का विस्तार करने के लिए।

लेखक इस बात पर जोर देते हैं कि HERO को एक बार के प्रयोगात्मक प्रोटोकॉल के बजाय एक पुन: प्रयोज्य लाइब्रेरी के रूप में डिज़ाइन किया गया है ताकि संचयी (cumulative), पुनरुत्पादक (reproducible), और सेटिंग-अवेयर FCL मूल्यांकन का समर्थन किया जा सके। वे स्पष्ट रूप से कहते हैं कि हालांकि HERO विधि के अनुमानों (assumptions) को प्रलेखित करता है, लेकिन यह औपचारिक गोपनीयता विश्लेषण या परिनियोजन-स्तर (deployment-level) के सत्यापन को प्रतिस्थापित नहीं करता है।