तकनीकी सारांश: संदर्भ डेटासेट की ज्यामिति के माध्यम से FID का पुनर्मूल्यांकन

समस्या विवरण (Problem Statement)

फ्रेचेट इनसेप्शन डिस्टेंस (FID) जनरेटिव इमेज मॉडल्स के मूल्यांकन के लिए एक मानक (de facto standard) है, जो इस धारणा पर आधारित है कि कम स्कोर उच्च नमूना गुणवत्ता (sample quality) को दर्शाता है। हालांकि, हालिया साक्ष्य बताते हैं कि यह धारणा अविश्वसनीय है। अध्ययनों से पता चला है कि धारणात्मक गुणवत्ता (perceptual quality) में सुधार (जैसे अधिक गणना के माध्यम से तीक्ष्ण/sharper चित्र) से FID स्कोर खराब हो सकता है, और इसके विपरीत, मजबूत इमेज डिस्टॉर्शन (distortions) बेहतर FID स्कोर दे सकते हैं। जबकि पूर्ववर्ती कार्यों ने इन विसंगतियों को Inception-v3 फीचर एक्सट्रैक्टर की नाजुकता या फ्रेचेट डिस्टेंस की सीमाओं के रूप में जिम्मेदार ठहराया है, यह शोध पत्र तर्क देता है कि एक मौलिक पहलू अभी भी अनछुआ है: संदर्भ डेटासेट की ज्यामिति (geometry of the reference dataset)।

चूंकि FID, एक जनरेटेड डिस्ट्रीब्यूशन और एक चुनी गई वास्तविक इमेज संदर्भ डिस्ट्रीब्यूशन के बीच की दूरी को मापता है, इसलिए इसका व्यवहार स्वाभाविक रूप से उस संदर्भ सेट के संरचनात्मक गुणों पर निर्भर करता है। शोध पत्र का मानना है कि FID ट्रेंड्स और वास्तविक नमूना गुणवत्ता के बीच का बेमेल (mismatch) इसलिए उत्पन्न होता है क्योंकि विभिन्न डेटासेट्स फीचर स्पेस के अलग-अलग क्षेत्रों में स्थित होते हैं, फिर भी बेंचमार्किंग प्रथाएं शायद ही कभी इन ज्यामितीय अंतरों को स्पष्ट करती हैं या उन्हें ध्यान में रखती हैं।

कार्यप्रणाली (Methodology)

डेटासेट्स का ज्यामितीय लक्षण वर्णन (Geometric Characterization of Datasets)

लेखक छह संदर्भ डेटासेट्स (FFHQ, CelebA-HQ, MJHQ-30K, ImageNet, Flickr30K, और COCO) को दो स्केलर डिस्क्रिप्टर्स (scalar descriptors) का उपयोग करके लक्षणबद्ध करते हैं, जो उसी फीचर स्पेस (Inception-v3) के भीतर गणना किए गए हैं जिसका उपयोग मेट्रिक के लिए किया जाता है:

1. वितरणात्मक घनत्व (Distributional Density - $\langle -\log d_k \rangle$): यह एक माप है कि संदर्भ डिस्ट्रीब्यूशन अपने बिंदुओं के आसपास कितनी सघनता से केंद्रित है। इसकी गणना $k$-वें निकटतम पड़ोसी ($k=80$) तक के यूक्लिडियन (Euclidean) दूरी के नेगेटिव लॉगरिदम के माध्य के रूप में की जाती है। उच्च मान सघन, क्लस्टर्ड डेटा (जैसे, चेहरे के डेटासेट) को दर्शाते हैं, जबकि निम्न मान बिखरे हुए डेटा को दर्शाते हैं।
2. प्रभावी रैंक (Effective Rank - $erank(A)$): यह उन रैखिक दिशाओं (linear directions) का माप है जिन्हें फीचर डिस्ट्रीब्यूशन स्पैन करता है। इसे सेंटर्ड फीचर मैट्रिक्स के सिंगुलर वैल्यूज (singular values) के शैनन एंट्रॉपी (Shannon entropy) से प्राप्त किया जाता है। उच्च मान एक व्यापक, विषम सपोर्ट (heterogeneous support) (जैसे, ओपन-डोमेन डेटासेट्स) को दर्शाते हैं, जबकि निम्न मान कुछ ही आयामों (dimensions) पर संकुचन को दर्शाते हैं।

प्रयोगात्मक डिजाइन (Experimental Design)

यह अध्ययन प्रति प्रॉम्प्ट एक निश्चित रैंडम सीड के साथ स्टेबल डिफ्यूजन 1.5 (Stable Diffusion 1.5) का उपयोग करते हुए एक नियंत्रित अनुभवजन्य सेटअप का उपयोग करता है।

• स्वतंत्र चर (Independent Variable): नमूना गुणवत्ता को डिनोइजिंग स्टेप्स ($N$) की संख्या को बदलकर और धारणात्मक गुणवत्ता के प्रॉक्सी के रूप में ImageReward का उपयोग करके मैनिपुलेट किया जाता है।
• आश्रित चर (Dependent Variable): प्रत्येक छह संदर्भ डेटासेट्स के विरुद्ध जनरेटेड सैंपल्स के लिए FID स्कोर की गणना की जाती है।
• सांख्यिकीय विश्लेषण (Statistical Analysis): लेखक दो परिकल्पनाओं (hypotheses) का परीक्षण करने के लिए पदानुक्रमित रैखिक मॉडल (hierarchical linear models) का उपयोग करते हैं:
  • ओम्निबस टेस्ट (Omnibus Test): क्या नमूना गुणवत्ता और FID के बीच के संबंध का ढलान (slope) विभिन्न डेटासेट्स में महत्वपूर्ण रूप से भिन्न होता है।
  • मॉडरेशन टेस्ट (Moderation Test): क्या ज्यामितीय डिस्क्रिप्टर्स (घनत्व और प्रभावी रैंक) इन ढलानों में भिन्नता (variance) की व्याख्या करते हैं।
• एब्लेशन अध्ययन (Ablation Studies): यह सुनिश्चित करने के लिए कि निष्कर्ष केवल Inception-v3 या फ्रेचेट डिस्टेंस तक सीमित नहीं हैं, विश्लेषण को वैकल्पिक फीचर स्पेस (DINOv2) और वैकल्पिक डिस्टेंस मेट्रिक्स (Kernel MMD/KID) का उपयोग करके दोहराया जाता है।
• विघटन (Decomposition): देखे गए ट्रेंड्स का निदान करने के लिए FID को प्रिसिजन (fidelity) और रिकॉल (diversity/coverage) में विभाजित किया गया है।

मुख्य परिणाम (Key Results)

1. डेटासेट-निर्भर FID ट्रेंड्स (Dataset-Dependent FID Trends)

नमूना गुणवत्ता और FID के बीच का संबंध एक समान नहीं है; यह संदर्भ डेटासेट की ज्यामिति के आधार पर उलट जाता है:

• केंद्रित डेटासेट्स (Concentrated Datasets - FFHQ, CelebA-HQ): जैसे-जैसे नमूना गुणवत्ता में सुधार होता है (अधिक डिनोइजिंग स्टेप्स, उच्च ImageReward), FID कम होता जाता है (सुधार होता है)। ढलान नकारात्मक (negative) है।
• बिखरे हुए डेटासेट्स (Dispersed Datasets - ImageNet, Flickr30K, COCO): जैसे-जैसे नमूना गुणवत्ता में सुधार होता है, FID बढ़ता है (खराब होता है)। ढलान सकारात्मक (positive) है।
• MJHQ-30K: दोनों व्यवस्थाओं के बीच की एक मध्यवर्ती प्रवृत्ति प्रदर्शित करता है।

2. ज्यामितीय मॉडरेशन (Geometric Moderation)

सांख्यिकीय विश्लेषण पुष्टि करता है कि डेटासेट की ज्यामिति गुणवत्ता-FID संबंध को महत्वपूर्ण रूप से मॉडरेट करती है:

• वित्राणात्मक घनत्व (Distributional Density): ढलानों के बीच की भिन्नता (between-dataset variance) की 70.7% व्याख्या करता है। सघन डेटासेट्स अधिक नकारात्मक ढलानों के साथ सह-संबंधित होते हैं (गुणवत्ता के साथ FID सुधरता है)।
• प्रभावी रैंक (Effective Rank): 66.1% भिन्नता की व्याख्या करता है। उच्च प्रभावी रैंक सकारात्मक ढलानों के साथ सह-संबंधित होती है (गुणवत्ता के साथ FID खराब होता है)।

3. प्रिसिजन बनाम रिकॉल एट्रिब्यूशन (Precision vs. Recall Attribution)

विघटन से पता चलता है कि FID और इसके घटकों के बीच का सहसंबंध डेटासेट की ज्यामिति के साथ बदल जाता है:

• केंद्रित डेटासेट्स: FID प्रिसिजन के साथ मजबूती से सह-संबंधित है (CelebA-HQ के लिए $R^2 \approx 0.95$)।
• बिखरे हुए डेटासेट्स: FID रिकॉल के साथ मजबूती से सह-संबंधित है (COCO के लिए $R^2 \approx 0.85$)।
  यह सुझाव देता है कि बिखरे हुए डेटासेट्स के लिए, FID व्यक्तिगत नमूनों की फिडेलिटी (Fidelity/Precision) के बजाय वास्तविक वितरण के कवरेज (Coverage/Recall) को पुरस्कृत करता है। फलस्वरूप, यदि बढ़ती नमूना गुणवत्ता विविधता (Recall) को कम करती है, तो भले ही चित्र बेहतर दिखें, FID खराब हो सकता है।

4. मजबूती (Robustness)

देखे गए प्रभाव Inception-v3 को DINOv2 से बदलने और फ्रेचेट डिस्टेंस को Kernel MMD से बदलने पर भी बने रहते हैं। वास्तव में, ज्यामितीय डिस्क्रिप्टर्स DINOv2 फीचर्स के साथ और भी अधिक भिन्नता की व्याख्या करते हैं, जो इंगित करता है कि यह घटना Inception-v3 की सीमाओं का आर्टिफैक्ट (artifact) नहीं है।

योगदान और महत्व (Contributions and Significance)

यह शोध पत्र तीन प्राथमिक योगदान देता है:

1. अनुभवजन्य साक्ष्य (Empirical Evidence): यह एक नियंत्रित अध्ययन प्रदान करता है जो प्रदर्शित करता है कि संदर्भ डेटासेट की ज्यामिति (घनत्व और प्रभावी रैंक द्वारा मात्रात्मक रूप से मापा गया) FID व्यवहार को महत्वपूर्ण रूप से मॉडरेट करती है।
2. सामान्यीकरण (Generalizability): यह एब्लेशन के माध्यम से दिखाता है कि यह निर्भरता केवल Inception-v3 फीचर्स या फ्रेचेट एस्टिमेटर तक सीमित नहीं है, बल्कि यह वितरणात्मक मेट्रिक्स (distributional metrics) का एक मौलिक गुण है।
3. व्यावहारिक मार्गदर्शन (Practical Guidance): लेखक तर्क देते हैं कि वितरणात्मक मेट्रिक्स को अलग-थलग (in isolation) नहीं समझा जा सकता है। वे अनुशंसा करते हैं:
   • जब FID प्राथमिक मूल्यांकन मानदंड हो, तो केंद्रित डेटासेट्स (जैसे FFHQ) का उपयोग करें, क्योंकि इन सेटिंग्स में FID प्रिसिजन के साथ बेहतर संरेखित होता है।
   • ओपन-डोमेन या बिखरे हुए डेटासेट्स के लिए मेट्रिक के व्यवहार के संदर्भ को प्रदान करने हेतु FID को ज्यामितीय डिस्क्रिप्टर्स (घनत्व और प्रभावी रैंक) के साथ रिपोर्ट करें।

निष्कर्ष (Conclusion)

शोध पत्र निष्कर्ष निकालता है कि FID की "नाजुकता" केवल मेट्रिक की गणना की खामी नहीं है, बल्कि जनरेटेड डिस्ट्रीब्यूशन और संदर्भ डेटासेट की विशिष्ट ज्यामिति के बीच की अंतःक्रिया (interaction) का परिणाम है। विश्वसनीय बेंचमार्किंग के लिए, शोधकर्ताओं को संदर्भ डेटासेट के ज्यामितीय गुणों को समझना और रिपोर्ट करना चाहिए, क्योंकि ये गुण ही यह निर्धारित करते हैं कि क्या FID नमूना गुणवत्ता में सुधार को ईमानदारी से प्रतिबिंबित करेगा या उसे अस्पष्ट कर देगा।