Transformers Can Learn Connectivity in Some Graphs but Not Others
यह अध्ययन प्रकट करता है कि जबकि ट्रांसफार्मर मॉडल स्केलिंग के माध्यम से कम-आयामी ग्रिड जैसी संरचनाओं पर ट्रांजिटिव कनेक्टिविटी को प्रभावी ढंग से सीख और सामान्यीकृत कर सकते हैं, वे कई विच्छेदित घटकों या उच्च-आयामी संरचनाओं वाले जटिल ग्राफों पर ऐसा करने में संघर्ष करते हैं।