Thoughtbubbles: an Unsupervised Method for Parallel Thinking in Latent Space
यह शोधपत्र थॉटबबल्स (Thoughtbubbles) को प्रस्तुत करता है, जो एक अनसुपरवाइज्ड ट्रांसफॉर्मर वेरिएंट है जो प्रीट्रेनिंग के दौरान रेसिडुअल स्ट्रीम्स को गतिशील रूप से फोर्क करके लेटेंट स्पेस में समानांतर अनुकूली गणना (parallel adaptive computation) करने के लिए सीखता है, जिससे यह मानक और मौजूदा समानांतर विधियों की तुलना में कम कंप्यूटेशनल बजट के साथ बेहतर परप्लेक्सिटी और रीजनिंग प्रदर्शन प्राप्त करता है।