Mechanistic Interpretability of Discrete Logarithm Grokking: How Representation Determines the Internal Algorithm
Diese Arbeit zeigt, dass die Eingangsrepräsentation des diskreten Logarithmusproblems fundamental den von neuronalen Netzen entdeckten internen Algorithmus bestimmt, wobei offenbart wird, dass eine algebraische Ausrichtung auf die wahre Faktorisierung des Problems eine Voraussetzung für schnelle Generalisierung (Grokking) ist und dass die notwendigen interaktionsreichen Rechenstrukturen bereits während der Memorisierungsphase entstehen, lange bevor sich die Leistung verbessert.