JPmHC Dynamical Isometry via Orthogonal Hyper-Connections
Die Arbeit stellt JPmHC vor, ein stabiles und speichereffizientes Framework für Hyper-Connections, das durch die Beschränkung trainierbarer Mixer auf orthogonale Mannigfaltigkeiten und eine freie Wahrscheinlichkeitsanalyse die Gradientenstabilität verbessert und auf ARC-AGI zu schnellerer Konvergenz sowie höherer Genauigkeit führt.