J-space Forecasts Model Collapse, but Only Anchoring the Function Prevents It
Während das rekursive Training auf synthetischen Daten einen Modellkollaps verursacht, der sich als globaler Drift in der J-Raum-Repräsentations-Subraum manifestiert, stellt die Studie fest, dass die Stabilisierung dieser Geometrie unwirksam ist, wohingegen das Verankern der Input-Output-Funktion des Modells an einen Zustand vor dem Kollaps unter Verwendung einer geringen Anzahl realer Sequenzen fast den gesamten Schaden erfolgreich verhindert.