Sequential-Parallel Duality in Prefix Scannable Models
Diese Arbeit definiert die Klasse der „Prefix-Scannable Models" (PSMs), die durch eine Verallgemeinerung des Parallel-Prefix-Scan-Algorithmus auf nicht-assoziative Operatoren (wie Softmax) eine einheitliche Architektur für effiziente parallele Trainings- und sequenzielle Inferenzprozesse bietet und dabei die Ausdruckskraft von Transformern mit der Recheneffizienz von State-Space-Modellen vereint.