The Query Cannot See the Question: A Short Convolution's Reach Decides Which Part of a Query Conditions Retrieval, and What Falls Outside Becomes a Confident Wrong Answer
Diese Arbeit zeigt, dass die kurze kausale Tiefenkonvolution in Linear-Attention- und State-Space-Modellen eine harte, nicht abbaubare Grenze dafür setzt, welche Teile einer Abfrage den Abruf bedingen können, was dazu führt, dass das Modell mit Zuversicht falsche Antworten generiert, wenn kritische Informationen außerhalb dieses engen Fensters liegen – ein Versagen, das in flachen Schichten bestehen bleibt, aber durch tiefere Architekturen oder größere Kerne gemildert werden kann.