The Query Cannot See the Question: A Short Convolution's Reach Decides Which Part of a Query Conditions Retrieval, and What Falls Outside Becomes a Confident Wrong Answer
Este artigo demonstra que a convolução de profundidade causal curta em modelos de atenção linear e de espaço de estados impõe um limite rígido e não degradável sobre quais partes de uma consulta podem condicionar a recuperação, causando o fato de o modelo gerar respostas erradas com confiança quando informações críticas caem fora desta janela estreita, uma falha que persiste em camadas rasas, mas que pode ser mitigada por arquiteturas mais profundas ou núcleos maiores.