Expressivity-Efficiency Tradeoffs for Hybrid Sequence Models
Este artigo demonstra teoricamente e valida empiricamente que os modelos híbridos, ao combinar camadas de Transformers e modelos de espaço de estados, superam as limitações fundamentais de expressividade e eficiência dos modelos não híbridos, alcançando melhor desempenho com menos parâmetros e maior robustez.