RePo: Language Models with Context Re-Positioning
O artigo apresenta o RePo, um mecanismo inovador que melhora o aprendizado em contexto de Grandes Modelos de Linguagem ao re-posicionar dinamicamente os tokens com base em dependências contextuais, reduzindo a carga cognitiva extrínseca e aprimorando o desempenho em tarefas com contextos ruidosos, estruturados e de longa duração.