Query-focused and Memory-aware Reranker for Long Context Processing
Die Autoren stellen einen leichten und effektiven Reranker vor, der auf Aufmerksamkeitswerten ausgewählter Schichten in Sprachmodellen basiert, um eine listweise Relevanzschätzung ohne Likert-Skalen-Supervision zu ermöglichen und dabei neue State-of-the-Art-Ergebnisse auf Benchmarks für lange Kontexte und Dialogverständnis zu erzielen.