InfiniRetri: Attention-Guided Retrieval for Enhancing LLMs' Long-Context Processing
InfiniRetri ist eine trainingsfreie Methode, die die intrinsischen Aufmerksamkeitsmechanismen eines vortrainierten LLMs nutzt, um iterativ relevanten Kontext aus beliebig langen Eingaben zu destillieren, was eine effiziente und hochpräzise Langkontext-Retrieval und -Argumentation ohne die Notwendigkeit externer Embedding-Modelle oder kostspieligen Retrainings ermöglicht.