Technische Samenvatting: PreFT: Finetuning uitsluitend voor prefill voor inferentie-efficiëntie

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker gepersonaliseerd voor specifieke gebruikers of taken met behulp van Parameter-efficiënte Finetuning (PEFT)-methodes zoals LoRA. Hoewel PEFT's de trainingsgeheugenvoetafdruk verkleinen, vormt het gelijktijdig bedienen van duizenden gebruikersspecifieke adapters een aanzienlijke bottleneck in de inferentiedoorvoer.

De kern van het probleem ligt in het architectonische verschil tussen de twee fasen van LLM-inferentie:

1. Prefill: Het verwerken van de invoerprompt parallel. Deze fase is rekenkrachtgebonden.
2. Decode: Het autoregressief genereren van tokens, één voor één. Deze fase is geheugengebonden vanwege de noodzaak om grote Key-Value (KV)-caches en adaptergewichten voor elke aanvraag te laden.

Huidige systemen voor het bedienen van meerdere adapters (bijv. S-LoRA, Punica) proberen dit te optimaliseren door aangepaste kernels en geheugenpaging te gebruiken. Zelfs met deze optimalisaties legt het bedienen van meerdere PEFT-adapters tijdens de decode-fase echter aanzienlijke geheugenoverhead op. Aangezien de decode-fase geheugengebonden is, vreet de kosten van het laden van unieke adaptergewichten voor elke aanvraag in een batch de doorvoergewinsten op die worden behaald door aanvragen te batchen.

Methodologie: PreFT (Prefill-only Finetuning)

De auteurs stellen PreFT voor, een paradigmaverschuiving die de toepassing van PEFT-adapters beperkt tot uitsluitend de prefill-fase. Zodra de prompt is verwerkt, wordt de adapter verworpen en genereert het model de daaropvolgende tokens uitsluitend met de bevroren basismodelgewichten.

Het artikel implementeert dit concept door twee bestaande PEFT-methodes aan te passen:

• LoRAP (LoRA Prefill-only): Een variant van Low-Rank Adaptation (LoRA) waarbij de low-rank update alleen wordt toegepast op de tokens van de invoerprompt.
• DiReFTP (DiReFT Prefill-only): Een variant van Representation Finetuning (ReFT), specifiek de DiReFT-parametrisatie, die alleen ingrijpt op residustromen op promptposities.

Technische Implementatie:

• De auteurs hebben de vLLM-inferentie-engine geforkt om deze prefill-only-adapters te integreren.
• Ze implementeerden een position-mask mechanisme dat adapterinterventies strikt routeert naar de prefill-fase.
• Cruciaal voor de decode-fase omzeilt de engine de adapterlogica volledig en behandelt het verzoek alsof het het basismodel gebruikt.
• Deze aanpak elimineert de geheugengebonden kosten van het laden en berekenen met adaptergewichten tijdens de token-generatie, waardoor het systeem meer verzoeken kan batchen zonder de adapteroverhead per verzoek.

Belangrijkste Bijdragen

1. Conceptuele Verschuiving: Het artikel betoogt dat voor gepersonaliseerd bedienen de optimalisatiedoelstelling moet verschuiven van "prestaties per parameter" naar "prestaties per doorvoer". Het identificeert dat adapterbewerkingen in de rekenkrachtgebonden prefill-fase moeten worden geplaatst in plaats van in de geheugengebonden decode-fase.
2. Systeemimplementatie: De auteurs bieden een efficiënte implementatie van PreFT (LoRAP en DiReFTP) binnen vLLM, inclusief ondersteuning voor het bedienen van meerdere adapters, geheugenpaging en gewichtsynchronisatie voor on-policy Reinforcement Learning (RL).
3. Theoretische Rechtvaardiging: Het artikel toont aan dat de down-projectie van LoRA en ReFT zelfs in half-precision geheugengebonden is. Door deze bewerkingen uit de decode-fase te verwijderen, vermijdt PreFT de primaire bottleneck van het bedienen van meerdere adapters.

Resultaten

Inferentie-efficiëntie

PreFT's tonen aanzienlijke doorvoerverbeteringen ten opzichte van traditionele PEFT's op alle posities bij het bedienen van meerdere adapters:

• Llama 3.1 70B: Bij het bedienen van 512 adapters op 4 H100 GPU's bereikte PreFT 1,9× de doorvoer van standaard multi-LoRA voor DiReFTP en 1,87× voor LoRAP.
• Kleinere Modellen: Vergelijkbare winsten werden waargenomen bij Llama 3.1 8B (2,21× / 1,83×) en Qwen 2.5 0.5B (2,39× / 1,63×).
• Deze winsten werden behaald zonder aangepaste kernels voor ReFT, maar leunden in plaats daarvan op het architectonische verwijderen van de kosten tijdens de decode-tijd.

Prestaties (Nauwkeurigheid)

De auteurs evalueerden PreFT's tegen PEFT's op alle posities voor zowel Supervised Finetuning (SFT) als Reinforcement Learning met Verifieerbare Beloningen (RLVR):

• SFT (Instructievolging): PreFT's vertoonden een hogere evaluatieverlies dan PEFT's op alle posities op trainingsdata. Echter, op downstream benchmarks (IFEval, MMLU, GSM8K) was er geen statistisch significant verschil in nauwkeurigheid tussen PreFT's en standaard PEFT's bij gelijkgestelde parameters.
• RLVR (Wiskunde en Code):
  • Op MATH en HumanEval (codegeneratie) benaderden PreFT's de gelijkheid met standaard PEFT's.
  • Op GSM8K bleven PreFT's consequent achter bij PEFT's op alle posities, hoewel de kloof vaak klein was.
• Generatie van Lange Teksten: In experimenten met LongWriter (het genereren van tot 20k tokens) behield LoRAP de vermogens om de lengte te volgen en de kwaliteit vergelijkbaar met standaard LoRA. Daarentegen slaagde DiReFTP er niet in om conditioneel gedrag te behouden tijdens lange generaties, en herviel het tot een bias naar het schrijven van buitensporig lange outputs.

Betekenis en Claims

Het artikel claimt dat PreFT een gunstiger nauwkeurigheid-doorvoer afweging biedt voor gepersonaliseerd LLM-bedienen dan bestaande PEFT-methodes.

• Efficiëntie: Door adapterbewerkingen naar de rekenkrachtgebonden prefill-fase te verplaatsen, verminderen PreFT's de geheugenoverhead tijdens de decode-fase aanzienlijk, waardoor een hogere doorvoer in multi-user scenario's mogelijk wordt.
• Praktijktoepasbaarheid: De auteurs stellen dat voor veel use-cases (stijladaptatie, per-gebruiker geheugen) PreFT's weinig tot geen downstream-prestaties opofferen terwijl ze aanzienlijke efficiëntiewinsten leveren.
• Beperkingen: Het artikel erkent bescheiden dat PreFT's geen universele vervanging zijn. Specifiek worstelt DiReFTP met het genereren van lange teksten en blijft de prestatie op GSM8K iets lager dan die van adapters op alle posities. De auteurs suggereren dat toekomstig werk nieuwe architecturen kan verkennen die specifiek zijn ontworpen voor prefill-only-beperkingen om deze resterende kloven te dichten.

Concluderend vertegenwoordigt PreFT een optimalisatie op systeemniveau die gebruikmaakt van de onderscheidende rekenkenmerken van LLM-inferentiefasen om schaalbaar, gepersonaliseerd modelbedrijven mogelijk te maken.