Generative Prompt Internalization

Titel: Generative Prompt Internalization (GenPI)

Auteurs: Haebin Shin, Lei Ji, Yeyun Gong, Sungdong Kim, Eunbi Choi, Minjoon Seo (KAIST AI & Microsoft Research)

1. Het Probleem

In moderne toepassingen van grote taalmodellen (LLM's), zoals agenten voor webbrowsing of besturingssysteeminteracties, worden vaak lange, complexe en vaste prompts gebruikt om het model te instrueren. Hoewel deze prompts de prestaties verbeteren, brengen ze aanzienlijke nadelen met zich mee:

• Rekenkundige Overhead: Lange prompts verhogen de token-lengte aanzienlijk, wat leidt tot hogere kosten en latentie, vooral bij multi-turn conversaties.
• Efficiëntie: Bestaande methoden voor promptcompressie (zoals het verwijderen van tokens of het gebruik van embeddings) behouden vaak niet de volledige context of vereisen aanpassingen aan de modelarchitectuur.
• Beperkingen van Bestaande Internalisatie: Traditionele methoden voor promptinternalisatie (zoals distillatie of fine-tuning) trainen het model om de output van een leraar (die de prompt gebruikt) na te bootsen. Het model leert hierdoor niet direct de inhoud van de prompt zelf, wat leidt tot prestatieverlies in informatie-rijke taken of specifieke schema-vereisten.

2. Methodologie: Generative Prompt Internalization (GenPI)

GenPI is een lichtgewicht methode die het model leert om de promptinhoud en de redenering achter de gedragswijziging zelf te genereren, in plaats van de prompt als input te ontvangen.

Kerncomponenten:

1. Joint Loss Training: GenPI combineert twee verliesfuncties:

   • SFT Loss (Supervised Fine-Tuning): Het model bootst het gedrag van de leraar na (de output die gegenereerd wordt met de prompt).
   • Prompt Generation Loss (PG Loss): Het model wordt getraind om de tekst van de prompt ($p$) én een reden ($r$) te genereren die uitlegt waarom het gedrag van het model moet veranderen om overeen te komen met de leraar. Het model vergelijkt zijn eigen initiële output ("AS-IS") met de gewenste output ("TO-BE") en leert de link te leggen via de prompt.
   • De totale loss is: $L = (1 - \lambda) L_{PG} + \lambda L_{SFT}$.

2. Data Synthese (Zelf-Rolspel Conversatie):
   Omdat er vaak geen trainingsdataset bestaat voor een specifieke, vooraf gedefinieerde prompt, introduceert GenPI een techniek om een pseudo-conversatiedataset te genereren:

   • Pseudo User Input: Genereren van mogelijke gebruikersvragen op basis van de prompt.
   • Zelf-Rolspel: Het model wisselt de rollen van "agent" en "omgeving" (bijv. OS of webpagina) om multi-turn conversaties te simuleren zonder interactie met de echte omgeving. Hierdoor kan het model zowel de instructies volgen als de reacties van de omgeving simuleren.
   • Redenering Generatie: Een groter model genereert de reden ($r$) die uitlegt waarom een specifieke output nodig is op basis van de prompt.

3. Efficiëntie:
   De methode maakt gebruik van QLoRA (Quantized Low-Rank Adaptation) om een specifieke "adapter" voor elke prompt te trainen. Dit vereist slechts 0,5% extra parameters en ongeveer 1.000 samples per prompt.

3. Belangrijkste Bijdragen

• GenPI Framework: Een nieuwe aanpak die niet alleen het gedrag internaliseert, maar ook de promptinhoud en de onderliggende redenering genereert, waardoor het model de intentie van de prompt direct leert begrijpen.
• Autonome Data-Generatie: Een innovatieve techniek ("Self Role-Playing") om trainingsdata te synthetiseren in scenario's waar alleen de prompt beschikbaar is, zonder toegang tot de echte omgeving of bestaande datasets.
• Superieure Prestaties: GenPI behoudt de prestaties van het model met de volledige prompt, maar zonder de noodzaak om de prompt tijdens inferentie te versturen.

4. Resultaten

De methode werd geëvalueerd op de AgentBench dataset met drie taken: OS-Interactie, Web Browsing en Web Shopping.

• Prestaties:

  • OS Interactie: GenPI behaalde 100% van de prestaties van de upper bound (het model met de volledige prompt).
  • Web Browsing & Shopping: GenPI behaalde respectievelijk 82,35% en 82,09% van de upper bound, zelfs met prompts van meer dan 1.000 tokens.
  • GenPI overtrof aanzienlijk bestaande methoden zoals promptcompressie (LLMLingua-2, ICAE) en traditionele distillatie (SeqKD, KLD), die vaak faalden bij complexe, informatie-rijke prompts.

• Efficiëntie:

  • GenPI toonde een 39% verbetering in rekenkundige overhead (MACs en FLOPs) en een 17% verbetering in latentie vergeleken met methoden die prompts moeten cachen of comprimeren.
  • Omdat de prompt volledig in de modelgewichten is opgeslagen, is er geen extra token-overhead tijdens inferentie.

• Ablatie Studies:

  • Het verwijderen van de Prompt Generation Loss (PG Loss) leidde tot een significante daling in prestaties, wat aantoont dat het genereren van de promptinhoud cruciaal is voor het internaliseren van complexe instructies.
  • Het genereren van de reden ($r$) samen met de prompt bleek effectiever dan het genereren van alleen de prompt.

5. Betekenis en Conclusie

GenPI biedt een praktische oplossing voor het probleem van de toenemende kosten en complexiteit van lange prompts in LLM-toepassingen. Door prompts te "internaliseren" via generatieve training, kunnen organisaties:

• De inferentiekosten drastisch verlagen door de token-lengte te elimineren.
• De snelheid van multi-turn conversaties verhogen.
• Hoge prestaties behouden in complexe agent-taken zonder afhankelijk te zijn van externe prompt-caching of compressie-algoritmen die informatie verliezen.

De methode is bijzonder waardevol voor scenario's waar specifieke, vaste instructies nodig zijn (zoals in bedrijfsagenten), maar waar geen grote datasets beschikbaar zijn voor training. GenPI maakt het mogelijk om deze agenten efficiënt en kosteneffectief in te zetten.