💬 NLP

Generative Prompt Internalization

Das Papier stellt Generative Prompt Internalization (GenPI) vor, eine leichte Methode, die durch gemeinsames Training und eine neuartige Datensynthese komplexe Prompts internalisiert, um effiziente Inferenz ohne explizite Eingabe zu ermöglichen.

Ursprüngliche Autoren: Haebin Shin, Lei Ji, Yeyun Gong, Sungdong Kim, Eunbi Choi, Minjoon Seo

Veröffentlicht 2026-02-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Haebin Shin, Lei Ji, Yeyun Gong, Sungdong Kim, Eunbi Choi, Minjoon Seo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der riesige Rucksack

Stellen Sie sich einen sehr klugen Assistenten (eine KI) vor, der Ihnen bei Aufgaben hilft, wie z. B. beim Surfen im Internet oder beim Steuern eines Computers. Damit dieser Assistent genau weiß, was er tun soll, muss ihm der Benutzer jedes Mal einen riesigen Rucksack mitgeben.

In diesem Rucksack (dem sogenannten „Prompt") stecken:

Die genaue Anleitung, wie er sich verhalten soll.
Beispiele, wie er antworten muss.
Regeln, die er nie brechen darf.

Das Problem: Dieser Rucksack ist extrem schwer und lang. Jedes Mal, wenn der Assistent eine neue Frage bekommt, muss er diesen ganzen Rucksack erst einmal durchsuchen, bevor er antworten kann. Das kostet viel Zeit (Rechenleistung) und Geld. Bei langen Gesprächen wird der Rucksack immer schwerer, weil er immer wieder mitgenommen werden muss.

Die alte Lösung: Den Rucksack zusammenfalten

Bisherige Methoden versuchten, den Rucksack nur zu komprimieren. Das ist wie wenn man versucht, einen dicken Wintermantel in einen kleinen Beutel zu stopfen.

Nachteil: Oft gehen wichtige Details dabei verloren. Der Mantel ist dann zwar klein, aber nicht mehr warm genug. Die KI versteht die feinen Nuancen der Anweisung nicht mehr richtig und macht Fehler.

Die neue Lösung: GenPI – Der Assistent lernt den Rucksack auswendig

Die Forscher von GenPI haben eine brillante Idee: Warum den Assistenten nicht so trainieren, dass er den Inhalt des Rucksacks auswendig lernt und ihn dann gar nicht mehr tragen muss?

Stellen Sie sich vor, Sie trainieren einen Schüler für eine Prüfung:

Der Lehrer (die KI mit dem Rucksack): Zeigt dem Schüler, wie man die Aufgabe perfekt löst, während er den Rucksack trägt.
Der Schüler (die neue KI): Schaut zu und lernt nicht nur die Lösung, sondern generiert den Inhalt des Rucksacks selbst.

Das Besondere an GenPI ist, dass der Schüler nicht nur sagt: „Ich mache das so." Sondern er sagt auch: „Ich mache das so, weil in der Anleitung stand, dass ich so vorgehen muss."

Er lernt also zwei Dinge gleichzeitig:

Das Verhalten: Wie man die Aufgabe erledigt.
Die Begründung: Warum man sich genau so verhalten muss (basierend auf den Regeln im Rucksack).

Wie funktioniert das Training? (Das Rollenspiel)

Da die Forscher oft nur die Anleitung (den Rucksack) haben, aber keine echten Trainingsgespräche, haben sie einen cleveren Trick angewendet: Selbst-Rollenspiel.

Stellen Sie sich vor, die KI spielt ein Theaterstück, bei dem sie zwei Rollen gleichzeitig übernimmt:

Rolle A: Der Benutzer, der eine Frage stellt.
Rolle B: Das Computersystem oder die Webseite, auf die die KI reagiert.

Indem die KI mit sich selbst spricht und die Rollen tauscht, erzeugt sie tausende von Übungsbeispielen. Sie simuliert so lange, bis sie den „Rucksack" so gut verinnerlicht hat, dass sie ihn im echten Leben nicht mehr braucht.

Das Ergebnis: Schnell, leicht und schlau

Nach diesem Training passiert Magie:

Kein Rucksack mehr: Die KI braucht den riesigen Text nicht mehr als Eingabe. Sie hat das Wissen in sich gespeichert.
Geschwindigkeit: Da sie den schweren Rucksack nicht mehr schleppen muss, ist sie viel schneller und braucht weniger Rechenleistung (bis zu 39 % effizienter!).
Genauigkeit: Da sie nicht nur den Text „zusammengepresst" hat, sondern den Inhalt verstanden und generiert hat, macht sie weniger Fehler als die alten Kompressionsmethoden.

Zusammenfassung in einem Satz

GenPI ist wie ein Assistent, der nicht mehr jeden Tag seinen schweren Rucksack mit Anweisungen tragen muss, sondern die Anweisungen so tief verinnerlicht hat, dass er sie aus dem Gedächtnis abrufen und sogar erklären kann, warum er genau so handelt – und das alles viel schneller und günstiger.

Titel: Generative Prompt Internalization (GenPI)

Autoren: Haebin Shin, Lei Ji, Yeyun Gong, Sungdong Kim, Eunbi Choi, Minjoon Seo (KAIST AI & Microsoft Research)

1. Problemstellung

In Anwendungen, die auf Large Language Models (LLMs) basieren (z. B. Chatbots oder Agenten-Systeme), werden oft feste, komplexe und sehr lange Prompts verwendet, um das Modellverhalten zu steuern.

Herausforderung: Diese langen Prompts führen zu einem erheblichen rechnerischen Overhead (Computational Overhead), insbesondere bei Multi-Turn-Interaktionen. Jeder zusätzliche Token erhöht die Latenz und die Kosten für den Diensteanbieter.
Bestehende Lösungen & deren Grenzen:
- Prompt-Kompression: Methoden, die Prompts in Embeddings komprimieren oder Text kürzen, sparen zwar Tokens, verlieren aber oft kritische Formatierungs- oder Kontextinformationen, was die Leistung bei agentenbasierten Aufgaben drastisch senkt.
- Prompt-Internalisierung (Distillation): Herkömmliche Methoden trainieren ein Modell, um das Verhalten eines „Lehrer-Modells" (mit Prompt) nachzuahmen, ohne den Prompt selbst zu generieren. Das Problem hierbei ist, dass das Modell den Prompt-Inhalt während des Trainings nicht direkt sieht, sondern nur indirekt über die Ausgaben des Lehrers lernt. Dies führt zu Leistungsabfällen bei informationsreichen oder spezifischen Aufgaben (z. B. Schema-Grounding oder Agenten-Aktionen).

2. Methodik: Generative Prompt Internalization (GenPI)

GenPI ist ein leichtgewichtiges Verfahren, das nicht nur das Verhalten des Modells anpasst, sondern den Prompt-Inhalt aktiv generiert und internalisiert.

Kernkonzept

Anstatt den Prompt nur als Eingabe zu verwenden, wird das Student-Modell so trainiert, dass es den Prompt $p$ und die Begründung $r$ für eine Verhaltensänderung generiert. Das Ziel ist es, das Modell so zu trainieren, dass es ohne expliziten Prompt-Eingabe das gleiche Verhalten zeigt wie das Lehrer-Modell mit Prompt.

Trainingsprozess & Verlustfunktionen

GenPI verwendet eine Joint Loss-Strategie, die zwei Komponenten kombiniert:

SFT Loss (Supervised Fine-Tuning): Das Modell lernt, die Ausgaben des Lehrer-Modells ( $y^T$ ) basierend auf der Benutzereingabe ( $x$ ) nachzuahmen (Standard-Distillation).
Prompt Generation Loss (PG Loss): Dies ist der innovative Teil. Das Modell wird trainiert, den Prompt $p$ $p$ und eine Begründung $r$ $r$ zu generieren, die erklärt, warum die Ausgabe des Schülers ( $y^S$ $y^{S}$ , „AS-IS") in die Ausgabe des Lehrers ( $y^T$ $y^{T}$ , „TO-BE") geändert werden muss.
- Formel: $L_{PG} = -\log P(p, r | y^S_0, y^T_0, x)$
- Der Gesamtverlust ist eine gewichtete Summe: $L = (1-\lambda)L_{PG} + \lambda L_{SFT}$ .

Datensynthese (Self Role-Playing Conversation)

Ein Hauptproblem bei der Internalisierung ist oft das Fehlen von Trainingsdaten für spezifische Prompts. GenPI löst dies durch eine autonome Datensynthese:

Pseudo-Benutzereingaben: Ein großes LLM generiert plausible Benutzeranfragen basierend auf dem Prompt.
Selbst-Rollenspiel (Self Role-Playing): Um Multi-Turn-Konversationsdaten zu erzeugen, ohne mit einer echten Umgebung interagieren zu müssen, wird die Rolle des Agents und der Umgebung im Prompt vertauscht. Das gleiche Modell simuliert sowohl die Umgebung als auch den Agenten und generiert so einen kompletten Dialogverlauf (Teacher-Verhalten).
Begründungsgenerierung: Ein weiteres LLM generiert die Begründung $r$ , die den Unterschied zwischen einer generischen Antwort und der prompt-konformen Antwort erklärt.

Effizienz

Das Training erfolgt mittels QLoRA (Quantized Low-Rank Adaptation). Für jeden spezifischen Prompt werden nur 0,5 % zusätzliche Parameter benötigt (basierend auf ca. 1.000 synthetischen Beispielen).

3. Wichtige Beiträge

Direkte Prompt-Generierung: Im Gegensatz zu vorherigen Internalisierungsmethoden, die den Prompt-Inhalt nur indirekt lernen, generiert GenPI den Prompt explizit. Dies ermöglicht ein tieferes Verständnis der Prompt-Logik und Formatierung.
Begründungsbasiertes Lernen: Die Generierung der Begründung ( $r$ ) zwingt das Modell, den Grund für die Verhaltensänderung zu verstehen, was die Generalisierung und Robustheit verbessert.
Autonome Datensynthese: Die Methode „Self Role-Playing Conversation" ermöglicht das Training von Agenten-Modellen für spezifische Prompts, ohne dass reale Umgebungsinteraktionen oder manuell erstellte Datensätze notwendig sind.
Leichtgewichtigkeit: Durch den Einsatz von QLoRA und der Fokussierung auf kleine Adapter-Modelle ist die Methode skalierbar und kosteneffizient.

4. Ergebnisse

Die Methode wurde auf dem AgentBench-Datensatz evaluiert (OS-Interaction, Web Browsing, Web Shopping) mit Prompts von über 1.000 Token Länge.

Leistung (Performance):
- OS-Interaction: GenPI erreicht 100 % der Leistung des Upper Bound (Lehrer-Modell mit vollem Prompt).
- Web Browsing & Web Shopping: GenPI behält über 82 % der Leistung bei, obwohl keine Prompts mehr eingegeben werden.
- Vergleich: GenPI übertrifft deutlich andere Baselines wie Prompt-Kompression (LLMLingua-2, ICAE) und reine Distillation-Methoden (SeqKD, KLD), die bei langen Prompts oft versagen oder stark an Leistung verlieren.
Effizienz:
- GenPI reduziert den rechnerischen Overhead (MACs, FLOPs) und die Latenz im Vergleich zu Methoden, die lange Prompts benötigen, um 39 %.
- Auch unter Berücksichtigung von KV-Caching (Caching von vorherigen Kontexten) bleibt GenPI effizienter, da keine langen Prompt-Token verarbeitet werden müssen.

5. Bedeutung und Fazit

GenPI adressiert ein kritisches Hindernis für den praktischen Einsatz von LLM-Agenten: den Trade-off zwischen hoher Leistung durch komplexe Prompts und der Effizienz.

Praktische Relevanz: Die Methode ermöglicht es, spezialisierte Agenten zu deployen, die ohne den Overhead von langen System-Prompts auskommen, was Kosten senkt und die Antwortzeiten verkürzt.
Skalierbarkeit: Da nur wenige Parameter pro Prompt angepasst werden müssen und die Trainingsdaten automatisch synthetisiert werden können, ist der Ansatz ideal für Szenarien, in denen viele verschiedene, fest definierte Prompts existieren, aber keine großen manuellen Trainingsdatensätze verfügbar sind.
Zukunftsperspektive: Die Arbeit legt den Grundstein für „Prompt-less" Agenten, die ihr Verhalten vollständig internalisiert haben, und öffnet Türen für die Internalisierung komplexerer Kontexte wie lange Chat-Verläufe oder Retrieval-Augmented Generation (RAG).

Zusammenfassend stellt GenPI einen Paradigmenwechsel dar: Statt Prompts zu komprimieren oder nur das Ergebnis zu imitieren, lernt das Modell, die Logik und den Inhalt des Prompts selbst zu generieren und zu verstehen, was zu einer echten Internalisierung führt.