Generative Prompt Internalization

Titolo: Generative Prompt Internalization (GenPI)

Autori: Haebin Shin, Lei Ji, Yeyun Gong, Sungdong Kim, Eunbi Choi, Minjoon Seo (KAIST AI & Microsoft Research).

---

1. Il Problema

Nelle applicazioni basate su Large Language Models (LLM), come gli agenti autonomi, l'uso di prompt fissi, complessi e lunghi è comune per guidare il comportamento del modello. Tuttavia, questo approccio presenta due criticità principali:

• Overhead Computazionale: Prompt lunghi aumentano significativamente il costo computazionale e la latenza, specialmente durante inferenze multi-turno, poiché ogni token del prompt deve essere processato in ogni passaggio.
• Limitazioni delle Soluzioni Esistenti:
  • Compressione dei prompt: Metodi che comprimono il testo o usano embedding esterni riducono la lunghezza ma spesso perdono informazioni critiche o richiedono token aggiuntivi, non internalizzando completamente il comportamento.
  • Distillazione/Finetuning tradizionali: I metodi esistenti (come la distillazione della conoscenza) addestrano un modello studente a imitare l'output di un modello insegnante (che riceve il prompt) senza far "vedere" al modello studente il contenuto del prompt durante l'addestramento. Questo porta a una degradazione delle prestazioni in compiti ricchi di informazioni o con requisiti specifici (es. formati di output rigorosi), poiché il modello non apprende direttamente la logica e il contenuto del prompt.

2. Metodologia: Generative Prompt Internalization (GenPI)

GenPI è un metodo leggero che mira a far sì che il modello generi internamente il contenuto del prompt e la logica dietro le modifiche comportamentali, eliminando la necessità di inviare il prompt esplicitamente durante l'inferenza.

A. Addestramento con Loss Congiunta

Il cuore di GenPI è un approccio di addestramento congiunto che combina due obiettivi:

1. SFT Loss (Supervised Fine-Tuning): Il modello studente imita l'output del modello insegnante (che ha ricevuto il prompt $p$) dato un input $x$. Questo garantisce che il comportamento del modello sia allineato a quello desiderato.
   $$L_{SFT} = -\sum \log P(y^T_i | x_{<i}, y^T_{<i}, x_i)$$
2. Prompt Generation Loss (PG Loss): Il modello è addestrato a generare non solo l'output corretto, ma anche:
   • Il contenuto del prompt ($p$).
   • Una spiegazione ($r$) del perché l'output deve cambiare rispetto a una risposta generica ("AS-IS") per adattarsi al prompt ("TO-BE").
     $$L_{PG} = -\log P(p, r | y^S_0, y^T_0, x)$$
     Questa loss forza il modello a comprendere internamente le regole e il contesto del prompt, non solo a memorizzare l'output.

La loss finale è una combinazione pesata: $L = (1-\lambda)L_{PG} + \lambda L_{SFT}$.

B. Sintesi dei Dati (Self Role-Playing Conversation)

Poiché spesso non si dispone di dataset di addestramento specifici per un prompt predeterminato, gli autori introducono una tecnica di sintesi dati autonoma:

• Input Utente Pseudo: Un LLM grande genera input utente plausibili basati sul prompt.
• Conversazione a Ruoli Invertiti: Il modello simula sia l'agente che l'ambiente (es. sistema operativo o browser web) scambiandosi i ruoli nel prompt. Questo permette di generare conversazioni multi-turno (pseudo-dati) senza interagire con ambienti reali, creando un dataset di addestramento per il comportamento dell'agente.
• Generazione della Ragione: Un LLM viene utilizzato per generare la spiegazione ($r$) che giustifica le differenze tra l'output "sbagliato" (senza contesto) e quello "corretto" (con il prompt).

C. Efficienza

Il metodo utilizza QLoRA per addestrare adattatori specifici per ogni prompt. Questo richiede solo l'aggiunta di circa lo 0.5% di parametri su 1.000 campioni, rendendo il processo estremamente leggero e scalabile.

3. Contributi Chiave

1. Internalizzazione Generativa: A differenza dei metodi precedenti che internalizzano solo il comportamento, GenPI fa sì che il modello generi attivamente il contenuto del prompt e la sua giustificazione, permettendo un'apprendimento diretto delle istruzioni.
2. Tecnica di Sintesi Dati Autonoma: La metodologia "Self Role-Playing" risolve il problema della mancanza di dataset di addestramento per prompt specifici, permettendo di addestrare agenti senza interazioni costose con ambienti reali.
3. Efficienza e Prestazioni: Il metodo elimina l'overhead dei token del prompt durante l'inferenza, riducendo drasticamente MACs (Multiply-Accumulate Operations), FLOPs e latenza, mantenendo al contempo prestazioni elevate.

4. Risultati Sperimentali

Il metodo è stato valutato su AgentBench (OS Interaction, Web Browsing, Web Shopping) con prompt che superano i 1.000 token.

• Prestazioni:
  • OS Interaction: GenPI raggiunge il 100% delle prestazioni del modello insegnante (Upper Bound) senza utilizzare il prompt in input.
  • Web Browsing & Shopping: Mantiene oltre l'82% delle prestazioni rispetto all'upper bound, superando di gran lunga le tecniche di compressione (LLMLingua-2, ICAE) e la distillazione standard.
  • In particolare, l'aggiunta della PG Loss ha migliorato le prestazioni nel task di Web Shopping di circa il 25% rispetto all'uso della sola SFT.
• Efficienza:
  • Rispetto ai metodi basati su prompt (anche compressi), GenPI mostra un miglioramento del 39% in termini di MACs e FLOPs e una riduzione del 17% nella latenza, anche in scenari multi-turno con caching KV.
  • Non richiede token aggiuntivi durante l'inferenza, a differenza della compressione che richiede comunque l'invio di embedding o testo compresso.

5. Significato e Conclusioni

Generative Prompt Internalization rappresenta un passo avanti significativo per l'efficienza operativa degli LLM in scenari reali.

• Riduzione dei Costi: Eliminando la necessità di inviare prompt lunghi ad ogni richiesta, riduce i costi di inferenza e la latenza, rendendo le applicazioni basate su agenti più economiche e reattive.
• Flessibilità: Il metodo è particolarmente utile quando si hanno prompt fissi ma non dataset di addestramento associati, grazie alla tecnica di sintesi dati.
• Limiti e Futuro: Attualmente si concentra su prompt fissi e predeterminati. Il lavoro futuro punta ad estendere l'internalizzazione a storie di chat lunghe, apprendimento in contesto (in-context learning) e applicazioni multimodali.

In sintesi, GenPI trasforma il prompt da un input esterno costoso in una capacità interna del modello, combinando addestramento generativo e sintesi dati per ottenere agenti LLM ad alte prestazioni ed efficienza computazionale.