Generative Prompt Internalization

1. O Problema

Aplicações baseadas em Grandes Modelos de Linguagem (LLMs) frequentemente dependem de prompts fixos, complexos e extensos para garantir o desempenho em tarefas específicas (como agentes de software, navegação web ou compras). No entanto, o uso repetido desses prompts longos gera:

• Sobrecarga Computacional: O aumento no número de tokens de entrada eleva significativamente o custo de inferência (latência e uso de GPU), especialmente em conversas de múltiplas rodadas.
• Ineficiência de Custos: Para provedores de serviços e usuários, o custo por token é um fator crítico.
• Limitações das Soluções Atuais:
  • Compressão de Prompt: Métodos que comprimem o texto ou usam embeddings externos ainda exigem tokens adicionais e podem perder informações cruciais ou formatos específicos necessários para agentes.
  • Internalização por Distilação Tradicional: Métodos que ajustam o modelo para seguir a intenção do prompt sem vê-lo (distilação de conhecimento) falham em tarefas ricas em informação, pois o modelo não consegue "referenciar" o conteúdo do prompt durante o treinamento, levando a degradação de desempenho em requisitos específicos (como schemas de ação ou formatação estrita).

2. Metodologia: Generative Prompt Internalization (GenPI)

O GenPI propõe uma abordagem de treinamento conjunto (joint training) que não apenas imita o comportamento do modelo com o prompt, mas gera ativamente o conteúdo do prompt e a razão pela qual o comportamento deve mudar.

Componentes Principais:

1. Perda de Geração de Prompt (Prompt Generation Loss - $L_{PG}$):

   • Diferente da distilação tradicional, o modelo estudante é treinado para gerar o próprio prompt ($p$) e uma explicação ($r$) de por que a saída deve ser alterada, dado um input ($x$) e as saídas "AS-IS" (sem prompt) e "TO-BE" (com prompt).
   • Isso permite que o modelo internalize diretamente o conteúdo e a lógica do prompt, não apenas o resultado final.
   • Fórmula: $L_{PG} = -\log P(p, r | y^S_0, y^T_0, x)$.

2. Perda de Ajuste Fino Supervisionado (SFT Loss - $L_{SFT}$):

   • O modelo é treinado para imitar a saída do modelo professor (que tem o prompt) para garantir o desempenho na tarefa.
   • Fórmula: $L_{SFT} = -\sum \log P(y^T_i | x_{<i}, y^T_{<i}, x_i)$.

3. Função de Perda Conjunta:

   • As duas perdas são combinadas: $L = (1 - \lambda) L_{PG} + \lambda L_{SFT}$.
   • O uso de QLoRA permite que apenas adaptadores leves (0,5% de parâmetros adicionais) sejam treinados para cada prompt específico.

Geração de Dados Sintéticos (Self Role-Playing Conversation):

Um dos maiores desafios é a falta de datasets de treinamento quando apenas o prompt é conhecido. O GenPI introduz uma técnica para criar dados sintéticos autonomamente:

• Entrada de Usuário Pseudo: Gera perguntas prováveis baseadas no prompt.
• Conversação de Papéis Reversos (Self Role-Playing): O modelo assume simultaneamente o papel do Agente e do Ambiente (ex: sistema operacional ou navegador). Ao inverter os papéis no prompt, o modelo simula uma conversa completa de múltiplas rodadas, gerando o comportamento do "professor" sem necessidade de interação real com o ambiente.
• Geração de Razoamento: Um modelo LLM maior gera a explicação ($r$) comparando a saída sem prompt com a saída com prompt.

3. Contribuições Chave

• Internalização Generativa: Uma nova abordagem que treina o modelo para gerar o prompt e a lógica de mudança, superando a limitação de métodos que apenas aprendem a saída final.
• Técnica de Síntese de Dados Autônoma: Permite internalizar prompts complexos sem um dataset de treinamento pré-existente, utilizando a técnica de "Self Role-Playing" para criar dados de conversação multi-turno.
• Eficiência e Desempenho: Demonstra que é possível manter o desempenho de alto nível sem a necessidade de enviar o prompt explicitamente durante a inferência, eliminando a sobrecarga de tokens de entrada.

4. Resultados Experimentais

Os experimentos foram realizados no benchmark AgentBench, focando em três tarefas com prompts longos (>1.000 tokens):

1. Interação com Sistema Operacional (OS):
   • O GenPI alcançou 100% de retenção de desempenho em relação ao limite superior (modelo com prompt completo), superando todas as outras técnicas de compressão e distilação.
2. Navegação Web (Web Browsing) e Compras Web (Web Shopping):
   • O método manteve >82% de desempenho em tarefas com prompts longos, superando significativamente métodos baseados em compressão (como LLMLingua-2 e ICAE), que sofreram quedas drásticas de performance ao tentar comprimir prompts ricos em detalhes.
3. Eficiência Computacional:
   • Em cenários de múltiplas rodadas, o GenPI demonstrou uma melhoria de 39% em MACs/FLOPs e 17% de redução na latência em comparação com métodos que usam prompts fixos ou compressão, mesmo considerando o uso de cache de chaves-valor (KV caching).

5. Significância e Conclusão

O GenPI representa um avanço significativo na viabilidade de implantar agentes de IA baseados em LLMs em produção.

• Viabilidade Prática: Resolve o gargalo de custo e latência causado por prompts longos repetitivos, permitindo que o modelo "lembre" das instruções complexas internamente.
• Flexibilidade: A abordagem é leve (requer apenas 1.000 amostras e adaptadores pequenos) e pode ser aplicada a qualquer prompt predeterminado, mesmo sem dados de treinamento originais.
• Futuro: Abre caminho para a internalização de contextos mais complexos, como históricos de chat longos e aprendizado em contexto (in-context learning), reduzindo a dependência de tokens de entrada e tornando os agentes de IA mais escaláveis e econômicos.

Em resumo, o GenPI transforma prompts estáticos e pesados em conhecimento interno dinâmico do modelo, equilibrando alta performance com eficiência computacional extrema.