Resumo Técnico: Aprendendo a Traduzir de Prompts Suaves para Prompts Rígidos de LLM

Declaração do Problema

O ajuste de prompts suaves oferece uma alternativa eficiente em parâmetros ao ajuste fino completo para adaptar Modelos de Linguagem de Grande Escala (LLMs) a tarefas específicas. No entanto, uma limitação significativa dos prompts suaves é a sua falta de interpretabilidade. Diferentemente dos tokens de linguagem natural, os prompts suaves existem como vetores contínuos no espaço de incorporação, ocupando frequentemente regiões distintas da linguagem natural. Projeções ingênuas desses vetores no espaço de tokens discretos frequentemente produzem resultados enganosos, contraditórios ou não informativos (Khashabi et al., 2022).

Trabalhos recentes, especificamente a técnica InSPEcT (Ramati et al., 2024), tentaram abordar isso utilizando uma abordagem de aprendizado em contexto, sem treinamento, para elicitar verbalizações textuais de prompts suaves. Embora o InSPEcT possa às vezes produzir rótulos de classe corretos, os autores deste artigo observam que suas verbalizações são frequentemente pouco confiáveis, sensíveis a hiperparâmetros arquitetônicos específicos (pares de camadas) e frequentemente contêm linguagem não natural. Além disso, o desempenho do InSPEcT parece depender fortemente de que o prompt suave subjacente atinja alta precisão na tarefa, limitando sua utilidade quando os prompts suaves são treinados em modelos menores ou menos capazes.

Metodologia

Os autores propõem uma abordagem de aprendizado supervisionado para traduzir prompts suaves em linguagem natural ("prompts rígidos") usando um modelo de tradução dedicado. O fluxo de trabalho central envolve três etapas:

1. Treinamento de Prompt Suave: Os prompts suaves são primeiro otimizados em um LLM pequeno e de código aberto (especificamente meta-llama/Llama-3.1-8B-Instruct) para várias tarefas downstream usando aprendizado supervisionado padrão em pares (entrada, saída).
2. Construção de Conjuntos de Conjuntos de Dados (DoD): Para treinar o tradutor, os autores construíram dois "Conjuntos de Conjuntos de Dados" (DoDs) distintos contendo pares de (prompt suave, prompt rígido de verdade fundamental):
   • DoD de Classificação: Um conjunto de dados sintético composto por 5.500 mini-conjuntos de dados com rótulos de classe agrupados semanticamente de forma estreita (por exemplo, {música, filmes, livros, arte, software}) e 2,75 milhões de frases.
   • DoD Geral: Baseado no conjunto de dados Super-NaturalInstructions, cobrindo 1.616 tarefas diversas de linguagem natural (resumo, tradução, raciocínio, etc.) em 76 tipos de tarefa.
3. Treinamento do Tradutor: Um modelo de tradução dedicado, compartilhando a mesma arquitetura do LLM base, mas com pesos diferentes, é ajustado finamente usando LoRA. O modelo trata a tradução de prompts suaves como uma tarefa de geração sequência-a-sequência, onde a entrada é o vetor de incorporação do prompt suave e a saída é a descrição da tarefa em linguagem natural correspondente.

Principais Contribuições

O artigo faz três contribuições primárias:

1. Um Modelo Tradutor Dedicado: Os autores treinam um modelo supervisionado para converter prompts suaves em linguagem natural fluente e gramaticalmente correta. Esta abordagem supera o método InSPEcT, sem treinamento, tanto em métricas quantitativas (Recall, F1-Score, ROUGE-L) quanto em avaliações qualitativas em múltiplos conjuntos de dados.
2. Utilidade Demonstrada das Verbalizações: Os autores mostram que os "prompts rígidos" traduzidos não são meramente texto que soa plausível, mas são funcionalmente relevantes. Quando esses prompts verbalizados são implantados em LLMs maiores e de código fechado (por exemplo, GPT-4o-mini), eles alcançam desempenho na tarefa que frequentemente excede o desempenho do prompt suave original no modelo pequeno e, em casos específicos, supera as linhas de base de aprendizado com poucos exemplos.
3. Um Novo Fluxo de Trabalho para Prompts Portáteis: O trabalho propõe um pipeline inovador onde um prompt suave é treinado em um modelo pequeno e de código aberto, traduzido em um prompt legível por humanos e depois implantado em um modelo maior e mais poderoso. Isso permite a transferência de conhecimento específico da tarefa de modelos menores para modelos maiores sem exigir que o modelo maior seja ajustado finamente.

Resultados

• Qualidade da Interpretabilidade: Nos conjuntos de dados do InSPEcT (SST-2, SST-5, AG-News, Subj, TREC), o tradutor alcançou Recall perfeito ou quase perfeito (1,0) e F1-Scores significativamente mais altos em comparação com o InSPEcT. Notavelmente, o tradutor manteve desempenho robusto em conjuntos de dados onde o InSPEcT lutou (por exemplo, TREC), sugerindo que ele é menos dependente da precisão inicial da tarefa do prompt suave.
• Generalização: No DoD Geral, o tradutor alcançou um ROUGE-L médio de 0,252 e similaridade de cosseno de 0,427, superando o InSPEcT (0,143 ROUGE-L, 0,269 similaridade de cosseno).
• Desempenho Downstream: Em experimentos onde prompts verbalizados foram usados com um grande LLM de código fechado, os prompts traduzidos frequentemente superaram os prompts suaves originais usados no modelo pequeno. Em um subconjunto específico de 10 tarefas, os prompts traduzidos até superaram o aprendizado com poucos exemplos no modelo grande, particularmente para tarefas que exigem reconhecimento de padrões nuances que exemplos com poucos exemplos não podiam capturar eficientemente.
• Eficiência de Dados: O tradutor demonstrou a capacidade de aprender a correspondência entre prompts suaves e rígidos mesmo com um conjunto de treinamento relativamente pequeno (539 amostras para o DoD Geral), sugerindo que os LLMs podem inatamente entender a "linguagem" dos prompts suaves.

Significado e Alegações

O artigo alega que os prompts suaves não são fundamentalmente não interpretáveis, mas sim que requerem um mecanismo de tradução dedicado para serem decodificados efetivamente. Ao se afastar do aprendizado em contexto (InSPEcT) em direção à tradução supervisionada, os autores demonstram que os prompts suaves podem ser convertidos em instruções de linguagem natural portáteis e de alta qualidade.

Os autores sugerem que este fluxo de trabalho tem potencial significativo para "aplicações downstream", especificamente permitindo o uso de modelos pequenos e de código aberto para descobrir e otimizar instruções de tarefa que podem então ser transferidas para modelos maiores e de API fechada para inferência superior. Eles observam que, embora o tradutor atual seja uma prova de conceito promissora, trabalhos futuros poderiam envolver conjuntos de dados maiores e alinhamento estilístico (por exemplo, otimização de preferência) para garantir verbalizações verbosas e detalhadas, potencialmente desbloqueando insights em tarefas complexas como descoberta de medicamentos.

Os autores permanecem modestos sobre as limitações atuais, reconhecendo que o tradutor está atualmente vinculado ao modelo base específico usado para treinamento e que as verbalizações podem às vezes ser excessivamente concisas, omitindo detalhes relevantes devido a um desalinhamento estilístico.