Resumo Técnico: Vetores de Prompt de Tarefa

Declaração do Problema

O ajuste de prompt (prompt tuning) é um método de ajuste fino eficiente em parâmetros (PEFT) para Modelos de Linguagem de Grande Escala (LLMs), no qual apenas um pequeno conjunto de pesos de prompt contínuos e suaves é treinado, enquanto o modelo pré-treinado permanece congelado. No entanto, os métodos existentes baseados em prompts suaves frequentemente carecem de modularidade multi-tarefa suficiente. Tipicamente, treinar um prompt suave para uma nova tarefa exige um processo de re-treinamento total ou parcial, e combinar prompts para múltiplas tarefas frequentemente degrada o desempenho ou exige um ajuste fino adicional. Embora "vetores de tarefa" (operações aritméticas sobre pesos completos do modelo) tenham mostrado promessa em visão computacional e modelos de PNL mais antigos para alcançar desempenho multi-tarefa, esse conceito não foi efetivamente estendido ao domínio do ajuste baseado em prompts suaves. Além disso, os métodos existentes de interpolação de pesos PEFT dependem frequentemente de inicializações aleatórias específicas, limitando sua reutilização.

Metodologia

Os autores introduzem Vetores de Prompt de Tarefa (TPVs), um conceito novo que adapta os princípios da aritmética de vetores de tarefa ao espaço de prompts suaves.

Definição

Um vetor de prompt de tarefa ($\tau_{P}^{t}$) é definido como a diferença elemento a elemento entre os pesos de um prompt suave após o ajuste fino em uma tarefa específica ($\theta_{P_{ft}}^{t}$) e sua inicialização aleatória ($\theta_{P_{pre}}$):
$$\tau_{P}^{t} = \theta_{P_{ft}}^{t} - \theta_{P_{pre}}$$
Este vetor representa uma direção no espaço de incorporação que move o prompt de um estado aleatório para um subespaço específico da tarefa.

Operações Aritméticas

O mecanismo central envolve aritmética de prompts, especificamente a adição de vetores de prompt de tarefa para combinar conhecimento de diferentes tarefas:
$$\tau_{P_{new}} = \tau_{P_{a}} + \tau_{P_{b}}$$
Este vetor combinado pode ser aplicado a uma nova inicialização de prompt suave ($\theta_{P}$) para inicializá-lo para uma tarefa-alvo sem treinamento adicional:
$$\theta_{P_{new}} = \theta_{P} + \lambda \tau_{P_{new}}$$
onde $\lambda$ é um fator de redimensionamento.

Configuração Experimental

Os autores avaliaram os TPVs em 19 conjuntos de dados cobrindo 8 tipos de tarefa (incluindo NLI, classificação de tópicos, análise de sentimento e resolução de problemas matemáticos) usando os modelos T5-base, LLaMa-3.1-8B-Instruct e DeepSeek-LLM-7B-Chat. Os principais objetivos experimentais incluíram:

1. Independência de Inicialização: Testar se os TPVs funcionam independentemente da inicialização aleatória do prompt suave alvo.
2. Semelhança Vetorial: Analisar as similaridades de cosseno entre vetores de tarefas relacionadas e não relacionadas.
3. Transferência Multi-tarefa: Avaliar o desempenho de vetores combinados em tarefas de origem e como inicializações para aprendizado zero-shot e few-shot em tarefas-alvo.

Principais Contribuições e Descobertas

1. Independência de Inicialização Aleatória

O estudo demonstra que os vetores de prompt de tarefa são amplamente independentes da inicialização aleatória do prompt suave. Quando um TPV treinado em uma inicialização aleatória é aplicado a uma inicialização aleatória diferente, o desempenho downstream permanece comparável à configuração original para a maioria das tarefas. Essa propriedade é crucial, pois permite que os TPVs sejam compartilhados e reutilizados em diferentes execuções de treinamento sem exigir a mesma semente.

2. Modularidade de Tarefa e Aritmética Vetorial

Os autores mostram que adicionar vetores de prompt de tarefa de tarefas semelhantes (por exemplo, MNLI + RTE) mantém ou melhora ligeiramente o desempenho de tarefa única em ambas as tarefas. Isso sugere que os TPVs podem codificar efetivamente conhecimento específico da tarefa de maneira modular. A similaridade de cosseno dos TPVs foi encontrada como um preditor melhor de transferibilidade do que a similaridade dos próprios prompts de tarefa brutos.

3. Inicialização de Baixos Recursos

Em configurações zero-shot e few-shot (0–100 shots), inicializar o ajuste de prompt com uma combinação de TPVs pré-treinados frequentemente supera ou iguala baselines de última geração como SPoT (Transferência de Prompt Suave) e ATTEMPT. Especificamente:

• Combinações de TPV performaram melhor do que prompts de origem de tarefa única em SciTail e IMDB.
• Igualaram o desempenho do SPoT em AG News e Yahoo Answers.
• Superaram significativamente o ATTEMPT em vários cenários, particularmente quando o número de prompts de origem pré-treinados era limitado.

4. Comparação com Métodos Existentes

Diferentemente do SPoT, que exige o re-treinamento do prompt de origem quando o conjunto de tarefas de origem muda, e do ATTEMPT, que depende fortemente da qualidade e quantidade de prompts de origem, os TPVs oferecem alta modularidade e independência do prompt de origem. Isso permite a criação de um "hub de vetores" onde vetores pré-treinados podem ser reutilizados para novas tarefas sem treinamento adicional.

Significado e Afirmações

O artigo afirma que os Vetores de Prompt de Tarefa fornecem uma alternativa computacionalmente eficaz para soluções multi-tarefa de última geração. Ao aproveitar operações aritméticas simples em vetores pré-treinados, o método alcança alta modularidade multi-tarefa sem o custo computacional de re-treinamento.

Os autores postulam que o sucesso deste método sugere que o subespaço ótimo para prompts suaves pode ter uma forma convexa, permitindo que aproximações lineares (adição vetorial) funcionem efetivamente mesmo em espaços não lineares. Além disso, a independência da inicialização aleatória permite o potencial de um repositório impulsionado pela comunidade de vetores de tarefa.

Limitações notadas pelos autores:

• Os experimentos foram conduzidos principalmente em modelos e conjuntos de dados monolíngues (inglês).
• O estudo focou no T5-base como modelo representativo, embora os resultados tenham sido validados em modelos LLaMa e DeepSeek maiores.
• A análise teórica das propriedades geométricas do espaço de prompts suaves é deixada para trabalhos futuros.
• O método atualmente foca em tarefas de NLU e NLG, mas não foi testado extensivamente em configurações multilíngues.

Em conclusão, o trabalho estabelece que os vetores de prompt de tarefa podem ser usados para inicializar o ajuste de prompt efetivamente em configurações de baixos recursos, oferecendo uma abordagem robusta, modular e sem treinamento para adaptação multi-tarefa.