Resumen Técnico: Vectores de Prompts de Tarea

Declaración del Problema

El ajuste de prompts (prompt tuning) es un método de ajuste fino eficiente en parámetros (PEFT) para Modelos de Lenguaje Grandes (LLMs) donde solo se entrena un pequeño conjunto de pesos continuos de prompts suaves, mientras que el modelo preentrenado permanece congelado. Sin embargo, los métodos existentes basados en prompts suaves a menudo carecen de una modularidad multi-tarea suficiente. Típicamente, entrenar un prompt suave para una nueva tarea requiere un proceso de reentrenamiento total o parcial, y combinar prompts para múltiples tareas a menudo degrada el rendimiento o requiere un ajuste fino adicional. Si bien los "vectores de tarea" (operaciones aritméticas sobre los pesos completos del modelo) han demostrado ser prometedores en visión por computadora y modelos de PNL más antiguos para lograr un rendimiento multi-tarea, este concepto no se ha extendido efectivamente al dominio del ajuste basado en prompts suaves. Además, los métodos existentes de interpolación de pesos PEFT dependen en gran medida de inicializaciones aleatorias específicas, lo que limita su reutilización.

Metodología

Los autores introducen Vectores de Prompts de Tarea (TPV), un concepto novedoso que adapta los principios de la aritmética de vectores de tarea al espacio de prompts suaves.

Definición

Un vector de prompt de tarea ($\tau_{P}^{t}$) se define como la diferencia elemento a elemento entre los pesos de un prompt suave después del ajuste fino en una tarea específica ($\theta_{P_{ft}}^{t}$) y su inicialización aleatoria ($\theta_{P_{pre}}$):
$$\tau_{P}^{t} = \theta_{P_{ft}}^{t} - \theta_{P_{pre}}$$
Este vector representa una dirección en el espacio de incrustación que mueve el prompt desde un estado aleatorio hacia un subespacio específico de la tarea.

Operaciones Aritméticas

El mecanismo central implica aritmética de prompts, específicamente la adición de vectores de prompts de tarea para combinar conocimientos de diferentes tareas:
$$\tau_{P_{new}} = \tau_{P_{a}} + \tau_{P_{b}}$$
Este vector combinado puede aplicarse a una nueva inicialización de prompt suave ($\theta_{P}$) para inicializarlo para una tarea objetivo sin entrenamiento adicional:
$$\theta_{P_{new}} = \theta_{P} + \lambda \tau_{P_{new}}$$
donde $\lambda$ es un factor de reescalado.

Configuración Experimental

Los autores evaluaron los TPV en 19 conjuntos de datos que cubren 8 tipos de tareas (incluyendo NLI, clasificación de temas, análisis de sentimientos y resolución de problemas matemáticos) utilizando los modelos T5-base, LLaMa-3.1-8B-Instruct y DeepSeek-LLM-7B-Chat. Los objetivos experimentales clave incluyeron:

1. Independencia de la Inicialización: Probar si los TPV funcionan independientemente de la inicialización aleatoria del prompt suave objetivo.
2. Similitud Vectorial: Analizar las similitudes coseno entre vectores de tareas relacionadas y no relacionadas.
3. Transferencia Multi-tarea: Evaluar el rendimiento de vectores combinados en tareas fuente y como inicializaciones para el aprendizaje zero-shot y few-shot en tareas objetivo.

Contribuciones y Hallazgos Clave

1. Independencia de la Inicialización Aleatoria

El estudio demuestra que los vectores de prompts de tarea son en gran medida independientes de la inicialización aleatoria del prompt suave. Cuando un TPV entrenado en una inicialización aleatoria se aplica a una inicialización aleatoria diferente, el rendimiento aguas abajo permanece comparable al configuración original para la mayoría de las tareas. Esta propiedad es crucial ya que permite compartir y reutilizar TPV en diferentes ejecuciones de entrenamiento sin requerir la misma semilla.

2. Modularidad de Tarea y Aritmética Vectorial

Los autores muestran que añadir vectores de prompts de tarea de tareas similares (por ejemplo, MNLI + RTE) mantiene o mejora ligeramente el rendimiento de tarea única en ambas tareas. Esto sugiere que los TPV pueden codificar efectivamente conocimientos específicos de la tarea de manera modular. Se encontró que la similitud coseno de los TPV es un mejor predictor de transferibilidad que la similitud de los propios prompts de tarea crudos.

3. Inicialización de Bajo Recurso

En configuraciones zero-shot y few-shot (0–100 disparos), inicializar el ajuste de prompts con una combinación de TPV preentrenados a menudo supera o iguala a los baselines de última generación como SPoT (Transferencia de Prompt Suave) y ATTEMPT. Específicamente:

• Las combinaciones de TPV funcionaron mejor que los prompts fuente de tarea única en SciTail e IMDB.
• Igualaron el rendimiento de SPoT en AG News y Yahoo Answers.
• Superaron significativamente a ATTEMPT en varios escenarios, particularmente cuando el número de prompts fuente preentrenados era limitado.

4. Comparación con Métodos Existentes

A diferencia de SPoT, que requiere reentrenar el prompt fuente cuando cambia el conjunto de tareas fuente, y de ATTEMPT, que depende en gran medida de la calidad y cantidad de los prompts fuente, los TPV ofrecen alta modularidad e independencia del prompt fuente. Esto permite la creación de un "hub de vectores" donde los vectores preentrenados pueden reutilizarse para nuevas tareas sin entrenamiento adicional.

Significado y Afirmaciones

El artículo afirma que los Vectores de Prompts de Tarea proporcionan una alternativa computacionalmente efectiva a las soluciones multi-tarea de última generación. Al aprovechar operaciones aritméticas simples sobre vectores preentrenados, el método logra una alta modularidad multi-tarea sin el costo computacional del reentrenamiento.

Los autores postulan que el éxito de este método sugiere que el subespacio óptimo para prompts suaves puede tener una forma convexa, permitiendo que las aproximaciones lineales (adición de vectores) funcionen efectivamente incluso en espacios no lineales. Además, la independencia de la inicialización aleatoria habilita el potencial de un repositorio impulsado por la comunidad de vectores de tarea.

Limitaciones señaladas por los autores:

• Los experimentos se realizaron principalmente en modelos y conjuntos de datos monolingües (inglés).
• El estudio se centró en T5-base como modelo representativo, aunque los resultados se validaron en modelos LLaMa y DeepSeek más grandes.
• El análisis teórico de las propiedades geométricas del espacio de prompts suaves se deja para trabajos futuros.
• El método se centra actualmente en tareas de NLU y NLG, pero no ha sido probado extensamente en configuraciones multilingües.

En conclusión, el trabajo establece que los vectores de prompts de tarea pueden utilizarse para inicializar el ajuste de prompts de manera efectiva en configuraciones de bajo recurso, ofreciendo un enfoque robusto, modular y libre de entrenamiento para la adaptación multi-tarea.