SPRIG: Improving Large Language Model Performance by System Prompt Optimization

1. El Problema

Aunque los Grandes Modelos de Lenguaje (LLMs) han demostrado capacidades impresionantes, su rendimiento depende en gran medida de la calidad del prompt (instrucción). La investigación previa se ha centrado casi exclusivamente en optimizar los prompts específicos para cada tarea (Task Prompts). Sin embargo, se ha prestado poca atención a la optimización de las instrucciones generales del sistema (System Prompts), que son las directrices previas a los detalles específicos de la tarea.

Los desafíos actuales incluyen:

• La necesidad de crear manualmente nuevos prompts para cada nueva tarea, lo cual es ineficiente.
• La falta de estrategias sistemáticas para construir System Prompts generalizables.
• Las estrategias existentes (como "piensa paso a paso" o asignar un rol) suelen ser aisladas, sensibles al contexto y no se transfieren bien entre diferentes tipos de tareas.

2. Metodología: SPRIG

Los autores proponen SPRIG (System Prompt Refinement for Increased Generalization), un algoritmo genético basado en ediciones diseñado para optimizar iterativamente los System Prompts con el objetivo de maximizar el rendimiento en escenarios generales.

Componentes Clave de SPRIG:

1. Corpus de Componentes de Prompt:

   • Se construyó un conjunto de datos inicial con 300 prompts humanos clasificados en 9 categorías (propiedades, roles, estilo, emoción, escenario, jailbreak, seguridad, comportamiento y Chain-of-Thought).
   • Mediante generación con GPT-4o, se expandió este corpus a 9,000 componentes (1,000 por categoría) que actúan como "genes" para el algoritmo. Un componente se define como una unidad mínima con semántica completa (ej. una oración).

2. Modelo de Recompensa (Prompt Reward Model):

   • Dado que evaluar cada combinación de prompts en 47 benchmarks es computacionalmente costoso, se entrenó un modelo de recompensa (basado en Modern-BERT) para estimar y clasificar la calidad de los prompts.
   • Este modelo se fine-tuneó con 100,000 pares de preferencias generados a partir de 10,000 prompts aleatorios, logrando una correlación de Spearman de 0.59 en la clasificación de prompts no vistos.

3. Pipeline Genético (Iterativo):

   • Inicialización: Se comienza con una población de System Prompts derivados del corpus.
   • Evaluación y Eliminación: El modelo de recompensa evalúa la población y elimina el 50% inferior.
   • Mutación y Cruce (Crossover):
     • El 10% superior sufre mutaciones (Añadir, Rephrase/Parafrasear, Intercambiar, Eliminar, Fusionar componentes).
     • Se realiza un cruce entre el 10% superior y el 50% restante para generar descendencia, manteniendo longitudes similares pero introduciendo variación.
   • Entrenamiento Continuo: Se seleccionan 100 prompts de la población actualizada para evaluarlos en los 42 benchmarks reales. Estos resultados se usan para re-entrenar el modelo de recompensa en cada iteración, creando un ciclo de retroalimentación.
   • El proceso se repite durante 25 iteraciones.

3. Contribuciones Clave

1. Rendimiento Paralelo: Se demuestra que un único System Prompt optimizado puede lograr mejoras de rendimiento comparables a las obtenidas al optimizar prompts específicos para cada tarea individualmente.
2. Efecto Complementario: La combinación de la optimización del System Prompt (SPRIG) y la del Task Prompt (usando PROTEGI, el optimizador de estado del arte) produce mejoras adicionales, indicando que ambas estrategias aprenden tácticas complementarias.
3. Generalización Superior: Los System Prompts optimizados por SPRIG generalizan mejor a otros idiomas y familias de modelos que los Task Prompts optimizados. Además, superan a las instrucciones estándar de Chain-of-Thought (CoT) en la mayoría de los tipos de tareas, excepto en preguntas puramente basadas en conocimiento.

4. Resultados Experimentales

El estudio se evaluó en 47 tipos de tareas (razonamiento, matemáticas, comprensión social, sentido común, etc.) utilizando tres modelos LLM de tamaño medio: LLaMA 3.1-8B, Mistral Nemo y Qwen 2.5-7B.

• Mejora de Rendimiento: SPRIG mejoró el puntaje promedio en aproximadamente un 10% respecto a la configuración sin optimizar, superando significativamente a la línea base de CoT ("Let's think step by step").
• Sinergia: La combinación System + Task Optimized superó a todos los métodos existentes, incluyendo a PROTEGI solo.
• Análisis de Componentes:
  • Los componentes de tipo CoT y Comportamiento (ej. "descomponer primero") aumentaron rápidamente en las iteraciones iniciales y se estabilizaron en 2-3 por prompt.
  • Los componentes de "Propiedades" (ej. "eres un asistente empático") también fueron seleccionados, aunque más gradualmente.
  • Curiosamente, los componentes de Rol (ej. "eres un matemático") fueron seleccionados menos de lo esperado por azar, sugiriendo que los roles genéricos no son tan efectivos como las estrategias de razonamiento.
• Generalización:
  • Idiomas: Los System Prompts optimizados en inglés funcionaron bien en benchmarks multilingües (MGSM, BELEBELE, XCOPA), superando a los Task Prompts optimizados específicamente para esos idiomas.
  • Tamaño del Modelo: Aunque la optimización individual no se transfirió perfectamente de modelos pequeños a grandes, la combinación de System + Task sí mostró generalización positiva en modelos más grandes (70B/72B).
• Análisis de Espacio de Embedding: El análisis PCA de los estados ocultos reveló que la optimización del System Prompt desplaza la distribución del modelo a nuevas regiones del espacio global (cambio de comportamiento), mientras que la optimización del Task Prompt realiza ajustes finos locales dentro de esa región.

5. Significado e Impacto

Este trabajo cambia el paradigma de la ingeniería de prompts al demostrar que la optimización de las instrucciones generales del sistema es una vía viable y potente para mejorar el rendimiento de los LLMs.

• Eficiencia: Reduce la necesidad de ingeniería de prompts específica para cada nueva tarea, permitiendo un enfoque "una vez y para siempre" para las instrucciones base.
• Generalización: Proporciona una solución robusta para la adaptación de modelos a nuevos idiomas y dominios sin necesidad de re-entrenamiento masivo o optimización específica por tarea.
• Insights Teóricos: Revela que las instrucciones de alto nivel (estrategias de respuesta) tienen un impacto más profundo en la arquitectura interna del modelo que las instrucciones específicas de tarea, sugiriendo que el futuro de la optimización de LLMs debe priorizar la búsqueda de un "espacio de comportamiento global" óptimo antes de afinar para tareas específicas.

En resumen, SPRIG establece que la optimización sistemática de las instrucciones del sistema es fundamental para desbloquear el potencial completo de los LLMs, ofreciendo una alternativa escalable y generalizable a los métodos actuales de optimización de tareas.