Resumen Técnico: Optimización Eficiente de Prompts Multi-Objetivo mediante Banditas de Exploración Pura

Formulación del Problema

La ingeniería de prompts es fundamental para aprovechar los Modelos de Lenguaje Grandes (LLM), sin embargo, los métodos existentes se centran predominantemente en optimizar un único objetivo (por ejemplo, la precisión de la tarea). En aplicaciones del mundo real, el rendimiento de los prompts es inherentemente multifacético, involucrando compensaciones entre métricas competitivas como coherencia, fidelidad, fluidez y seguridad. Rara vez un solo prompt domina en todas las dimensiones. Además, la evaluación de prompts es costosa, requiriendo un presupuesto limitado de consultas a un LLM.

Este artículo aborda el problema de la Selección de Prompts Multi-Objetivo bajo un presupuesto de evaluación fijo $B$. Los autores formalizan dos objetivos específicos:

1. Identificación del Prompt Factible Óptimo: Identificar un prompt que maximice un objetivo principal (por ejemplo, precisión) mientras satisface restricciones en otros objetivos (por ejemplo, umbrales de seguridad o brevedad).
2. Identificación del Conjunto de Prompts Pareto: Recuperar el conjunto de prompts no dominados (la frontera de Pareto) que representan las compensaciones óptimas entre todos los objetivos.

El problema se enmarca dentro del marco de Banditas Multi-Objetivo de Exploración Pura. El conjunto de prompts candidatos $\mathcal{X}$ se trata como un conjunto de brazos. Accionar un brazo corresponde a evaluar un prompt en una entrada muestreada, produciendo un vector de recompensa estocástico. El desafío radica en identificar eficientemente el (los) brazo(s) óptimo(s) dado el alto costo de la evaluación y la compleja estructura de las compensaciones multi-objetivo.

Metodología

Los autores proponen un marco general que aprovecha las correlaciones inherentes entre los prompts para mejorar la eficiencia de las muestras, avanzando más allá de tratar cada prompt como un brazo independiente.

Marco General

El enfoque utiliza una estrategia de eliminación de brazos basada en rondas. El proceso implica $R$ rondas con un presupuesto total $B$. En cada ronda:

1. Asignación de Presupuesto: Se seleccionan prompts para evaluación basándose en un asignador (por ejemplo, muestreo uniforme o diseño G-óptimo).
2. Evaluación: Se consultan los prompts al LLM y se observan los vectores de recompensa.
3. Estimación de Recompensa: Un estimador actualiza el vector de rendimiento esperado $\hat{\mu}(x)$ para los prompts activos. El marco soporta funciones de recompensa generales $g_\theta(\phi(x))$, donde $\phi(x)$ es una incrustación de características del prompt y $\theta$ es un parámetro desconocido compartido entre todos los prompts.
4. Eliminación de Brazos: Los prompts se clasifican y eliminan basándose en criterios específicos dependiendo del problema objetivo.

Algoritmos

Se introducen dos algoritmos específicos basados en este marco:

1. GENSEC (Eliminación Sucesiva Generalizada bajo Restricciones):

   • Objetivo: Identificación del Prompt Factible Óptimo.
   • Mecanismo: Construye un conjunto factible empírico basado en umbrales de restricción. Los brazos se clasifican primero por factibilidad y luego por la estimación del objetivo principal. Los mejores $l_r$ brazos se retienen para la siguiente ronda.
   • Garantía Teórica: Para configuraciones de recompensa lineal ($\mu(x) = \phi(x)^\top \theta$), los autores demuestran que la probabilidad de no identificar el prompt factible óptimo decae exponencialmente con el presupuesto $B$. Cabe destacar que el límite de error depende de $\log_2 K$ (donde $K$ es el número de prompts) en lugar de $K^3$, mejorando significativamente la escalabilidad en comparación con resultados previos de banditas estocásticas.

2. GENPSI (Identificación de Conjunto Pareto Generalizado):

   • Objetivo: Identificación del Conjunto de Prompts Pareto.
   • Mecanismo: Emplea la Brecha Pareto Empírica como métrica para la eliminación. Esta brecha mide la dificultad de clasificar un brazo como óptimo de Pareto o subóptimo. El algoritmo unifica y generaliza algoritmos de banditas existentes (como EGE y GEGE) tanto para configuraciones estándar como lineales.

Utilización de Características

Para manejar conjuntos grandes de prompts de manera eficiente, el método utiliza un mapa de características $\phi: \mathcal{X} \to \mathbb{R}^d$. En la configuración lineal, esto permite que el algoritmo aprenda el parámetro compartido $\theta$ entre todos los prompts, acelerando la convergencia. En los experimentos, las incrustaciones de prompts se extrajeron utilizando GPT-3.5-turbo y se redujeron mediante PCA.

Resultados Experimentales

Los autores evaluaron GENSEC y GENPSI en dos benchmarks de resumen (XSum y CNN/DailyMail) utilizando LLaMA-3-8B y Gemma-7B. Los objetivos fueron ROUGE-L (calidad) y Puntuación de Brevedad (longitud).

• Identificación del Prompt Factible Óptimo:

  • Los algoritmos basados en banditas (variantes CSR y MLP-CSR) superaron significativamente a las líneas base de muestreo uniforme.
  • Bajo presupuestos restringidos, los métodos propuestos recuperaron el 80–90% de la utilidad del prompt con restricciones óptimo, mientras que las líneas base alcanzaron solo el 20–50%.
  • La variante MLP-CSR, que aprovecha la estructura compartida mediante un estimador de red neuronal, superó consistentemente a la variante CSR de brazo independiente, demostrando el beneficio de explotar las correlaciones entre prompts.

• Identificación del Conjunto Pareto:

  • Utilizando el Volumen Hiper (HV) como métrica, los algoritmos basados en GENPSI (EGE y MLP-EGE) recuperaron >90% del volumen hiper del conjunto Pareto de verdad fundamental.
  • Las líneas base se mantuvieron en el rango bajo a medio del 80%.
  • MLP-EGE mostró una ventaja particular en regímenes de bajo presupuesto, destacando la eficiencia del aprendizaje de parámetros compartidos.

Contribuciones Clave

1. Formalización: Este trabajo presenta la primera formalización de la selección de prompts multicriterio como un problema de banditas de exploración pura multi-objetivo.
2. Innovación Algorítmica: La introducción de GENSEC y GENPSI, que generalizan algoritmos de banditas existentes para manejar restricciones y optimalidad de Pareto mientras explotan estructuras compartidas entre prompts.
3. Garantías Teóricas: El artículo proporciona límites de error teóricos para GENSEC en la configuración lineal, mostrando una mejora significativa en la dependencia del número de prompts ($K$) en comparación con trabajos anteriores.
4. Validación Empírica: Experimentos extensos demuestran que los enfoques basados en banditas son principistas y eficientes, ofreciendo mejoras sustanciales sobre las líneas base en la recuperación de prompts factibles óptimos y frentes de Pareto bajo presupuestos de evaluación estrictos.

Significado y Afirmaciones

El artículo afirma establecer un "marco principista y eficiente" para la optimización multi-objetivo de prompts. Al conectar la ingeniería de prompts con las banditas multi-objetivo, los autores argumentan que es posible ir más allá de estrategias ad-hoc o de métrica única. El trabajo aborda la realidad práctica de que el rendimiento de los prompts implica compensaciones inherentes que no pueden capturarse únicamente mediante métricas escalarizadas. Los autores posicionan sus métodos como una solución para escenarios donde los presupuestos de evaluación son limitados, como en dominios regulados o al tratar con inferencias costosas de LLM. El artículo concluye que este marco abre nuevas oportunidades para la optimización escalable de prompts bajo criterios de evaluación complejos, aunque reconoce que se necesita trabajo futuro para extender estos métodos a tareas más diversas e incorporar métricas más ricas como equidad y eficiencia.