LLM Prompt Duel Optimizer: Efficient Label-Free Prompt Optimization

Resumen Técnico: Prompt Duel Optimizer (PDO)

1. El Problema

Los Modelos de Lenguaje Grande (LLM) son extremadamente sensibles a la calidad de sus prompts (instrucciones). Sin embargo, los métodos actuales de Optimización Automática de Prompts (APO) presentan una limitación crítica: la mayoría depende de referencias de verdad fundamental (ground-truth) o datos de validación etiquetados para evaluar y puntuar los candidatos.

• Desafío: Obtener grandes volúmenes de datos etiquetados es costoso, lento y a menudo inviable en entornos industriales o de investigación temprana.
• Pregunta central: ¿Es posible optimizar prompts sin acceso a etiquetas de verdad fundamental, utilizando únicamente la retroalimentación del propio modelo?
• Limitaciones de enfoques existentes: Las evaluaciones puntuales (pointwise scoring) por parte de LLMs como jueces suelen ser ruidosas y propensas a problemas de calibración. Además, las comparaciones pareadas (pairwise) escalan cuadráticamente con el número de candidatos, haciendo inviable una evaluación exhaustiva con presupuestos limitados de API.

2. Metodología: Prompt Duel Optimizer (PDO)

El autores proponen PDO, un marco de trabajo eficiente en muestras que formula la optimización de prompts sin etiquetas como un problema de Bandido de Duelo (Dueling Bandit). En lugar de puntuar cada prompt individualmente, el sistema compara pares de prompts y selecciona el preferido.

PDO integra dos componentes principales:

A. Selección Eficiente mediante Muestreo de Thompson Doble (Double Thompson Sampling - D-TS)

• Concepto: Extiende el Muestreo de Thompson al entorno de bandidos de duelo. En lugar de recompensas escalares, utiliza resultados de comparaciones binarias.
• Mecanismo:
  1. Calcula una puntuación "optimista" (Copeland score) para cada prompt basándose en límites de confianza superiores.
  2. Selecciona un par de prompts para duelar: uno con la puntuación más alta y otro "oponente incierto" (aquel con el que la comparación es más ambigua).
  3. Utiliza un Juez LLM para determinar el ganador del duelo.
  4. Actualiza las estimaciones de probabilidad de victoria ($\mu(i, j)$) y los contadores de victorias/derrotas.
• Objetivo: Concentrar las llamadas al juez en pares informativos para identificar al "Ganador de Copeland" (el prompt que vence a la mayoría de los otros) con el menor número de comparaciones posible.

B. Descubrimiento de Prompts mediante Mutación Guiada por el Mejor Desempeño (Top-Performer Guided Mutation)

• Concepto: Inspirado en la optimización evolutiva, este componente expande dinámicamente el espacio de búsqueda.
• Mecanismo:
  1. Identifica el prompt actual con mejor desempeño (Ganador de Copeland).
  2. Genera una nueva variante ($p_{new}$) mediante edición de plantillas, cambios guiados por gradientes de texto o reescritura asistida por LLM.
  3. Añade la nueva variante al conjunto de candidatos y elimina los peores para mantener el tamaño del pool.
• Objetivo: Explorar regiones cercanas al óptimo global ("zooming-in") sin necesidad de un espacio de búsqueda exhaustivo.

3. Contribuciones Clave

1. Formalización Teórica: Plantean la optimización de prompts sin etiquetas con comparaciones pareadas como un problema de bandido de duelo, utilizando el criterio de Copeland como objetivo.
2. Algoritmo PDO: Introducen un algoritmo híbrido que combina D-TS para la selección eficiente de pares y una estrategia de mutación guiada para la exploración del espacio de prompts.
3. Evidencia Empírica: Demuestran que PDO supera consistentemente a las líneas base sin etiquetas (como SPO - Self-Supervised Prompt Optimization) en tareas de opción múltiple (BIG-bench Hard) y preguntas abiertas (MS MARCO) bajo presupuestos fijos de llamadas al juez.
4. Análisis de Ruido y Circularidad: Analizan la fiabilidad del juez LLM y demuestran que las mejoras de PDO son robustas incluso al cambiar la familia de modelos del juez (evitando el sesgo de circularidad).

4. Resultados Experimentales

Los experimentos se realizaron en BIG-bench Hard (BBH) (16 tareas de opción múltiple) y MS MARCO (4 categorías de preguntas abiertas).

• Rendimiento en BBH: PDO logró la mayor precisión en 13 de 16 tareas en comparación con líneas base sin etiquetas (CoT, PoS, SPO).
  • Mejoras notables: "Tracking-7" (+9.8 puntos porcentuales) y "Web of Lies" (+8.1 puntos porcentuales) sobre SPO.
• Rendimiento en MS MARCO: PDO superó a las líneas base (RUCB, muestreo aleatorio, SPO) en puntuaciones de calidad (1-5) y convergió más rápido hacia prompts de alto rendimiento.
• Eficiencia de Muestras: Bajo un presupuesto fijo de llamadas al juez, PDO encontró prompts superiores más rápido que el muestreo aleatorio o métodos de índice determinista (como RUCB).
• Análisis del Juez:
  • Se observó que el ruido del juez varía según la tarea. En tareas difíciles (ej. "Geometric"), un juez más potente (Claude 4.5) redujo significativamente el error de selección en comparación con un modelo más pequeño (Llama-3.3).
  • Validación Cruzada: Al re-evaluar los prompts optimizados con diferentes familias de modelos (GPT-4o, Mistral, Claude), PDO mantuvo su ventaja sobre SPO, confirmando que la mejora no es un artefacto de circularidad con el modelo de evaluación original.

5. Significado e Impacto

• Viabilidad Industrial: PDO ofrece una solución práctica para optimizar prompts en escenarios donde los datos etiquetados no están disponibles o son demasiado costosos, permitiendo el despliegue rápido de sistemas basados en LLM.
• Superioridad de la Preferencia Pareada: El estudio confirma que las comparaciones pareadas (pairwise) proporcionan señales de retroalimentación más estables y confiables que la puntuación directa (pointwise) cuando se utilizan LLMs como jueces.
• Escalabilidad: Al combinar la selección inteligente de pares (D-TS) con la exploración dirigida, PDO maximiza el retorno de inversión en costos de API, haciendo viable la optimización de prompts en entornos de producción con restricciones de presupuesto.

En conclusión, PDO establece un nuevo estándar para la optimización de prompts sin supervisión, demostrando que es posible alcanzar un rendimiento de clase mundial utilizando únicamente la retroalimentación de preferencias generada por el propio modelo, sin depender de conjuntos de datos de validación etiquetados.