💬 NLP

Bandit-Based Prompt Design Strategy Selection Improves Prompt Optimizers

Este artículo presenta OPTS, un marco de optimización de prompts que mejora el rendimiento de optimizadores existentes como EvoPrompt mediante la implementación de mecanismos explícitos basados en bandits (específicamente, muestreo de Thompson) para seleccionar y aplicar eficazmente estrategias de diseño de prompts, superando así a los métodos que dependen de la selección implícita de estrategias.

Autores originales: Rin Ashizawa, Yoichi Hirose, Nozomu Yoshinari, Kento Uchida, Shinichi Shirakawa

Publicado 2026-06-18

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Rin Ashizawa, Yoichi Hirose, Nozomu Yoshinari, Kento Uchida, Shinichi Shirakawa

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot muy inteligente pero a veces testarudo (un Modelo de Lenguaje Extenso) cómo resolver un rompecabezas difícil. Le das instrucciones al robot, llamadas "prompt". Si las instrucciones son vagas, el robot se confunde. Si son perfectas, el robot resuelve el rompecabezas instantáneamente.

Durante mucho tiempo, los humanos han intentado escribir estas instrucciones perfectas a mano, o han utilizado programas informáticos para ajustar automáticamente las instrucciones hasta que funcionen mejor. Esto se llama Optimización de Prompts.

Sin embargo, hay un problema: estos programas automáticos suelen crear instrucciones que son funcionales pero que carecen del "toque secreto" que usan los expertos humanos. Se les escapan trucos probados como "piensa paso a paso" o "actúa como un experto".

El Problema: El Mal Juego de Adivinanza del Robot

Recientemente, una herramienta llamada APET intentó solucionar esto. Le dio al robot un menú de "estrategias de diseño" (como un menú de técnicas de cocina: añadir sal, picar finamente, cocinar a fuego lento). Se suponía que el robot debía mirar el menú y decidir qué trucos usar para el rompecabezas específico.

Pero el artículo argumenta que pedirle al robot que tome esta decisión es como pedirle a un chef cansado que adivine qué especia salvará una sopa quemada. El robot suele adivinar mal, eligiendo estrategias que en realidad empeoran las instrucciones. Es una elección implícita (el robot simplemente "siente" que debería usar un truco), y no es muy bueno en ello.

La Solución: OPTS (El Sommelier Inteligente)

Los autores de este artículo presentan un nuevo método llamado OPTS (Optimizing Prompts with sTrategy Selection - Optimización de Prompts con Selección de Estrategia).

En lugar de dejar que el robot adivine, OPTS actúa como un sommelier inteligente (un experto en vinos) o un gerente de casino dirigiendo un juego de azar. Así es como funciona usando una analogica simple:

Imagina que tienes una fila de máquinas tragamonedas (los investigadores las llaman "brazos").

Máquina 1: Añade "Piensa paso a paso" a las instrucciones.
Máquina 2: Le dice al robot "Lee la pregunta de nuevo".
Máquina 3: Le dice al robot "Actúa como un experto en matemáticas".
Máquina K+1: No hace nada (mantiene las instrucciones exactamente como están).

En el método antiguo (APET), el robot simplemente tiraba de una palanca al azar o basado en un presentimiento.

En el nuevo método OPTS, el sistema utiliza una estrategia matemática llamada Muestreo de Thompson (Thompson Sampling). Piensa en esto como un jugador inteligente que lleva una tarjeta de puntuación:

Prueba una máquina (una estrategia).
Si el robot resuelve el rompecabezas mejor, el sistema le da a esa máquina un "pulgar arriba" y hace que sea más probable que se elija la próxima vez.
Si el robot falla, el sistema le da a esa máquina un "pulgar abajo" y deja de elegirla.
Crucialmente, también mantiene una máquina de "No hacer nada". Si todos los trucos están empeorando las cosas, el sistema aprende a dejar las instrucciones tal como están.

Lo que Encontraron

Los investigadores probaron esto en dos robots diferentes (LLMs) utilizando un conjunto de rompecabezas de lógica y razonamiento muy difíciles (llamados BIG-Bench Hard).

El Resultado: Al usar este enfoque de "jugador inteligente" para elegir la estrategia correcta, el sistema creó instrucciones mucho mejores de las que los robots podrían hacer por sí solos.
El Campeón: El método de Muestreo de Thompson (el jugador inteligente) fue el claro ganador. Mejoró el rendimiento del optimizador de prompts hasta en un 50% en algunas tareas.
La Comparación: El método antiguo (APET), donde el robot adivinaba, en realidad funcionó peor que simplemente elegir estrategias al azar. Esto demuestra que el robot es malo adivinando qué trucos usar, pero es muy bueno siguiendo instrucciones si nosotros le decimos qué truco usar.

La Conclusión

Este artículo no pretende haber resuelto todos los problemas de la IA o estar listo para el diagnóstico médico todavía. Simplemente muestra que cuando intentamos enseñar a la IA a hablar mejor, no debemos dejar que la IA adivine qué método de enseñanza utilizar. En su lugar, debemos usar un sistema inteligente basado en datos (como el Muestreo de Thompson) para elegir explícitamente los mejores trucos de enseñanza, tal como un entrenador elige la jugada adecuada para una situación de juego específica.

El código para este "entrenador inteligente" ya está disponible para que otros lo utilicen.

Resumen Técnico: Selección de Estrategias de Diseño de Prompts Basada en Bandidos

Declaración del Problema

La optimización de prompts busca encontrar automáticamente prompts efectivos que mejoren el rendimiento de los Modelos de Lenguaje de Gran Escala (LLMs). Aunque los métodos existentes de optimización de prompts discretos (por ejemplo, algoritmos evolutivos) han descubierto con éxito prompts efectivos, estos a menudo difieren de los prompts sofisticados y cuidadosamente elaborados por expertos humanos. Existe una brecha crítica en el aprovechamiento de las "estrategias de diseño de prompts" establecidas (mejores prácticas como Chain-of-Thought o Role Prompting) dentro de la optimización automatizada.

Enfoques recientes, como el Autonomous Prompt Engineering Toolbox (APET), intentan incorporar estas estrategias alimentando al LLM con todas las descripciones de estrategias disponibles, de modo que este selecciona y aplica las estrategias de forma implícita. Sin embargo, esta selección implícita es propensa a un rendimiento subóptimo porque los LLMs pueden no optimizar eficazmente el proceso de selección, y las estrategias inapropiadas pueden impactar negativamente el rendimiento dependiendo de la tarea específica y del LLM objetivo. El problema central abordado es la falta de un mecanismo explícito y robusto para seleccionar las estrategias de diseño de prompts más apropiadas durante el proceso de optimización.

Metodología

Los autores proponen OPTS (Optimizing Prompts with sTrategy Selection), un marco que introduce mecanismos de selección explícitos para las estrategias de diseño de prompts. OPTS está integrado en EvoPrompt, un optimizador de prompts bien conocido que emula algoritmos evolutivos (específicamente Algoritmos Genéticos y Evolución Diferencial).

Componentes Principales

Brazos de Estrategia (Strategy Arms): El sistema define $K$ brazos, cada uno correspondiente a una estrategia de diseño de prompts específica (por ejemplo, Chain-of-Thought, Emotion Prompting, Re-Reading). Se incluye un brazo adicional de " $(K+1)$ " llamado "brazo de inacción", que representa la opción de no aplicar ninguna modificación de estrategia.
Mecanismos de Selección: El artículo propone y evalúa tres métodos de selección distintos:
- OPTS(TS): Utiliza Thompson Sampling, un algoritmo de bandidos multi-brazos. Mantiene una distribución de probabilidad (prioris de la distribución Beta) para la recompensa esperada de cada brazo. Tras evaluar un prompt modificado, la recompensa (basada en la precisión del LLM de resolución de tareas) actualiza la distribución, permitiendo al sistema equilibrar la exploración y la explotación de estrategias.
- OPTS(US): Utiliza Uniform Sampling (Muestreo Uniforme), donde cada brazo (incluyendo el brazo de inacción) se selecciona con igual probabilidad, sirviendo como una línea base para la aplicación aleatoria de estrategias.
- OPTS(APET): Basado en el método APET, donde un LLM selecciona implícitamente las estrategias de una lista. Esta versión incluye una probabilidad explícita del 50% de elegir el "brazo de inacción" para imitar el comportamiento de APET mientras se añade un control para la no modificación.
Flujo de Trabajo de Integración:
- EvoPrompt genera un nuevo prompt candidato mediante cruce (crossover) y mutación.
- El módulo OPTS selecciona una estrategia (o inacción) basada en el mecanismo elegido.
- Si se selecciona una estrategia, su descripción se pasa a un "LLM de diseño de prompts" junto con un meta-prompt y el candidato de prompt.
- El LLM de diseño de prompts modifica el prompt para incorporar la estrategia seleccionada.
- El prompt modificado es evaluado por el "LLM de resolución de tareas", y la puntuación resultante se utiliza para actualizar la distribución de selección (en el caso de TS) y determinar la población de la siguiente generación.

Contribuciones Clave

Selección Explícita de Estrategias: El artículo introduce los primeros mecanismos de selección explícita de estrategias de diseño de prompts dentro de la optimización de prompts, alejándose de la selección implícita utilizada en trabajos previos como APET.
Integración de Thompson Sampling: Los autores proponen un enfoque basado en Thompson Sampling (OPTS(TS)) que demuestra empíricamente un rendimiento superior en la selección de estrategias apropiadas para tareas y LLMs específicos.
Mejora del Rendimiento: El estudio demuestra que la integración de la selección explícita de estrategias mejora significativamente el rendimiento del optimizador EvoPrompt.
Evaluación Exhaustiva: Los métodos son evaluados a través de 27 tareas desafiantes de BIG-Bench Hard (BBH) utilizando dos LLMs de resolución de tareas diferentes (Llama-3-8B-Instruct y GPT-4o mini) y dos algoritmos evolutivos diferentes (GA y DE).

Resultados Experimentales

Los experimentos se realizaron utilizando tareas de BIG-Bench Hard. Los LLMs de resolución de tareas fueron Llama-3-8B-Instruct (todas las 27 tareas) y GPT-4o mini (3 tareas).

Mejora General: Las tres variantes de OPTS (TS, US, APET) mejoraron el rendimiento promedio del baseline EvoPrompt(DE) aproximadamente entre un 4.5% y un 7.5%.
Superioridad de Thompson Sampling: OPTS(TS) logró los mejores resultados generales. Al utilizar GPT-4o mini tanto para la generación de prompts como para la resolución de tareas, OPTS(TS) mejoró el rendimiento de EvoPrompt hasta en un 50% en tareas específicas (por ejemplo, "logical deduction five objects"). En promedio, a través de las tareas de BBH con Llama-3-8B-Instruct, OPTS(TS) superó a OPTS(US) en un ~1.7% y a OPTS(APET) en un ~2.7%.
Comparación con APET: OPTS(APET) funcionó peor que OPTS(US), lo que sugiere que los LLMs tienen sesgos que conducen a una selección implícita incorrecta de estrategias.
Variabilidad de la Tarea: La mejora varió según la tarea. Para tareas como "ruin names", OPTS(TS) mejoró el rendimiento en un ~40% respecto al baseline. En algunos casos, el rendimiento decayó ligeramente, pero el "brazo de inacción" aseguró que la degradación fuera mínima en comparación con las ganancias.
Eficiencia de Costos: Bajo una restricción fija de 500 llamadas a la API, OPTS(TS) aun así superó al baseline EvoPrompt, indicando una mayor rentabilidad.

Significado y Reivindicaciones

El artículo sostiene que la selección explícita de estrategias de diseño de prompts es un paso crucial para avanzar en la optimización de prompts. Al aprovechar el conocimiento existente de la ingeniería de prompts (estrategias como Chain-of-Thought) a través de un proceso de selección basado en bandidos, OPTS permite a los optimizadores descubrir prompts que no solo son efectivos, sino también estructuralmente alineados con las mejores prácticas humanas.

Los autores destacan que:

La selección explícita es superior a la selección implícita: La capacidad de un LLM para elegir estrategias implícitamente (como en APET) es subóptima en comparación con la selección basada en datos de Thompson Sampling.
Las estrategias pueden combinarse: Aunque OPTS(TS) selecciona una estrategia a la vez, los prompts optimizados resultantes a menudo exhiben una combinación de estrategias (por ejemplo, Chain-of-Thought incorporando Re-Reading), lo que sugiere que el optimizador aprende eficazmente a integrar estas técnicas.
Generalizabilidad: El enfoque es efectivo independientemente del LLM de resolución de tareas específico (Llama-3 o GPT-4o) o del algoritmo evolutivo subyacente (GA o DE).

Los autores mantienen una postura modesta, señalando limitaciones como la formulación de OPTS(TS) como un bandido de Bernoulli (que podría refinarse), la falta de pruebas en otros optimizadores más allá de EvoPrompt, y la potencial variabilidad de los resultados basada en el conjunto específico de estrategias preparadas. Concluyen que su trabajo subraya la importancia de aprovechar y seleccionar explícitamente el conocimiento existente de diseño de prompts para mejorar el rendimiento de los LLMs.