🤖 AI

From Monolithic to Modular: Segment-level Automatic Prompt Optimization

Este artículo presenta SAPO, un método de optimización automática de prompts a nivel de segmento que descompone los prompts en componentes distintos para atacar debilidades específicas y supera a los enfoques monolíticos existentes en diversos benchmarks.

Autores originales: Nikita Kulin, Viktor Zhuravlev, Artur Khairullin, Sergey Muravyov, Ilya Makarov, Daniil Sukhorukov, Ekaterina Averkova

Publicado 2026-08-13

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nikita Kulin, Viktor Zhuravlev, Artur Khairullin, Sergey Muravyov, Ilya Makarov, Daniil Sukhorukov, Ekaterina Averkova

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a un robot superinteligente a escribir una historia, resolver un problema matemático o resumir un artículo de noticias. Lo haces dándole un conjunto de instrucciones, que los científicos llaman un "prompt". Piensa en un prompt como una receta: si las instrucciones son vagas o desordenadas, el robot podría hornear un pastel que sepa a jabón en lugar de chocolate. Durante mucho tiempo, los investigadores intentaron arreglar estas recetas reescribiendo toda la receta desde cero cada vez que el robot cometía un error. Era como tirar un pastel entero a la basura porque el glaseado estaba ligeramente mal, con la esperanza de que el siguiente intento fuera perfecto. Este método, conocido como optimización "monolítica", a menudo funcionaba bien para una parte de la tarea, pero accidentalmente arruinaba otra, dejando al robot confundido y los resultados inconsistentes.

El artículo que vas a leer aborda este problema con un nuevo enfoque llamado SAPO (Optimización Automática de Prompts a Nivel de Segmento). En lugar de tirar toda la receta, SAPO actúa como un maestro chef que prueba cuidadosamente el pastel, identifica exactamente qué ingrediente está mal (tal vez demasiada sal, o poca azúcar) y arregla solo esa parte mientras deja intactas las partes perfectas. Los autores probaron este método en cinco tipos diferentes de tareas, desde responder preguntas de comprensión lectora hasta resolver problemas matemáticos complejos, utilizando dos cerebros robóticos diferentes (GPT-3.5-Turbo y GPT-4o-mini). Descubrieron que, al dividir las instrucciones en piezas más pequeñas y manejables y solo arreglar los puntos débiles, podían obtener resultados mucho mejores que los métodos anteriores, mejorando el rendimiento hasta en un 7.25% en algunas tareas.

La Receta para un Mejor Robot

Sumerjámonos en cómo funciona esto. Imagina que le estás dando a un robot un manual de instrucciones muy largo y complicado. En el pasado, si el robot obtenía la respuesta incorrecta, un optimizador automático intentaba reescribir todo el manual de una sola vez. Es como intentar arreglar el motor de un coche reemplazando el coche entero. A veces, este nuevo coche funciona de maravilla para conducir, pero es terrible para estacionar. El viejo método a menudo hacía que el robot fuera mejor en una cosa pero peor en otra, un problema que los autores llaman "deriva del prompt" (prompt drifting).

Los autores de este artículo, Nikita Kulin y su equipo, sugieren una forma más inteligente. Se dieron cuenta de que un buen manual de instrucciones no es solo un gran bloque de texto; está compuesto por diferentes secciones, como los capítulos de un libro. Ellos dividen el prompt en cuatro segmentos específicos:

Rol: ¿Quién se supone que debe ser el robot? (ej. "Eres un historiador servicial").
Contexto: ¿Cuál es la historia de fondo o la situación? (ej. "Estás hablando con un estudiante").
Tareas: ¿Qué es exactamente lo que el robot debe hacer? (ej. "Resume este texto en tres frases").
Formato de Salida: ¿Cómo debe verse la respuesta? (ej. "Dame una lista con viñetas").

El Juego de Detective de SAPO

El nuevo método, SAPO, trata estos cuatro segmentos como pistas en un juego de detectives. Aquí está el proceso paso a paso que utilizan:

Primero, el sistema somete al robot a una sesión de entrenamiento con un montón de ejemplos. Observa los resultados y selecciona los 5 mejores ejemplos (donde el robot acertó) y los 5 peores ejemplos (donde el robot falló).

Después, el sistema juega a ser detective. Le pide a un segundo robot, más inteligente (actuando como juez), que observe los 5 mejores y los 5 peores ejemplos y determine por qué el robot tuvo éxito o fracasó. ¿El segmento de "Rol" confundió al robot? ¿La "Tarea" era demasiado vaga? El juez identifica qué segmentos fueron "fuertes" (que funcionaron bien en los ejemplos buenos) y cuáles fueron "débiles" (que causaron problemas en los ejemplos malos).

Luego viene la parte mágica: Síntesis Restringida. En lugar de reescribir todo el manual, el sistema genera nuevas versiones del prompt que mantienen los segmentos fuertes exactamente como están y solo cambian los débiles. Es como mantener la masa perfecta de un pastel de chocolate pero cambiar el glaseado quemado por una tanda fresca. Esto asegura que las partes de la instrucción que ya estaban funcionando no se rompan accidentalamente.

Finalmente, el sistema prueba estos nuevos prompts parcialmente revisados en un conjunto de preguntas diferente (el conjunto de validación). Si el nuevo prompt funciona mejor, se acepta. Si no, el sistema mantiene el anterior. Esto sucede una y otra vez hasta que el robot es tan bueno como puede llegar a ser.

Los Resultados: Un Ganador Claro

El equipo probó este método en cinco desafíos muy diferentes:

SQuADv2: Responder preguntas basadas en un pasaje de lectura.
TweetEval: Clasificar el estado de ánimo de los tweets.
XSUM: Resumir artículos de noticias.
CommonGen: Crear oraciones a partir de una lista de palabras.
GSM8K: Resolver problemas matemáticos de nivel escolar.

Realizaron estas pruebas en dos modelos de robot diferentes: GPT-3.5-Turbo y GPT-4o-mini. Los resultados fueron bastante impresionantes. Cuando se comparó con otros métodos populares que reescriben todo el prompt a la vez (como APE, OPRO y EvoPrompt), SAPO puntuó consistentemente más alto en promedio.

En el modelo GPT-3.5-Turbo, SAPO mejoró el puntaje promedio en un 5.13% en comparación con el siguiente mejor método. En el más avanzado GPT-4o-mini, la mejora fue aún mayor, saltando un 7.25% por encima de la competencia. Las mayores victorias ocurrieron en tareas que requieren respuestas muy estrictas, como los problemas matemáticos (GSM8K) y la comprensión lectora (SQuAD2), donde un pequeño error en las instrucciones puede llevar a una respuesta completamente errónea.

Por Qué Esto Importa

Los autores sugieren que este éxito ocurre porque SAPO detiene la "interferencia destructiva" que sucede cuando cambias todo a la vez. Al localizar los cambios solo en las partes débiles del prompt, el sistema preserva las partes que ya están funcionando perfectamente. Es un enfoque más cuidadoso y quirúrgico para enseñar a los robots.

Sin embargo, el artículo también señala algunas limitaciones. El método actual utiliza un conjunto fijo de cuatro segmentos. Si bien esto funciona bien para muchas tareas, podría no ser lo suficientemente detallado para cada tipo de problema individual. Los autores sugieren que las versiones futuras podrían permitir que el robot descubra automáticamente nuevos tipos de segmentos si es necesario, en lugar de limitarse a estos cuatro.

En resumen, SAPO demuestra que cuando quieres enseñar a un robot superinteligente, a veces la mejor manera de arreglar un error no es empezar de nuevo, sino identificar cuidadosamente qué salió mal y arreglar solo esa pieza. Es un cambio de "reescribir todo" a "arreglar lo que está roto", y por ahora, parece ser la estrategia ganadora.

Resumen Técnico: Optimización de Prompts Automática a Nivel de Segmento (SAPO)

Planteamiento del Problema

La Optimización de Prompts Automática (APO) busca generar y seleccionar iterativamente prompts mejorados utilizando datos y retroalimentación de modelos, ofreciendo una alternativa de fácil despliegue frente al ajuste fino (fine-tuning) para Modelos de Lenguaje de Gran Escala (LLMs). Sin embargo, los procesos de APO actuales tratan predominantemente los prompts como cadenas monolíticas, optimizándolos mediante reescrituras globales. Este enfoque sufre de "deriva de prompt" (prompt drifting), donde las ediciones destinadas a corregir casos de fallo específicos degradan inadvertidamente comportamientos que antes eran correctos. Además, la efectividad de los optimizadores actuales suele ser sensible a las capacidades del modelo y a las elecciones de configuración, careciendo de un mecanismo para controlar dónde y cómo se aplican las ediciones dentro de la estructura del prompt.

Metodología: SAPO

El artículo introduce SAPO (Optimización de Prompts Automática a Nivel de Segmento), una estrategia modular que descompone los prompts en segmentos explícitos y operativamente separables en lugar de optimizarlos como un único bloque.

1. Descomposición de Prompts
SAPO estructura los prompts en cuatro segmentos distintos:

Rol ( $s_{role}$ ): Define la postura conductual (ej. clasificador, analista).
Contexto ( $s_{context}$ ): Codifica la fundamentación de la tarea, la inyección de entradas y las restricciones de dominio.
Tareas ( $s_{tasks}$ ): Especifica requisitos accionables y reglas de decisión.
Formato de Salida ( $s_{output}$ ): Gobierna el esquema de respuesta y las restricciones de formato.

2. El Bucle de Optimización
El método opera mediante un flujo de generación de dos etapas dentro de un bucle de búsqueda con validación de puerta:

Etapa A: Diagnóstico Contrastivo. El prompt actual se evalúa en un conjunto de entrenamiento ( $D_{train}$ ). El sistema extrae los 5 mejores (fuertes) y los 5 peores (débiles) ejemplos basados en métricas de rendimiento. Para métricas discretas, se utiliza una selección consciente de la clase para asegurar evidencia equilibrada. Un único LLM, guiado por meta-prompts estáticos, analiza estos ejemplos para diagnosticar qué segmentos están asociados con el éxito (fuertes) y cuáles con el fallo (débiles), generando recomendaciones específicas para la revisión.
Etapa B: Síntesis de Candidatos Restringida. El mismo LLM genera $K$ candidatos de prompt. Crucialmente, la síntesis está restringida: los candidatos deben preservar los segmentos identificados como "fuertes" mientras modifican principalmente los segmentos "débiles". Esto reduce la interferencia entre segmentos.
Selección y Aceptación. Los candidatos se evalúan en un conjunto de validación ( $D_{val}$ ). Un candidato se acepta solo si mejora la puntuación de validación. En caso de empate, se selecciona el candidato con la distancia de edición mínima respecto al prompt actual para favorecer actualizaciones conservadoras.

Contribuciones Clave

El artículo detalla tres contribuciones principales:

Objetivo de Optimización Explícito por Segmentos: A diferencia de las reescrituras globales, SAPO descompone el prompt en rol, contexto, tareas y formato de salida, permitiendo ediciones dirigidas.
Síntesis de Candidatos Restringida: El método impone la preservación de los segmentos fuertes y la revisión de los débiles, utilizando un desempate por distancia de edición para asegurar que las actualizaciones sean conservadoras.
Etapa de Diagnóstico Contrastivo: Las decisiones de actualización se fundamentan en evidencia explícita de los mejores/peores casos, incluyendo el manejo consciente de clases para métricas por ejemplo discretas, para identificar modos de fallo específicos.

Resultados Experimentales

SAPO fue evaluado en cinco conjuntos de datos diversos (SQuADv2, TweetEval, XSUM, CommonGen, GSM8K) utilizando dos arquitecturas de modelo: GPT-3.5-Turbo y GPT-4o-mini. Se comparó contra el prompting de disparo cero (Zero-shot) y bases de comparación (baselines) de APO robustas como APE, OPRO, EvoPrompt, GEPA y StraGO.

Rendimiento: SAPO alcanzó la mejor puntuación promedio en todos los conjuntos de datos y en ambas arquitecturas de modelo.
Ganancias: Respecto a la base de comparación más fuerte, SAPO produjo una mejora promedio de +5.13% en GPT-3.5-Turbo y +7.25% en GPT-4o-mini.
Sensibilidad a la Tarea: Las mayores ganancias relativas se observaron en GSM8K (razonamiento matemático) y XSUM (resumen abstractivo), lo que sugiere que el control a nivel de segmento es particularmente beneficioso para tareas que requieren una extracción de respuestas estricta o una generación de parámetros muy ajustados.
Robustez: El método demostró un rendimiento consistente, superando a todas las bases de comparación en GPT-4o-mini en los cinco conjuntos de datos, lo que indica que la optimización a nivel de segmento complementa el escalado de la capacidad del modelo.

Significado y Reivindicaciones

Los autores posicionan a SAPO como un puente entre el meta-prompting estático y la optimización consciente de la estructura. El artículo sostiene que las mejoras observadas derivan de la hipótesis de que la separación explícita de segmentos débiles/fuertes reduce la interferencia destructiva entre las ediciones. Al localizar las revisiones en los componentes débiles mientras se preservan las estructuras de alto rendimiento, SAPO aborda la inestabilidad y la "deriva de prompt" comunes en la optimización de prompts iterativa.

El trabajo afirma que SAPO ofrece un flujo de trabajo compatible con cajas negras y de fácil despliegue que impone la controlabilidad a nivel de segmento sin requerir una implementación compleja. Aunque los autores reconocen limitaciones respecto a la naturaleza fija de la taxonomía de segmentos y el potencial de omitir modos de error más finos debido a las ventanas fijas de mejores/peores casos, concluyen que SAPO proporciona una vía interpretable para futuras extensiones en la optimización automática de prompts.