💬 NLP

optimize_anything: A Universal API for Optimizing any Text Parameter

El artículo presenta "optimize_anything", un marco de optimización universal basado en LLM que logra resultados de vanguardia en seis dominios diversos —incluyendo el diseño de arquitecturas de agentes, la reducción de costos en la nube y la generación de kernels CUDA— al unificar la búsqueda basada en texto con la transferencia de múltiples tareas e información lateral accionable para superar a los algoritmos especializados.

Autores originales: Lakshya A Agrawal, Donghyun Lee, Shangyin Tan, Wenjie Ma, Karim Elmaaroufi, Rohit Sandadi, Sanjit A. Seshia, Koushik Sen, Dan Klein, Ion Stoica, Joseph E. Gonzalez, Omar Khattab, Alexandros G. Dimakis

Publicado 2026-05-20

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Lakshya A Agrawal, Donghyun Lee, Shangyin Tan, Wenjie Ma, Karim Elmaaroufi, Rohit Sandadi, Sanjit A. Seshia, Koushik Sen, Dan Klein, Ion Stoica, Joseph E. Gonzalez, Omar Khattab, Alexandros G. Dimakis, Matei Zaharia

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un chef maestro (un Modelo de Lenguaje Grande, o LLM) que es increíblemente talentoso escribiendo recetas, pero que no sabe cocinar. Por lo general, para obtener un plato excelente, tienes que contratar a un especialista diferente para cada curso: un pastelero para el postre, un maestro de la parrilla para el filete y un sous-chef para la sopa.

El artículo presenta optimize_anything, un nuevo sistema que actúa como un bucle universal de "degustación y entrenamiento". Afirma que no necesitas un especialista diferente para cada trabajo. En su lugar, puedes usar este único sistema para mejorar cualquier solución basada en texto, ya sea un programa informático, un conjunto de instrucciones, el cerebro de un robot o incluso un dibujo.

Así es como funciona, desglosado en conceptos simples:

1. La Idea Central: El "Artefacto de Texto"

Los autores se dieron cuenta de que casi cualquier problema puede convertirse en un fragmento de texto.

El código es solo texto.
Las instrucciones de un robot son solo texto.
Una fórmula matemática es solo texto.
Un dibujo (como un SVG) es solo código de texto.

La Analogía: Piensa en el "artefacto de texto" como un borrador de una historia. La tarea del sistema es tomar ese borrador, leerlo, ver qué tan bien funciona y luego pedirle al chef de IA que lo reescriba para mejorarlo.

2. El Secreto: "Información Secundaria" (Las Notas del Entrenador)

En el pasado, si pedías a una IA que mejorara algo, solo recibía una puntuación (por ejemplo, "Este código obtuvo un 60%"). No sabía por qué falló. Era como un estudiante que recibe una "C" en un examen sin retroalimentación sobre qué preguntas estaban mal.

optimize_anything cambia las reglas. El sistema no solo da una puntuación; proporciona Información Secundaria (SI).

La Analogía: Imagina a un entrenador observando a un atleta correr. En lugar de decir simplemente "Corriste en 10 segundos", el entrenador dice: "Corriste en 10 segundos, pero tropezaste en la tercera valla porque el cordón de tu zapato estaba suelto y te inclinaste demasiado a la izquierda".
Cómo ayuda: La IA utiliza estas notas específicas (como mensajes de error, registros de fallos o descripciones visuales) para solucionar el problema exacto. El artículo muestra que esto hace que la IA aprenda de 4 a 6 veces más rápido y logre puntuaciones mucho más altas que si solo tuviera una puntuación simple.

3. Las Tres Maneras de Jugar

El sistema tiene tres modos diferentes, como diferentes modos de juego en un videojuego:

Modo de Tarea Única (El Jugador en Solitario): Le das al sistema un problema específico que resolver, como "Empaquetar 26 círculos en un cuadrado". La IA intenta resolver solo eso.
Modo de Tareas Múltiples (El Grupo de Estudio): Le das al sistema un lote de problemas relacionados, como "Escribe 30 programas informáticos diferentes para acelerar las matemáticas". La IA los resuelve todos juntos.
- La Magia: Si la IA descubre un truco para el Problema #1 (como "usar un truco de memoria más rápido"), puede aplicar instantáneamente ese mismo truco al Problema #15. Es como un estudiante que aprende un atajo matemático en álgebra y lo usa para sacar una nota perfecta en cálculo. El artículo encontró que este modo era mucho mejor que resolver problemas uno por uno.
Modo de Generalización (La Clase Magistral): Le das a la IA un conjunto de entrenamiento y un conjunto de prueba. El objetivo es crear una solución que funcione en problemas nuevos y no vistos.
- Ejemplo: La IA aprendió a escribir una "guía de habilidades" para un robot de programación. Se entrenó en un conjunto de tareas de codificación y luego se volvió tan buena en la guía que ayudó al robot a resolver nuevas tareas de codificación que nunca había visto antes.

4. ¿Qué Lograron Realmente?

El artículo probó este sistema en seis tipos de problemas muy diferentes. Esto es lo que sucedió:

Cerebros de Robots (Arquitectura de Agentes): Le dieron a la IA un cerebro de robot muy simple, de 10 líneas. El sistema lo evolucionó hasta convertirlo en un cerebro complejo de más de 300 líneas. ¿El resultado? La precisión del robot en un acertijo lógico difícil (ARC-AGI) saltó del 32.5% al 89.5%.
Costos en la Nube: Le pidieron a la IA que escribiera un horario para servidores en la nube. El nuevo horario ahorró un 40% del dinero en comparación con los métodos estándar.
Velocidad Informática (Kernels CUDA): Le pidieron a la IA que escribiera código para hacer más rápidas las tarjetas gráficas. El 87% del código escrito por la IA fue tan rápido o más rápido que el mejor código escrito por humanos.
Acertijos Matemáticos: Mejoraron una pregunta de examen de matemáticas, aumentando la puntuación de la IA del 46.6% al 60%.
Empaquetado de Círculos: Le pidieron a la IA que empaquetara círculos lo más ajustadamente posible. La IA encontró una solución mejor que la de una IA famosa anterior (AlphaEvolve) y lo hizo con menos potencia de cálculo.
Modelos 3D: En un modo "sin semillas" (donde la IA tenía que empezar desde cero sin código), generó con éxito un modelo 3D de un unicornio.

5. Por Qué Esto Importa

Antes de esto, si querías optimizar un robot, necesitabas un experto en robótica. Si querías optimizar un servidor en la nube, necesitabas un experto en la nube.

optimize_anything afirma ser la primera "API Universal". Dice: "Dame el texto, dame las reglas para puntuarlo, y yo me encargo del resto". Unifica estos diferentes mundos bajo una interfaz simple.

La Trampa (Limitaciones):

Solo funciona con cosas que pueden escribirse como texto.
Necesita un "puntuador" (un evaluador) que le diga qué tan bien le va al texto.
La calidad del resultado depende de lo inteligente que sea el "chef" de la IA.
A veces, si le pides que resuelva demasiados problemas totalmente diferentes a la vez (como empaquetar círculos de diferentes tamaños), se confunde. Funciona mejor cuando los problemas están relacionados.

Resumen

optimize_anything es una herramienta que permite que un único sistema de IA aprenda a ser un optimizador maestro para casi cualquier cosa escrita en texto. Al darle a la IA retroalimentación detallada (no solo una puntuación) y permitirle aprender de múltiples problemas a la vez, puede descubrir soluciones que a menudo son mejores que las herramientas especializadas construidas por expertos humanos para trabajos específicos.

Resumen Técnico: optimize_anything

Enunciado del Problema

Los sistemas actuales de optimización de Modelos de Lenguaje Grande (LLM) están en gran medida aislados por tipo de artefacto y modo de optimización. Herramientas existentes como AlphaEvolve y OpenEvolve se especializan en la evolución de código para tareas únicas, mientras que marcos como GEPA y MIPROv2 se centran exclusivamente en la optimización de prompts con capacidades de generalización. Ningún sistema único ha demostrado la capacidad de optimizar simultáneamente artefactos de texto fundamentalmente diferentes, que van desde código y prompts hasta arquitecturas de agentes y parámetros de generación de imágenes. Además, los sistemas anteriores a menudo carecen de un mecanismo unificado para utilizar la retroalimentación diagnóstica (Información Secundaria) o soporte para la búsqueda multi-tarea donde los conocimientos se transfieren entre problemas relacionados.

El artículo postula que una amplia gama de problemas de optimización puede unificarse bajo una sola formulación: optimizar un artefacto de texto $x$ evaluado por una función de puntuación $f(x)$ que devuelve una puntuación y retroalimentación diagnóstica opcional. El objetivo es crear una API universal que soporte la búsqueda de una sola tarea, la búsqueda multi-tarea con transferencia entre problemas y la generalización a entradas no vistas en diversos dominios.

Metodología: optimize_anything

Los autores presentan optimize_anything, una API declarativa que implementa un bucle universal de optimización de texto. El sistema es agnóstico al backend, pero por defecto utiliza una extensión del algoritmo GEPA, adaptada para artefactos de texto arbitrarios.

Interfaz Principal

El sistema requiere tres entradas principales:

Artefacto Semilla: Una cadena de texto inicial (por ejemplo, código, prompt, definición de agente). En el "modo sin semilla", el sistema inicia el primer candidato únicamente a partir de un objetivo en lenguaje natural.
Evaluador: Una función que ejecuta el artefacto y devuelve una tupla de una puntuación (mayor es mejor) y Información Secundaria (SI).
Conjunto de Datos/Conjunto de Validación: Entradas opcionales para definir el modo de optimización.

Tres Modos de Optimización

El sistema unifica tres modos distintos bajo una misma interfaz, determinados por la presencia de conjuntos de datos:

Búsqueda de Una Sola Tarea: Optimiza un único artefacto para un problema específico (por ejemplo, empaquetar círculos). El evaluador puntúa el artefacto directamente.
Búsqueda Multi-Tarea: Optimiza un lote de tareas relacionadas simultáneamente. El sistema mantiene una frontera de Pareto compartida entre tareas, permitiendo que los patrones de optimización descubiertos para una tarea (por ejemplo, una optimización de kernel CUDA) se transfieran a otras.
Generalización: Optimiza un artefacto para que funcione bien en un conjunto de entrenamiento mientras se valida en un conjunto de validación separado y no visto. Este modo se extiende más allá de los prompts hacia arquitecturas de agentes y políticas de programación.

Mecanismos Algorítmicos Clave

Información Secundaria (SI) como Contrato de Primera Clase: A diferencia de los optimizadores basados en gradientes tradicionales que dependen de retroalimentación escalar, optimize_anything trata la retroalimentación diagnóstica (errores del compilador, datos del perfilador, trazas de ejecución, imágenes renderizadas) como una entrada principal. El proponente del LLM utiliza esta SI durante un paso de "reflexión" para diagnosticar fallos y proponer soluciones específicas, imitando a un ingeniero que itera sobre un prototipo.
Búsqueda Basada en Pareto: En lugar de colapsar puntuaciones multidimensionales en un único agregado, el sistema rastrea puntuaciones por tarea o por métrica. Mantiene una frontera de Pareto de candidatos no dominados. Esto preserva fortalezas complementarias (por ejemplo, un candidato bueno en la Tarea A pero promedio en la Tarea B) y evita la convergencia prematura.
Selección de Candidatos y Reflexión: Los candidatos se seleccionan para mutación basándose en su frecuencia en la frontera de Pareto. Al proponente se le muestra un minibatch de ejemplos y su correspondiente SI para generar un artefacto mejorado. Un paso de "refinador" detecta artefactos comunes de generación (por ejemplo, errores de sintaxis) antes de la evaluación.

Contribuciones Clave

Optimización Unificada Transversal a Dominios: El artículo demuestra que un único sistema basado en LLM puede lograr resultados de vanguardia en seis dominios fundamentalmente diferentes: búsqueda de arquitectura de agentes, programación en la nube, generación de kernels CUDA, optimización de prompts, empaquetado de círculos y generación de imágenes.
Primer Modo Multi-Tarea para la Evolución de LLM: El sistema introduce un modo de búsqueda multi-tarea donde resolver un lote de problemas relacionados permite la transferencia cruzada de patrones de optimización, superando la optimización independiente de una sola tarea.
Información Secundaria Accionable: Los autores formalizan la retroalimentación diagnóstica como un contrato de API uniforme. Los estudios de ablación muestran que la SI accionable produce una convergencia 4–6 $\times$ más rápida y puntuaciones finales sustancialmente más altas en comparación con la retroalimentación basada solo en puntuación.
Implementación de Código Abierto: El sistema se lanza como parte del proyecto GEPA, soportando múltiples backends y proporcionando una interfaz declarativa que abstrae los prompts de mutación, las configuraciones de islas y las plantillas específicas de la tarea.

Resultados Experimentales

El sistema fue evaluado en seis dominios principales:

Arquitectura de Agentes (ARC-AGI): Optimizó un sistema de agente (código + prompts) desde una semilla de 10 líneas hasta un sistema de más de 300 líneas, triplicando la precisión del 32.5% al 89.5% en el conjunto de pruebas ARC-AGI.
Programación en la Nube: Descubrió algoritmos de programación que redujeron los costos de salida de datos en la nube en un 40.2% (CloudCast) y mejoraron la utilización de instancias spot (Can't Be Late), superando las referencias existentes.
Kernels CUDA: Generó kernels para 31 operaciones de PyTorch donde el 87% igualó o superó las líneas base de PyTorch. El modo multi-tarea superó significativamente al modo de una sola tarea en los umbrales de aceleración.
Optimización de Prompts: Mejoró la precisión de GPT-4.1-mini en problemas matemáticos de AIME 2025 del 46.67% al 60.00%, superando a MIPROv2.
Empaquetado de Círculos: Superó la solución reportada por AlphaEvolve para empaquetar 26 círculos, logrando una suma de radios mayor con menos evaluaciones.
Generación de Imágenes: Optimizó código SVG y CAD, con evaluadores humanos prefiriendo los resultados sobre las líneas base de cero disparos.

Hallazgos de Ablación:

Información Secundaria: Eliminar la SI redujo significativamente el rendimiento final (por ejemplo, la puntuación de empaquetado de círculos cayó al 94% del óptimo; las aceleraciones de kernel cayeron del 40% al 0% superando 1.1 $\times$ ).
Multi-Tarea vs. Una Sola Tarea: La búsqueda multi-tarea superó consistentemente a la búsqueda de una sola tarea en tareas relacionadas (kernels CUDA) debido a la transferencia de patrones. Sin embargo, en tareas no relacionadas (empaquetado de círculos con diferentes $N$ ), la búsqueda multi-tarea introdujo ruido y degradó el rendimiento.
Sensibilidad del Proponente: Aunque los modelos más grandes (GPT-5.1) lograron una calidad final más alta, los modelos más económicos (GPT-5-nano) aún proporcionaron mejoras sustanciales sobre las semillas a una fracción del costo.

Significado y Afirmaciones

El artículo afirma establecer la optimización de texto con búsqueda basada en LLM como un paradigma de resolución de problemas de propósito general. Argumenta que al tratar los problemas de optimización como la mejora de artefactos de texto evaluados por funciones de puntuación con retroalimentación diagnóstica, se reduce la necesidad de algoritmos específicos de dominio.

El significado radica en:

Unificación: Unificar tareas que tradicionalmente requieren algoritmos distintos (evolución de código, ingeniería de prompts, diseño de agentes) bajo un único marco.
Escalabilidad de la Transferencia: Demostrar que los patrones de optimización pueden transferirse entre problemas relacionados, escalando los beneficios con el número de tareas.
Retroalimentación Accionable: Mostrar que convertir puntuaciones escalares en señales diagnósticas accionables (SI) es crítico para la eficiencia y efectividad de la optimización basada en LLM.

Los autores concluyen que optimize_anything proporciona una interfaz declarativa donde los usuarios definen qué optimizar (artefacto, evaluador, objetivo), y el sistema maneja el cómo (estrategia de búsqueda, reflexión, selección), democratizando efectivamente tareas de optimización complejas.