🤖 AI

Reward-Free Evolving Agents via Pairwise Validator

Este artículo propone un marco de agente de autoevolución rentable que reemplaza las costosas señales de recompensa escalar por un validador de pares basado en un LLM congelado para guiar la mejora del agente, logrando un rendimiento competitivo a través de múltiples motores y sustratos sin requerir datos etiquetados ni entrenamiento adicional.

Autores originales: Minghao Liu, Yu Wang, Jiayun Wang, Wei Wei

Publicado 2026-07-17

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Minghao Liu, Yu Wang, Jiayun Wang, Wei Wei

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras no solo siguen órdenes, sino que realmente aprenden a escribir sus propias instrucciones. Este es el reino de los Agentes de IA, programas inteligentes que resuelven acertijos complejos descomponiéndolos en pasos, utilizando herramientas y reflexionando sobre los problemas. Usualmente, para hacer que estos agentes sean mejores, los humanos tienen que actuar como entrenadores estrictos. Cada vez que el agente intenta una nueva forma de pensar, el entrenador tiene que calificarla con una puntuación específica, como un profesor dando una nota de un examen. Pero aquí está el problema: crear esas pruebas perfectas y sus claves de calificación es increíblemente difícil, costoso y requiere una profunda experiencia humana. Es como intentar enseñarle a un robot a cocinar escribiendo un manual de 100 páginas sobre cómo picar exactamente una cebolla, solo para darse cuenta de que necesitas un nuevo manual para cada vegetal.

Entra el concepto de los Agentes Autoevolutivos. En lugar de esperar a que un entrenador humano califique cada intento, estos agentes intentan mejorarse a sí mismos en un bucle: realizan un pequeño cambio, lo prueban y, si parece mejor, lo conservan. La gran pregunta que los científicos se han estado haciendo es: ¿Podemos saltarnos la costosa calificación humana por completo? ¿Qué pasaría si el agente pudiera simplemente mirar a su "antiguo yo" y a su "nuevo yo" y decidir cuál es mejor, sin necesidad de una puntuación perfecta? Este artículo profundiza en esa misma cuestión, proponiendo un atajo ingenioso que reemplaza el pesado y costoso sistema de calificación por una comparación simple y rápida.

El Problema: La "Tarjeta de Puntuación" Costosa

Piensa en construir un agente de IA superinteligente como entrenar a un perro para hacer trucos. En la forma antigua, cada vez que el perro intenta un nuevo movimiento, un entrenador humano tiene que intervenir, observar de cerca y darle una puntuación precisa: "Eso fue un 7.5 de 10". Para obtener una puntuación fiable, el entrenador necesita una enorme biblioteca de ejemplos perfectos para comparar. Para la IA, esta "tarjeta de puntuación" se llama recompensa escalar. Es un único número que le dice al agente qué tan bien lo hizo.

El problema es que crear esta tarjeta de puntuación es una pesadilla. Requiere contratar expertos, etiquetar miles de ejemplos y cuesta una fortuna. A veces, la tarea es tan extraña o compleja que los humanos ni siquiera pueden ponerse de acuerdo en cómo debería ser una "buena" puntuación. Es como intentar calificar una pintura de un sueño: no hay una respuesta correcta, por lo que dar un número es imposible.

La Solución: El Juego de "¿Quién es Mejor?"

Los autores de este artículo, Minghao Liu y su equipo, se hicieron una pregunta simple: ¿Qué pasaría si dejamos de preguntar "¿Qué tan bueno es esto?" y empezamos a preguntar "¿Cuál es mejor?"?

En lugar de que un humano (o una computadora compleja) intente asignar un número difícil a un solo intento, introdujeron un Validador de Pares. Imagina a dos concursantes en un ring de boxeo: el "Padre" (la versión actual del agente) y el "Hijo" (la nueva versión modificada). Un Modelo de Lenguaje Grande (LLM) preentrenado y congelado actúa como el árbitro. No necesita conocer la puntuación exacta; solo mira a ambos y dice: "Creo que el Hijo es mejor" o "El Padre gana".

Esto es mucho más fácil para el árbitro de IA. Es como preguntarle a un amigo: "¿Prefieres chocolate o vainilla?", en lugar de pedirle que califique ambos sabores en una escala del 1 al 100 con total precisión. El artículo muestra que este juego de "¿Quién es Mejor?" es más estable y no requiere entrenamiento adicional para el árbitro.

Los Dos Nuevos Manuales de Estrategia

El equipo probó esta idea de dos maneras diferentes, creando dos nuevos "manuales de estrategia" para los agentes:

Enfoque Adaptativo: Este es el enfoque del "Entrenador Inteligente". El agente todavía utiliza un pequeño conjunto de ejemplos calificados por humanos para elegir qué versión conservará como "padre" para la siguiente ronda. Sin embargo, en el momento de decidir si acepta un nuevo cambio, se salta la costosa tarjeta de puntuación y simplemente usa al árbitro de "¿Quién es Mejor?". Es un híbrido que ahorra dinero en las decisiones diarias pero mantiene la red de seguridad humana para la planificación a largo plazo.
Elo Suave: Este es el enfoque del "Torneo Puro". Aquí, el agente desecha por completo la tarjeta de puntuación humana. Utiliza los veredictos de "¿Quién es Mejor?" del árbitro para ejecutar un sistema de clasificación (similar a cómo se clasifican los jugadores de ajedrez). Si el Hijo vence al Padre, el Hijo recibe un aumento en su clasificación. Con el tiempo, el agente evoluciona basándose puramente en estas batallas directas, sin necesidad de que un humano le asigne un número.

Los Resultados: ¿Funciona?

El equipo puso estos métodos a prueba en una gran variedad de desafíos, desde responder preguntas de trivia complicadas y resolver problemas matemáticos hasta escribir código que organiza datos. Compararon sus nuevos métodos de "Pares" contra los antiguos métodos de "Recompensa Completa" (la forma costosa, calificada por humanos).

Los hallazgos fueron sorprendentemente sólidos. En la mayoría de las pruebas, los agentes que utilizaron el árbitro de "¿Quién es Mejor?" funcionaron tan bien como, o incluso mejor que, los agentes que utilizaban las costosas tarjetas de puntuación humanas.

Para Trivia e Instrucciones: En tareas como responder preguntas basadas en un conjunto de documentos, el método "Elo Suave" ayudó al agente a generalizar mejor, lo que significa que no solo memorizó las preguntas de práctica, sino que aprendió la lógica real.
Para Matemáticas: Incluso en problemas matemáticos difíciles, los nuevos métodos lograron resolver la misma cantidad de problemas que los métodos antiguos, demostrando que no necesitas una puntuación perfecta para encontrar una buena solución.
Para Código: Al evolucionar programas informáticos, la puerta de control de pares funcionó tan bien como la línea base de recompensa completa, guiando con éxito el código para que fuera más eficiente.

El Problema y el Futuro

El artículo advierte cuidadosamente que esto no es una varita mágica para todas las situaciones. El método funciona mejor cuando todavía hay margen para que el agente mejore. Si el agente ya está en la cima de su juego, o si el árbitro (el LLM) está confundido por la tarea, el sistema puede estancarse. Además, si la "prueba" es demasiado pequeña (como un examen de matemáticas con solo 15 preguntas), los resultados pueden parecer un poco ruidosos, tal como lanzar una moneda unas pocas veces no te dice si es justa.

Sin embargo, el descubrimiento central es un cambio de paradigma: No necesitas una tarjeta de puntuación perfecta y costosa para evolucionar una IA inteligente. Al simplemente pedirle a un árbitro de IA congelado que compare dos versiones y elija al ganador, podemos construir agentes que se auto-mejoran que son tan capaces como los que construimos con expertos humanos, pero sin el enorme costo y esfuerzo de etiquetar datos. Es un cambio de "calificar cada examen" a "simplemente elegir el mejor ensayo", y resulta que eso es suficiente para enseñarle a una máquina cómo pensar.

Resumen Técnico: Agentes Evolutivos Libres de Recompensa mediante Validador por Pares

Planteamiento del Problema

La construcción de bucles de agentes auto-evolutivos —sistemas que refinan iterativamente el prompt, el código o el flujo de trabajo de un agente sin reentrenar el modelo subyacente— enfrenta un cuello de botella significativo: el diseño de la señal de calidad por iteración (recompensa). Actualmente, estos bucles dependen de una recompensa escalar para aceptar o rechazar modificaciones candidatas. Diseñar una recompensa escalar fiable suele ser prohibitivamente costoso, requiriendo experiencia en el dominio y grandes conjuntos de ejemplos etiquetados y limpios que pueden costar tanto como la tarea principal del agente. En muchos escenarios, definir tal recompensa es difícil o imposible, lo que crea una asimetría práctica donde recolectar unos pocos ejemplos de salidas "buenas" frente a "malas" es fácil, pero recolectar suficientes datos para entrenar una función de recompensa robusta no lo es.

Metodología

Los autores proponen reemplazar la recompensa escalar en la puerta de aceptación/rechazo de un bucle de auto-evolución con un validador por pares. Este validador es un LLM congelado que, dado un candidato padre y un candidato hijo, devuelve un veredicto binario sobre cuál es mejor. Este enfoque aprovecha el hallazgo de que el juicio por pares es generalmente más estable y más fácil para los LLM que la puntuación absoluta, ya que evita la necesidad de una calibración de escala estricta.

El artículo introduce dos configuraciones específicas de este método, integradas en motores existentes (GEPA, ADRS, ShinkaEvolve):

Enfoque Adaptativo (Libre de Entrenamiento de Recompensa):
- Mecanismo: Reemplaza la recompensa escalar en la puerta de aceptación/rechazo con el validador por pares.
- Selección de Padre: Conserva el mecanismo de selección de padre existente del motor, el cual depende de las recompensas del conjunto de validación.
- Contexto: El contexto del validador ( $E$ ) puede ajustarse. La variante de "Enfoque Adaptativo" emplea específicamente un meta-LLM para refrescar periódicamente la rúbrica de evaluación (por ejemplo, cambiando el enfoque entre precisión, solidez o calidad holística) basándose en la actividad reciente de la puerta.
Elo Suave (Totalmente Libre de Recompensa):
- Mecanismo: Reemplaza la recompensa escalar en la puerta con el validador por pares.
- Selección de Padre: Elimina completamente la dependencia de las recompensas del conjunto de validación. En su lugar, implementa un sistema de clasificación Elo impulsado por los veredictos del validador.
- Proceso: Los candidatos en el pool reciben una clasificación. En cada iteración, se selecciona un padre mediante una función softmax sobre las clasificaciones. El hijo se enfrenta al padre y a miembros aleatorios del archivo. El validador juzga estos pares y las clasificaciones Elo se actualizan según los resultados.
- Ponderación de Confianza: El paso de actualización se modula por la confianza por token ( $c_t$ ) del agente de la iteración anterior, lo que hace que el sistema sea un Elo "Suave". Si no se dispone de las probabilidades por token, se utiliza una variante de "Elo Simple" con un paso fijo.

Contribuciones Clave

Variantes de Validación Libres de Recompensa: El artículo define dos métodos para eliminar la necesidad de recompensas de tarea por paso. Ambos están libres de entrenamiento (el validador es un LLM congelado). El Enfoque Adaptativo elimina la recompensa de entrenamiento pero mantiene las recompensas de validación para la selección; el Elo Suave elimina ambas, confiando enteramente en los veredictos por pares tanto para la puerta como para la selección de padres.
Superioridad Empírica: Los autores demuestran que sus métodos libres de recompensa igualan o superan el rendimiento de las líneas base de recompensa completa a través de múltiples agentes (Qwen3, Gemma-4, gpt-oss) y tareas (recuperación, seguimiento de instrucciones, matemáticas, evolución de código).
Generalización y Robustez: Las ganancias de rendimiento persisten incluso cuando el modelo validador se intercambia por una familia de modelos diferente (por ejemplo, usando Claude Haiku o Gemma-4 como validador mientras el agente sigue siendo Qwen3), lo que sugiere que los beneficios no son artefactos de la auto-evaluación.
Reducción de la Brecha Validación-Prueba: En entornos donde los conjuntos de validación son pequeños (régimen de bajos datos), la puerta por pares demuestra una brecha menor entre el rendimiento de validación y el de prueba en comparación con las líneas base de recompensa escalar, lo que sugiere una mejor generalización.

Resultados

La evaluación cubre diez tareas a través de tres familias (recuperación/seguimiento de instrucciones, matemáticas, código) utilizando tres motores.

Evolución de Prompts (GEPA): A través de cinco configuraciones de agentes y cuatro tareas de PLN, los métodos propuestos (Enfoque Adaptativo y Elo Suave) igualaron o superaron a la línea base de GEPA de recompensa completa en la mayoría de los casos. Las mejoras notables incluyeron Soft Elo en HoVer (+10.0) y Adaptive Focus en IFBench (+11.6).
Tareas Matemáticas: En AIME y LiveBench-Math, los métodos lograron paridad o ganancias significativas (por ejemplo, +20.0 en AIME para Qwen3-8B thinking) a pesar de los tamaños reducidos de los conjuntos de prueba, sirviendo como una comprobación de robustez.
Evolución de Código (ADRS, ShinkaEvolve): En tareas de código, la variante "Direct + full reward" (puerta por pares + recompensa completa para selección) ganó 5 de 10 celdas, mientras que "Direct + easy reward" ganó 6. La puerta por pares mantuvo la paridad o superioridad donde había margen de mejora, aunque no superó la línea base en regímenes saturados (por ejemplo, procesamiento de señales).
Intercambio de Validador: Cuando el validador fue reemplazado por una familia de modelos diferente (Haiku o Gemma-4), los métodos libres de recompensa continuaron igualando o superando la línea base, confirmando la validez del método más allá de las configuraciones de emparejamiento propio.

Significado y Reivindicaciones

El artículo afirma que el validador por pares sirve como un reemplazo directo para el diseño de la recompensa por paso. Logra una precisión de tarea competitiva sin el coste de etiquetado asociado con el entrenamiento de un modelo de recompensa escalar.

Los autores enfatizan que la sustitución funciona mejor cuando:

La línea base tiene margen de mejora (regímenes no saturados).
El validador puede distinguir de forma fiable entre los candidatos padre y el hijo.

Reconocen modestamente las limitaciones donde el método puede fallar:

Saturación: Cuando la línea base ya está cerca del techo de rendimiento del agente.
Conjuntos de Prueba de N Pequeño: Donde ejemplos individuales afectan desproporcionadamente a las puntuaciones.
Brechas de Capacidad: Cuando el agente carece fundamentalmente de la capacidad para resolver la tarea.
Desajuste del Validador: Cuando el propio validador tiene dificultades con el tipo de tarea específica, lo que conduce a veredictos ruidosos.

En última instancia, el artículo posiciona la puerta por pares no como un reemplazo universal para todos los escenarios de recompensa, sino como una alternativa altamente efectiva y rentable para el cuello de botella específico del diseño de recompensas por paso en los bucles de evolución de agentes.