💬 NLP

SERPO: Self-Evolving Rubric Policy Optimization for Open-Ended Test-Time Reinforcement Learning

SERPO introduce un marco de autoevolución para el aprendizaje por refuerzo de tiempo de ejecución de código abierto que reemplaza la votación de respuestas con un sistema de bucle cerrado que cooptimiza los archivos de respuestas, las rúbricas específicas de consulta y los parámetros de la política para generar señales de recompensa fiables y lograr ganancias de rendimiento significativas en evaluaciones de dominio interno y fuera de distribución.

Autores originales: Jianze Wang, Kunwang Zheng, Ying Liu, Yu Cao, Qilong Zhang, Jinlong Chen, Hua Yang, Qianglong Chen

Publicado 2026-07-30

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jianze Wang, Kunwang Zheng, Ying Liu, Yu Cao, Qilong Zhang, Jinlong Chen, Hua Yang, Qianglong Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot a escribir una historia perfecta, pero tienes una regla extraña: nunca puedes mostrarle el final "correcto", y no puedes contratar a un profesor humano para calificar su trabajo. Este es el desafío del Aprendizaje por Refuerzo en Tiempo de Prueba (TTRL, por sus siglas en inglés). Normalmente, cuando las computadoras aprenden, se les da una respuesta clara a la cual aspirar, como un problema matemático con una única solución. Pero en el mundo desordenado de la escritura abierta —como dar consejos médicos o explicar ciencia compleja— no existe una única respuesta "correcta". Dos historias perfectas pueden verse completamente diferentes.

Para resolver esto, los científicos han probado un truco llamado votación. Le piden al robot que escriba diez versiones diferentes de una historia, luego eligen la que la mayoría de las otras versiones apruebe. Es como preguntarle a una multitud cuál es la respuesta a un acertijo; si la mayoría dice "manzana", el robot asume que "manzana" es la correcta. Pero este método falla cuando las respuestas son creativas o matizadas. Si diez personas dan diez versiones diferentes pero igualmente buenas de un consejo médico, el robot podría confundirse o, peor aún, podría elegir una respuesta "popular" que en realidad carece de una advertencia de seguridad crucial porque todos olvidaron mencionarla. El robot aprende a ser popular, no a ser seguro. Es como un estudiante que memoriza las respuestas más comunes en un examen pero falla al entender la lógica subyacente, lo que conduce a errores peligrosos en la vida real.

El Problema: Cuando "Lo Más Popular" no es "Lo Mejor"

Imagina que eres un juez en un concurso de talentos donde los concursantes intentan dar el mejor consejo para una persona enferma. En la forma antigua de hacer las cosas (el método de "votación"), el juez miraría todos los consejos, vería cuál fue el que más concursantes dieron y diría: "¡Bien, ese es el ganador!".

Pero aquí está el detalle: ¿qué pasa si el consejo más popular fuera "Beber agua y descansar"? Es un buen consejo, pero ¿qué pasa si el paciente tiene en realidad una condición grave que requiere un médico inmediatamente? Si cada concursante olvidó mencionar al médico, el sistema de "votación" seguiría eligiendo "Beber agua" como el ganador porque era la respuesta más común. El robot aprende a ser popular, no a ser seguro o preciso. Es como un estudiante que memoriza las respuestas más comunes en un examen pero no logra comprender la lógica subyacente, lo que lleva a errores peligrosos en la vida real.

La Solución: SERPO, la Rúbrica Autoevolutiva

Entra SERPO (Optimización de Política de Rúbrica Autoevolutiva). Piensa en SERPO no como un juez que cuenta votos, sino como un libro de reglas dinámico que se escribe a sí mismo mientras se juega la partida.

En lugar de preguntar "¿En qué responde la mayoría?", SERPO pregunta: "¿Qué reglas específicas hacen que una respuesta sea mejor que otra?". Lo hace creando un ciclo cerrado de tres elementos que se actualizan constantemente entre sí:

El Archivo de Evidencia (Lo Bueno, lo Normal y lo Malo):
Cada vez que el robot intenta responder una pregunta, SERPO guarda tres ejemplos específicos: uno que resultó ser Bueno, uno que fue Normal y uno que fue Malo. No solo guarda el "mejor", sino que guarda todo el espectro. Es como un entrenador que guarda un carrete de video de la mejor jugada de un jugador, un pase mediocre y un error terrible, todo uno al lado del otro.
La Rúbrica (El Libro de Reglas):
SERPO observa las diferencias entre los ejemplos Buenos, Normales y Malos y se pregunta: "¿Qué hizo exactamente que el Bueno fuera mejor?". Tal vez el Bueno mencionó una señal de advertencia específica que el Malo omitió. SERPO escribe una nueva regla (un "criterio") para detectar esa diferencia. Es como un profesor que se da cuenta de que los estudiantes olvidan citar sus fuentes, así que añade una nueva regla a la hoja de calificación: "Debe incluir al menos una fuente".
Crucialmente, este libro de reglas no es estático. A medida que el robot mejora, las reglas antiguas pueden volverse demasiado fáciles. SERPO desecha las reglas débiles e inventa nuevas, más difíciles, para mantener al robot desafiado.
La Política (El Cerebro del Robot):
El robot utiliza estas nuevas reglas para calificar sus propios intentos futuros. Si sigue la nueva regla de "citación de fuentes", obtiene una puntuación alta. Si la olvida, obtiene una puntuación baja. Luego, actualiza su cerebro para esforzarse más la próxima vez.

Cómo Funciona: La Danza del "Bueno-Normal-Malo"

La magia ocurre en un bucle.

Paso 1: El robot genera un grupo de respuestas.
Paso 2: SERPO clasifica las respuestas en un montón de "Bueno", "Normal" y "Malo".
Paso 3: El sistema observa el montón "Bueno" y el montón "Malo" y pregunta: "¿Cuál es la exacta diferencia?".
Paso 4: Crea una regla específica para detectar esa diferencia. Por ejemplo, si el consejo médico "Bueno" mencionaba revisar la presión arterial y el "Malo" no lo hizo, la nueva regla será: "Debe mencionar la revisión de la presión arterial para dolores de cabeza por embarazo".
Paso 5: El robot es recompensado por seguir esta nueva regla.
Paso 6: El robot lo intenta de nuevo, y el ciclo se repite.

Esto es diferente a la votación porque no le importa si todos están de acuerdo. Le importa si la respuesta es segura y completa. Incluso si solo uno de cada diez robots descubrió la revisión de la presión arterial, SERPO ve esa diferencia, escribe una regla para ello y enseña a todo el grupo a hacerlo.

Los Resultados: Más Inteligente, Más Seguro y Más Adaptable

Los investigadores probaron esta idea en dos tipos diferentes de preguntas: consejos médicos (HealthBench) y preguntas de investigación científica (ResearchQA). Utilizaron dos tamaños diferentes de cerebros robóticos (4 mil millones y 9 mil millones de parámetros).

Los resultados fueron bastante impresionantes. Cuando el robot aprendió usando SERPO:

En preguntas médicas, mejoró su puntuación hasta en 20.63 puntos en comparación con el robot inicial.
En preguntas científicas, mejoró hasta en 20.31 puntos.
En las seis pruebas que realizaron, la puntuación promedio aumentó 8.06 puntos.

Pero la parte más genial no fue solo la puntuación; fue la transferencia. Cuando entrenaron al robot con preguntas médicas y luego le hicieron preguntas sobre ciencia (que nunca había visto antes), este se desempeñó mejor que los robots entrenados con el antiguo método de "votación". Esto sugiere que SERPO le enseñó al robot cómo pensar sobre la calidad, en lugar de solo memorizar respuestas populares.

El artículo también mostró que este método funciona sin necesidad de profesores humanos o "súper-jueces" externos durante el proceso de aprendizaje. El robot se enseña a sí mismo comparando sus propios intentos "Buenos" y "Malos".

Por Qué Esto Importa

Este enfoque cambia las reglas del juego para la forma en que la IA aprende a manejar tareas complejas y abiertas. En lugar de esperar que la respuesta "más popular" sea la correcta, SERPO construye un sistema que refina constantemente su propia definición de "bueno". Es como un estudiante que no solo memoriza la clave de respuestas, sino que aprende a escribir su propia rúbrica de calificación, asegurándose de entender el porqué detrás de cada punto.

Los autores sugieren que este método podría ayudar a los sistemas de IA a ser más seguros y confiables en campos como la atención médica, donde omitir un solo detalle puede tener consecuencias graves. Al evolucionar sus propias reglas, la IA puede adaptarse a nuevas situaciones y detectar errores sutiles que un simple sistema de votación pasaría por alto. Es un paso hacia una IA que no solo sigue a la multitud, sino que realmente entiende qué hace que una respuesta sea buena.

Resumen Técnico: SERPO – Optimización de la Política de Rúbrica de Autoevolución

1. Planteamiento del Problema

El artículo aborda el Aprendizaje por Refuerzo en Tiempo de Prueba (TTRL, por sus siglas en inglés) para la generación de código abierto bajo un entorno transductivo estricto de conjunto fijo y sin etiquetas. En este escenario, un modelo de lenguaje desplegado debe autoevolucionar sobre un conjunto específico de prompts de prueba sin acceso a respuestas de referencia, retroalimentación humana, modelos de recompensa externos o jueces más fuertes.

Los métodos de TTRL existentes dependen de la votación de respuestas (por ejemplo, votación por mayoría o consistencia propia) para generar pseudo-etiquetas. Aunque esto es efectivo para tareas con respuestas extraíbles o canónicas (como opción múltiple o razonamiento simbólico), este enfoque falla para la generación de código abierto. En dominios como el asesoramiento médico o la investigación científica, las respuestas válidas pueden diferir significamente en redacción, detalle o estructura, mientras transmiten los mismos principios fundamentales de seguridad o veracidad. Por el contrario, la votación por mayoría puede reforzar omisiones compartidas o rechazar alternativas válidas que simplemente no coinciden con la fraseología más frecuente. El desafío central es construir una señal de recompensa fiable e informativa a partir de las propias salidas del modelo sin supervisión externa, específicamente para tareas donde no existe una única respuesta "correcta".

2. Metodología: SERPO

SERPO (Optimización de la Política de Rúbrica de Autoevolución) introduce un marco de ciclo cerrado que co-evoluciona tres componentes: archivos de respuestas específicos por consulta, rúbricas específicas por consulta y la política de actor compartida. A diferencia de los métodos que utilizan rúbricas fijas o jueces externos, SERPO deriva las recompensas enteramente de las propias salidas evolutivas del modelo.

Componentes Principales

Evolución de Respuestas Bueno–Normal–Malo (G-N-B):
- Para cada prompt, SERPO mantiene archivos rotativos de respuestas categorizadas como Buenas (Good), Normales (Normal) y Malas (Bad).
- En lugar de seleccionar solo la mejor y la peor absoluta, el sistema selecciona un triple ordenado de separación máxima $(G, N, B)$ basado en una puntuación de separación que maximiza la distancia entre las tres categorías. Esto asegura que los archivos contengan evidencia distintiva y ordenada de las diferencias de calidad.
Evolución de la Rúbrica:
- Una copia congelada del modelo inicial actúa como generador de rúbricas. Analiza los contrastes dentro de los archivos G-N-B para proponer criterios atómicos y específicos de la consulta (por ejemplo, "revisa la presión arterial" frente a "menciona el descanso").
- Selección basada en utilidad: Los criterios se califican según su capacidad para discriminar entre los archivos G-N-B (varianza en las puntuaciones y concordancia con el orden $G > N > B$ ).
- Mantenimiento dinámico: Los criterios de baja utilidad son eliminados y se admiten nuevos criterios discriminativos. Este proceso asegura que la rúbrica evolucione para capturar los matices específicos del rendimiento de la política actual.
Interfaz de Recompensa Probabilística:
- Un juez probabilístico congelado evalúa las respuestas frente a la rúbrica activa. En lugar de veredictos binarios estrictos, emite probabilidades de tokens de veredicto (probabilidad de "Pasar" frente a "Fallar").
- Estas probabilidades se convierten en puntuaciones de criterio orientadas (donde un valor mayor es siempre mejor, independientemente de si el criterio es positivo o negativo).
- Calibración: Las puntuaciones se normalizan basándose en el rendimiento medio de los archivos de "Buenos" y "Malos" para asegurar que la señal de recompensa se mantenga sensible a medida que la política mejora.
Optimización de la Política:
- El actor se actualiza utilizando Optimización de Política Relativa al Grupo (GRPO). Las recompensas escalares derivadas de la rúbrica evolutiva se utilizan para calcular ventajas, optimizando la política para maximizar la satisfacción de los criterios específicos de la consulta.
- Nuevas ejecuciones (rollouts) del actor refrescan los archivos G-N-B y activan una mayor evolución de la rúbrica, cerrando el ciclo.

3. Contribuciones Clave

Formulación de TTRL de Código Abierto sin Etiquetas: El artículo define un escenario donde el TTRL opera sin respuestas de referencia o jueces externos, abordando las limitaciones de los métodos de votación de respuestas en dominios de código abierto.
Marco SERPO: Un novedoso sistema de ciclo cerrado que co-evoluciona archivos de respuestas, rúbricas específicas de consulta y parámetros de política. Es el primero en combinar probabilidades de veredicto booleanas de razonamiento posterior con rúbricas evolutivas y específicas de consulta para la optimización de la política.
Interfaz de Recompensa Probabilística: Un mecanismo que convierte las probabilidades de satisfacción de criterios en recompensas relativas al grupo, preservando la confianza graduada y evitando los empates de recompensa causados por los veredictos binarios estrictos.
Validación Empírica: Experimentos exhaustivos que demuestran que SERPO logra ganancias significativas en el rendimiento dentro del dominio y se transfiere eficazmente a evaluaciones fuera de la distribución (OOD) sin supervisión externa.

4. Resultados Experimentales

Los autores evaluaron SERPO en dos configuraciones de modelos (Qwen3-4B y Qwen3.5-9B) a través de seis evaluaciones: dos dentro del dominio (HealthBench, ResearchQA) y cuatro OOD (MedQA, LLMEval-Med, GPQA-Diamond, RaR-Science).

Rendimiento Dentro del Dominio: SERPO supera significativamente a los modelos base y a otras líneas base (incluyendo TTRL basado en votación y métodos de rúbrica estática).
- En HealthBench, SERPO mejoró el modelo base Qwen3.5-9B en 20.63 puntos.
- En ResearchQA, mejoró el modelo base en 20.31 puntos.
- El promedio macro de los seis benchmarks aumentó hasta 8.06 puntos respecto al modelo base.
Transferencia OOD: Las políticas evolucionadas en HealthBench se transfirieron eficazmente a los benchmarks médicos OOD (MedQA, LLMEval-Med), y las políticas evolucionadas en ResearchQA se transfirieron a los benchmarks científicos OOD. SERPO superó a las líneas base en todos los entornos OOD, demostrando que los criterios auto-evolucionados generalizan mejor que el consenso basado en la frecuencia.
Estudios de Ablación:
- Eliminar la evolución de la rúbrica o congelar los archivos G-N-B resultó en caídas significativas de rendimiento (~12–13%), confirmando la necesidad tanto de definiciones evolutivas como de evidencia actualizada.
- El uso de jueces probabilísticos (puntuaciones suaves) fue crucial; los veredictos estrictos redujeron el rendimiento en un 6% debido a los empates de recompensa.
- Las actualizaciones del actor fueron el mayor motor de mejora; congelar el actor mientras se evoluciona solo la rúbrica produjo ganancias mínimas.
Evolución de Largo Alcance: Extender el entrenamiento a 45 épocas mostró una mejora continua, lo que sugiere que el método no se satura rápidamente. La evolución secuencial a través de los benchmarks (HealthBench $\to$ ResearchQA) demostró que SERPO puede aprender nuevos dominios mientras retiene y mejora su rendimiento en los anteriores.

5. Significado y Reivindicaciones

El artículo afirma que SERPO representa un paso significativo hacia la auto-mejora autónoma y sin etiquetas para modelos de lenguaje en dominios complejos y de código abierto.

Más allá de la Votación: Demuestra que la votación de respuestas es insuficiente para tareas de código abierto y que la verificación a nivel de criterio es una alternativa necesaria.
Autosuficiencia: SERPO logra un sólido rendimiento sin modelos de recompensa externos, retroalimentación humana o respuestas de referencia privilegiadas, confiando únicamente en la capacidad interna del modelo para distinguir la calidad mediante rúbricas evolutivas.
Generalización: La capacidad de transferir los criterios aprendidos a benchmarks no vistos sugiere que el método aprende principios de calidad generalizables (por ejemplo, seguridad, completitud) en lugar de sobreajustarse a patrones de prompts específicos.
Dirección Futura: Los autores posicionan a SERPO como una base para la mejora continua y sin etiquetas, proponiendo trabajos futuros sobre flujos de benchmarks cíclicos y mecanismos para gestionar la saturación y el olvido.

El artículo concluye que, al cerrar el ciclo entre la evidencia de respuesta, los criterios discriminativos y la optimización de la política, SERPO permite que los modelos se auto-evolucionen eficazmente incluso en ausencia de supervisión externa.