Resumen Técnico: ARCO (Adaptive Rubric CO-evolution)

Declaración del Problema

El aprendizaje por refuerzo (RL) para agentes de modelos de lenguaje de gran escala (LLM) de múltiples pasos, como los utilizados en la respuesta de preguntas (QA) de múltiples saltos, suele depender de recompensas escalares. Estas recompensas son a menudo basadas en el resultado (éxito/fracaso binario a nivel de trayectoria) o basadas en el proceso (puntuaciones escalares opacas por paso).

• Las recompensas basadas en el resultado no proporcionan una asignación de crédito granular, lo que dificulta distinguir entre un acierto por suerte y un proceso de búsqueda metódico.
• Las recompensas basadas en el proceso mejoran la granularidad, pero a menudo siguen siendo "cajas negras", ya que no ofrecen una explicación de por qué un paso específico fue bueno o malo.
• Los métodos existentes basados en rúbricas intentan mejorar la interpretabilidad mediante el uso de criterios en lenguaje natural. Sin embargo, sufren dos limitaciones críticas:
  1. Puntuación a nivel de trayectoria: Asignan una única puntuación a todo el despliegue (rollout), dejando sin resolver la asignación de crédito a nivel de paso.
  2. Jueces estáticos: Dependen de LLMs de código cerrado y congelados (por ejemplo, GPT-4) como jueces externos. Aunque el texto de la rúbrica pueda actualizarse, los parámetros del juez permanecen estáticos, lo que impide que la función de puntuación se adapte a los modos de fallo evolutivos del agente.

Metodología: ARCO

Los autores proponen ARCO (Adaptive Rubric CO-evolution), un marco donde los criterios de evaluación (rúbrica) y la función de puntuación co-evolucionan con la política a nivel de parámetros utilizando un modelo de código abierto de la misma escala.

1. Modelo de Rúbrica Jerárquica ($\mu$)

ARCO instancia tanto la generación de la rúbrica como la puntuación dentro de un único modelo entrenable $\mu$ que comparte un esqueleto (backbone) $f_\theta$ con la política $\pi$. El modelo cuenta con dos cabezales ligeros:

• Cabezal de Generación (Alto nivel): Dado el prefijo de la trayectoria $h_t$ y la acción $a_t$, genera un conjunto ordenado de $K$ criterios en lenguaje natural $r_t = (c_{t,1}, \dots, c_{t,K})$. Estos criterios son específicos del contexto, adaptándose a la etapa de la tarea (por ejemplo, la focalización de entidades para búsquedas tempranas frente al soporte de la respuesta para los pasos finales).
• Cabezal de Puntuación (Bajo nivel): Toma el mismo contexto de estado-acción y los criterios generados $r_t$ como entrada. Produce $K$ puntuaciones a nivel de dimensión $d_t \in [-1, 1]^K$, que se promedian para formar la recompensa a nivel de paso $s_t$.

2. Entrenamiento Co-evolutivo

El marco opera sobre datos on-policy, actualizando conjuntamente la política $\pi$ y el modelo de rúbrica $\mu$:

• Calentamiento Supervisado (Supervised Warmup): Antes del RL, un profesor de código cerrado anota las trayectorias con rúbricas y puntuaciones. La política se inicializa mediante Ajuste Fino Supervisado (SFT) en trayectorias exitosas, y $\mu$ se inicializa para generar criterios y predecir puntuaciones que satisfagan una restricción de descomposición a nivel de trayectoria.
• Bucle de RL:
  • Actualización de la Política ($\pi$): La política se actualiza utilizando ventajas de recompensa hacia el futuro (reward-to-go) derivadas de las puntuaciones a nivel de paso $s_t$ predichas por el $\mu$ actual. Se utiliza una línea base de cubetas de posición (position-bucketed baseline) para reducir la varianza.
  • Actualización del Modelo de Rúbrica ($\mu$): El modelo se actualiza utilizando una restricción de descomposición de trayectoria. La suma de las puntuaciones de paso predichas debe ser igual al resultado binario terminal $R(\tau)$:
    $$\mathcal{L}_{\mu}^{rl} = \sum_{\tau} \left( \sum_{t} s_t - R(\tau) \right)^2 + \beta \cdot \text{KL}(\mu \| \mu_{ref})$$
    Esto permite que $\mu$ aprenda la asignación de crédito a nivel de paso sin etiquetas de paso "gold", mientras que el término KL mantiene las rúbricas generadas coherentes con la distribución de calentamiento.

3. Decisiones de Diseño Clave

• Esqueleto Compartido (Shared Backbone): Los cabezales de generación y puntuación comparten parámetros. Esto asegura que los criterios se escriban en el mismo espacio de representación utilizado para la puntuación, permitiendo que los gradientes del objetivo de descomposición den forma a las características para ambas etapas.
• Mismo Tamaño, Código Abierto: ARCO utiliza modelos de código abierto (por ejemplo, Qwen3-4B, Llama-3.2-3B) tanto para el agente como para el evaluador, eliminando la dependencia de jueces externos de código cerrado.

Contribuciones Clave

1. Marco de Rúbrica Adaptativa a Nivel de Paso: ARCO introduce un marco de recompensa de proceso donde tanto la rúbrica en lenguaje natural como la función de puntuación co-evolucionan con la política a nivel de parámetros, eliminando la necesidad de un juez de código cerrado congelado.
2. Modelo Jerárquico con Descomposición: Los autores diseñan un modelo que genera criterios específicos del contexto y puntúa acciones bajo ellos. Al imponer una restricción de descomposición de trayectoria, el modelo aprende a asignar crédito a pasos individuales basándose únicamente en el resultado terminal.
3. Validación Empírica: Experimentos extensos en benchmarks de QA de múltiples saltos demuestran que ARCO supera a los fuertes baselines, y los análisis confirman que las rúbricas generadas son específicas de cada paso, robustas y útiles para diagnosticar el comportamiento del agente.

Resultados Experimentales

Los autores evaluaron ARCO en tres benchmarks de QA de múltiples saltos: HotpotQA, 2WikiMultiHopQA y MuSiQue, utilizando dos esqueletos de código abierto (Qwen3-4B y Llama-3.2-3B).

• Rendimiento: ARCO logró los mejores puntajes de Exact Match (EM) en todas las seis configuraciones (dataset, backbone) y los mejores puntajes de F1 en cinco de seis. Superó consistentemente a:
  • Modelos de Recompensa de Resultado (ORM): Incluyendo métodos de recompensa binaria (Search-R1, R1-Searcher) y ORMs basados en rúbricas con jueces congelados (RaR, CARMO, RLER).
  • Modelos de Recompensa de Proceso (PRM): Específicamente AgentPRM, que utiliza valores escalares opacos por paso.
• Estudios de Ablación:
  • Eliminar la generación de texto de la rúbrica ("w/o Rubric") causó una caída significativa en el rendimiento, confirmando que las rúbricas proporcionan una estructura semántica esencial en lugar de ser solo decorativas.
  • El uso de criterios fijos a nivel de dataset ("w/o Adaptive") funcionó peor que la generación adaptativa, indicando que los criterios fijos no pueden rastrear los modos de fallo evolutivos.
  • Condicionar las rúbricas solo en la pregunta/acción sin el prefijo de la trayectoria ("w/o Prefix") redujo la corrección de la respuesta, mostrando la importancia del contexto completo.
• Calidad de la Rúbrica: Las pruebas de diagnóstico mostraron que las rúbricas de ARCO están altamente vinculadas a la acción (42–55% de precisión en identificar la acción específica que puntuaron, significativamente por encima del azar) y fueron calificadas positivamente en especificidad (aprox. 4.0/5.0).
• Sensibilidad: Se encontró que el número de criterios ($K$) es sensible; $K=3$ produjo el rendimiento óptimo, mientras que valores de $K$ más altos introdujeron redundancia sin mejorar las puntuaciones.

Significado y Reivindicaciones

El artículo afirma que ARCO representa un cambio de un modelado de recompensa estático y opaco a sistemas de recompensa adaptativos, interpretables y co-evolutivos.

• Interpretabilidad: Al generar criterios en lenguaje natural para cada paso, ARCO proporciona una señal "legible" que explica por qué una acción fue recompensada o penalizada, ayudando al diagnóstico del comportamiento del agente.
• Adaptabilidad: A diferencia de los métodos que utilizan jueces congelados, el evaluador de ARCO evoluciona junto con la política. A medida que el agente aprende a evitar ciertos errores, el modelo de la rúbrica se adapta para identificar modos de fallo más sutiles (por ejemplo, la focalización en la entidad incorrecta o la recuperación redundante).
• Eficiencia y Accesibilidad: Al utilizar modelos de código abierto de la misma escala tanto para el agente como para el evaluador, ARCO evita el costo y la dependencia de las APIs de código cerrado mientras mantiene un alto rendimiento.

Los autores concluyen que ARCO ofrece una base para construir sistemas de aprendizaje de recompensa de proceso interpretables para agentes de lenguaje, convirtiendo recompensas de resultado dispersas en señales densas y conscientes de cada paso sin necesidad de jueces externos.