💬 NLP

QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards

QUBRIC es un marco novedoso que supera las limitaciones estructurales del aprendizaje por refuerzo basado en rúbricas existentes mediante el codiseño de consultas basadas en escenarios y rúbricas fundamentadas en el profesor, permitiendo así un entrenamiento efectivo en tareas abiertas y logrando mejoras significativas de rendimiento en evaluaciones de razonamiento y seguimiento de instrucciones.

Autores originales: Rongzhi Zhang, Rui Feng, Zhihan Zhang, Jingfeng Yang, Qingyu Yin, Xin Liu, Zixuan Zhang, Priyanka Nigam, Bing Yin, Tuo Zhao, Chao Zhang

Publicado 2026-06-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rongzhi Zhang, Rui Feng, Zhihan Zhang, Jingfeng Yang, Qingyu Yin, Xin Liu, Zixuan Zhang, Priyanka Nigam, Bing Yin, Tuo Zhao, Chao Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a escribir una gran historia o a resolver un problema difícil. En el mundo de la Inteligencia Artificial, esto se llama Aprendizaje por Refuerzo (Reinforcement Learning o RL). Normalmente, enseñamos a los robots dándoles una puntuación clara de "Sí" o "No". Por ejemplo, en matemáticas, si la respuesta es "42", el robot recibe una estrella dorada. Si es "43", no recibe nada. Esto funciona de maravilla para las matemáticas y la programación.

Pero, ¿qué pasa cuando no hay una única respuesta correcta? ¿Qué ocurre si preguntas: "¿Cómo preparo una buena taza de café?" o "Escribe una historia moral sobre un perro perdido"? Aquí no hay un "42". Es aquí donde entra en juego el artículo QUBRIC.

El Problema: La trampa de la "Pregunta Vaga"

Los autores encontraron un gran obstáculo en la forma en que enseñamos actualmente a los robots a manejar estas preguntas abiertas.

Piénsalo de esta manera: Le pides a un estudiante: "Explica cómo hornear un pastel".

La forma antigua: Intentas crear una lista de verificación (una rúbrica) para que el profesor califique la respuesta. Pero como la pregunta es tan amplia, la lista de verificación termina siendo vaga. "¿Mencionó la harina?" "¿Mencionó los huevos?" Es difícil ser justo.
El arreglo ingenuo: Alguien intenta hacer la pregunta más específica: "Explica cómo hornear un pastel usando la Guía del Maestro Pastelero 2024".
- El desastre: ¡El robot no tiene esta guía! ¡No existe! Así que el robot o bien se niega a responder (porque no puede encontrar la guía) o inventa una guía falsa. La lista de verificación del profesor entonces solo comprueba: "¿Te negaste a responder?" o "¿Mentiste?". El robot no recibe una retroalimentación útil sobre cómo hornear un pastel. Solo aprende a quedarse callado o a mentir.

El artículo llama a esto el "Fallo de Referencia Fabricada" (Fabricated Reference Failure). No puedes calificar a un robot basándote en un libro de reglas que no existe.

La Solución: QUBRIC (El enfoque del "Co-Diseñador")

Los autores crearon un nuevo sistema llamado QUBRIC. En lugar de simplemente crear una lista de verificación para una pregunta desordenada, QUBRIC cambia la pregunta y la lista de verificación juntas, como un equipo de arquitectos e inspectores trabajando codo con codo.

Así es como funciona, utilizando una analogía simple:

1. El detective de "Puntos Clave" (Reescribiendo la pregunta)

En lugar de pedirle al robot que "Explique el aprendizaje automático" (que es demasiado vasto), el sistema analiza lo que diría un experto humano (un "Profesor"). Extrae los hechos más importantes y diminutos (Puntos Clave).

Analogía: Imagina que quieres enseñarle a un niño sobre "Animales". En lugar de eso, dices: "Imagina que eres un cuidador en un zoológico específico con un león hambriento. El león solo come carne del lado norte del recinto. ¿Cómo alimentas al león?".
Por qué funciona: No has cambiado el tema (sigue siendo sobre animales/alimentación), pero has creado un escenario específico con un espacio de respuesta claro. No estás pidiendo un libro falso; estás pidiendo una solución a un problema real y contenido.

2. El inspector "Contrastivo" (Creando la lista de verificación)

Ahora, el sistema genera la lista de verificación (la rúbrica). No se limita a adivinar cómo es una buena respuesta. Compara la respuesta perfecta de un "Profesor" contra la respuesta actual del "Estudiante" (el robot).

Analogía: El inspector mira la respuesta del Profesor y dice: "Ah, el Profesor mencionó revisar los dientes del león antes de alimentarlo. El Estudiante olvidó eso".
La lista de verificación se convierte en: "¿La respuesta menciona revisar los dientes del león?".
Esta es una Rúbrica Constitutiva: La regla es autónoma. No necesitas conocer hechos externos para calificarlo; solo compruebas si ese detalle específico está presente.

3. El "Filtro de Dificultad" (Eligiendo los problemas de práctica adecuados)

No todas las preguntas son buenas para aprender.

Si la pregunta es demasiado fácil, el robot ya sabe la respuesta. No hay aprendizaje.
Si es demasiado difícil, el robot falla siempre y se confunde.
QUBRIC actúa como un entrenador que solo elige problemas de práctica donde el estudiante tiene una probabilidad del 20% al 50% de acertar. Este es el "punto ideal" donde realmente ocurre el aprendizaje.

¿Qué pasó? (Los Resultados)

Los autores probaron este sistema con un robot que era bueno siguiendo instrucciones pero no muy bueno en el razonamiento complejo.

La Prueba: Le pidieron al robot que manejara tareas difíciles y abiertas (como escribir historias creativas o resolver acertijos lógicos complejos) e incluso tareas que nunca había visto antes (como razonamiento legal o dilemas morales).
El Resultado: El robot mejoró significamente.
- En una prueba difícil de "Arena" para el seguimiento de instrucciones, subió 5.5 puntos.
- En tres tipos completamente diferentes de pruebas de razonamiento (legal, moral, narrativa), mejoró un promedio de 6.3 puntos.

La Gran Conclusión

El artículo demuestra que no puedes simplemente darle a un robot una lista de verificación para una pregunta vaga y esperar que aprenda. La pregunta misma debe ser diseñada para ser verificable.

Al reescribir la pregunta en un escenario específico y realista (basado en hechos reales, no en libros falsos) y luego construir una lista de verificación basada en ese escenario específico, el robot recibe una retroalimentación clara y útil. Aprende a pensar mejor, no solo a adivinar o negarse a responder.

En resumen: QUBRIC nos enseña que para enseñarle a un robot a pensar, primero tienes que hacerle el tipo de pregunta correcto. No puedes calificar a un estudiante en un examen que no tiene sentido.

Resumen Técnico: QUBRIC – Co-diseño de Consultas y Rúbricas para RL más allá de las Recompensas Verificables

1. Planteamiento del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha impulsado avances significativos en dominios como las matemáticas y la programación, donde las respuestas de verdad fundamental proporcionan señales de recompensa limpias. Sin embargo, extender el RL a tareas abiertas (por ejemplo, seguimiento de instrucciones, razonamiento legal, generación narrativa) sigue siendo un desafío debido a la falta de respuestas verificables.

Los enfoques existentes suelen tratar la distribución de consultas como fija mientras optimizan las rúbricas (criterios estructurados de evaluación), o bien reformulan las consultas para crear restricciones ejecutables. Los autores identifican un cuello de botella estructural: la calidad de la rúbrica está fundamentalmente limitada por la estructura de la consulta.

Las consultas abiertas producen rúbricas vagas que los jueces no pueden aplicar de manera consistente.
El estrechamiento ingenuo (hacer una consulta específica sin fundamentación) a menudo introduce referencias fabricadas (por ejemplo, citar directrices o documentos inexistentes). Esto causa que las rúbricas colapsen en evaluar si un modelo se niega a responder en lugar de si razona correctamente, lo que resulta en señales de recompensa no informativas donde todas las respuestas fallan.

El artículo argumenta que la estructura de la consulta y el diseño de la rúbrica están acoplados: una consulta debe ser estrechada de una manera que proporcione un objetivo de razonamiento determinado para el generador de rúbricas.

2. Metodología: QUBRIC

QUBRIC es un pipeline de tres etapas que co-diseña consultas y rúbricas de forma offline antes del entrenamiento. Opera bajo el principio de que la consulta debe ser reescrita para soportar rúbricas constitutivas (criterios que pueden evaluarse utilizando únicamente el texto de la rúbrica y la respuesta, sin conocimiento externo).

Etapa 1: Reescritura de Consultas Basada en Puntos Clave

En lugar de estrechar arbitrariamente las consultas abiertas, QUBRIC fundamenta el proceso de reescritura en el contenido real de las respuestas de alta calidad.

Extracción de Puntos Clave: Se generan respuestas de referencia mediante múltiples modelos docentes. Se extraen los "puntos clave" (componentes de conocimiento atómicos). Se priorizan las consultas con alta discordancia entre modelos (espacios de respuesta amplios).
Construcción de Escenarios: El sistema selecciona 1–2 puntos clave y reescribe la consulta en una pregunta basada en un escenario. El escenario incluye un contexto realista (roles, restricciones, datos) que hace que la consulta sea autocontenida. Los puntos clave seleccionados se convierten en el núcleo de respuesta determinante para la nueva consulta.
Validación: Una verificación basada en prompts asegura que la consulta reescrita no filtre la respuesta, mantenga la consistencia interna y que los puntos clave respondan correctamente a la nueva consulta.
Filtrado de Aprendibilidad: Solo se retienen los pares consulta–rúbrica donde la tasa de éxito de la política de inicialización cae dentro de un corredor del 20–50%. Este heurístico asegura que los datos de entrenamiento consistan en ejemplos informativos (ni demasiado fáciles ni imposibles).

Etapa 2: Generación de Rúbricas de Nivel de Consulta Contrastiva

Las rúbricas se generan offline contrastando una respuesta docente fuerte contra una respuesta de la política débil.

Análisis Contrastivo: El generador identifica el contenido presente en la respuesta del docente pero ausente en la de la política, así como los requisitos centrales compartidos.
Diseño Constitutivo: Las rúbricas se diseñan para ser atómicas, inequívocas, no hackeables y ortogonales. Incorporan el conocimiento de calificación directamente (por ejemplo, "La respuesta explica X debido a Y" en lugar de "La respuesta es científicamente precisa").
Ponderación: Las rúbricas se categorizan como Críticas (peso 3), Importantes (peso 2) u Opcionales (peso 1) según su importancia para la tarea.

Etapa 3: Aprendizaje por Refuerzo con Rúbricas

La política se optimiza utilizando Optimización de Política Relativa al Grupo (GRPO).

Formulación de la Recompensa: La recompensa total $R(q, y)$ es una suma ponderada de rúbricas globales (seguridad, veracidad, formato) y rúbricas de nivel de consulta (razonamiento específico de la tarea).
$R(q, y) = \alpha \sum_{g \in G} w_g \cdot r_g(y) + \beta \sum_{r \in R(q)} w_r \cdot r_r(q, y)$
Entrenamiento: Para cada consulta, se generan $K$ respuestas de rollout, calificadas independientemente por un juez LLM frente al conjunto estático de rúbricas, y se utilizan para calcular las ventajas relativas al grupo para las actualizaciones de la política.

3. Contribuciones Clave

Identificación del Acoplamiento Estructural: El artículo demuestra que la calidad de la rúbrica se degrada cuando las consultas carecen de estructura, lo que conduce a fallos de referencias vagas o fabricadas. Establece que la estructura de la consulta es un prerrequisito para una evaluación basada en rúbricas efectiva.
Marco QUBRIC: Un nuevo pipeline que integra la reescritura de consultas basada en puntos clave, la generación de rúbricas contrastiva y el filtrado de aprendibilidad para producir pares de entrenamiento de alta calidad y evaluables.
Validación Empírica: A través de ablaciones emparejadas, los autores muestran que las ganancias no se logran solo con RL de rúbricas o solo con el estrechamiento de consultas, sino específicamente mediante el co-diseño de ambos.

4. Resultados Experimentales

Los autores evaluaron QUBRIC en benchmarks de seguimiento de instrucciones, tareas de transferencia de dominio cruzado y un benchmark propietario de ayuda en compras.

Seguimiento de Instrucciones

ArenaHard: QUBIC logró una ganancia de +5.5 puntos sobre la línea base de SFT (71.0 $\to$ 76.5) en prompts difíciles y una ganancia de +7.3 puntos en escritura creativa.
AdvancedIF: Mejoró la precisión a nivel de rúbrica a 84.2.
Compromiso (Trade-off): Se observó una disminución modesta en IFEval (-1.7pp), lo que indica un compromiso entre el cumplimiento estricto del formato y la calidad de la respuesta, consistente con hallazgos previos.
Baselines: QUBRIC superó a "Rubric-RL con Consultas Originales" (68.6 vs 76.5 en ArenaHard) y a "AutoIF-RLVR" (que destaca en formato pero degrada la calidad en temas abiertos).

Transferencia de Dominio Cruzado

Entrenado solo con datos de seguimiento de instrucciones, QUBRIC se transfirió a tres benchmarks no utilizados en el entrenamiento:

MoReBench (Razonamiento moral), PLawBench (Razonamiento legal) y MuSR (Razonamiento narrativo).
Ganancia Promedio: +6.3 puntos sobre la línea base de SFT.
Mejora Significativa: +8.85 puntos en PLawBench, lo que sugiere que el método mejora las capacidades de razonamiento estructurado incluso en dominios no vistos.
Comparación: Superó tanto a los baselines del dominio IF (AutoIF-RLVR y Rubric-RL con consultas originales) en estas tareas de transferencia.

Utilidad en Compras (Shopping Helpfulness)

En un benchmark propietario de 200 consultas:

Las rúbricas de nivel de consulta elevaron la "Utilidad-implícita" de 55.11 (solo recompensas verificables) a 67.64.
La combinación de rúbricas globales y de nivel de consulta mantuvo una alta utilidad (67.81) mientras mitigaba efectos secundarios como recomendaciones duplicadas y alucinaciones de IDs introducidas por la optimización de nivel de consulta por sí sola.

5. Significado y Reivindicaciones

El artículo sostiene que el co-diseño de consultas y rúbricas convierte al RL basado en rúbricas en un complemento práctico para el RLVR en tareas sin respuestas estrictamente verificables.

Mecanismo: La idea central es que el estrechamiento ingenuo conduce a fallos de "referencia fabricada" donde los modelos son penalizados por no negarse a responder. Al fundamentar el estrechamiento en los puntos clave derivados del docente, QUBRIC crea escenarios donde el espacio de respuesta es lo suficientemente estrecho para rúbricas constitutivas precisas.
Generalización: Las mejoras se concentran en dimensiones relacionadas con el razonamiento, lo que sugiere que el método ayuda a los modelos a aprender a razonar en lugar de solo memorizar patrones o seguir formatos rígidos.
Viabilidad: El estudio valida que los jueces LLM pueden calificar rúbricas constitutivas de manera confiable (alcanzando un 75–86% de precisión contra anotaciones de referencia), lo que hace que este enfoque sea escalable sin necesidad de calificación humana en cada paso.

Los autores concluyen que, si bien el RL basado en rúbricas ha sido explorado, su efectividad está limitada por la calidad de las consultas subyacentes. QUBRIC demuestra que modificar la estructura de la consulta para permitir una evaluación de rúbricas precisa es una condición necesaria para un RL exitoso en dominios abiertos.