Resumen Técnico: CriterAlign

Enunciado del Problema

La evaluación de los sistemas de generación de código ha evolucionado desde la simple corrección funcional hacia la predicción de preferencias humanas por pares, donde el objetivo es determinar cuál de dos soluciones candidatas satisface mejor los compromisos específicos de la tarea (por ejemplo, fidelidad visual frente a estructura del código). Aunque los Modelos de Lenguaje Grandes (LLM) se utilizan cada vez más como jueces automáticos, los jueces monolíticos (que predicen una preferencia en un solo paso) a menudo fallan en alinearse con las preferencias humanas. Suelen ser frágiles, sensibles al orden de las respuestas y propensos a sobre-enfatizar señales superficiales como la verbosidad o el formato, mientras que subutilizan la evidencia de ejecución.

Las alternativas existentes, los jueces basados en rúbricas (basados en criterios), intentan mejorar la interpretabilidad descomponiendo la evaluación en criterios explícitos. Sin embargo, la mayoría de las pipelines actuales siguen siendo puntuales: califican cada respuesta independientemente bajo cada criterio y derivan una preferencia comparando las puntuaciones agregadas. Los autores argumentan que este diseño se ajusta mal a la naturaleza de la preferencia humana por pares, donde la evidencia clave suele ser comparativa en lugar de absoluta. Los resultados empíricos muestran que aplicar simplemente pipelines de rúbricas puntuales puede rendir incluso peor que jueces monolíticos fuertes.

Metodología: CriterAlign

El artículo propone CriterAlign, un marco centrado en criterios diseñado específicamente para la predicción de preferencias de código por pares. Adapta la evaluación basada en rúbricas al contexto de pares mediante cuatro mecanismos centrales e introduce un componente de síntesis de orientación.

1. Juicio de Criterios por Pares

En lugar de asignar puntuaciones puntuales independientes a cada respuesta, CriterAlign pide a un juez de criterios que produzca un veredicto directo por pares para cada criterio generado: $v \in \{A, B, \text{empate}, \text{insuficiente}\}$. Esto desplaza la evaluación de "¿satisface la respuesta A el criterio X?" a "¿qué respuesta satisface mejor el criterio X?". La preferencia final es sintetizada por un juez LLM que agrega estos veredictos comparativos, permitiendo compromisos no uniformes entre criterios (por ejemplo, una brecha de corrección que domina ventajas menores de estilo).

2. Refinamiento de Criterios Impulsado por Empates en Lote (BTCR)

Cuando un criterio resulta en un "empate", a menudo indica que el criterio es demasiado grueso para distinguir las respuestas. CriterAlign emplea BTCR para refinar estos criterios empatados.

• Proceso: Para cada criterio padre empatado, el sistema genera subcriterios más granulares condicionados a las respuestas específicas y a la razón del empate.
• Filtrado: Los subcriterios generados se filtran por redundancia y conflicto con criterios existentes de manera en lote para garantizar la eficiencia.
• Re-evaluación: Los subcriterios aceptados se re-evalúan utilizando el juez por pares. Si los subcriterios favorecen respuestas diferentes, ambos veredictos se conservan como evidencia de compromiso granular para la síntesis final.

3. Filtrado de Criterios por Consistencia de Intercambio (SCF)

Para abordar la conocida sensibilidad de los jueces por pares al orden de los candidatos (sesgo de posición), CriterAlign introduce SCF.

• Mecanismo: Tras el refinamiento, el sistema re-evalúa los mismos criterios con el orden de los candidatos intercambiado ($b, a$ en lugar de $a, b$).
• Filtrado: Un juicio a nivel de criterio se conserva solo si el veredicto es consistente bajo el intercambio (por ejemplo, si $A$ gana en $(a, b)$, $A$ debe seguir ganando en $(b, a)$ tras mapear el veredicto).
• Resultado: Esto elimina evidencia inestable y sensible a la posición a nivel de criterio en lugar de descartar todo el ejemplo, sirviendo tanto como mecanismo de desviación de sesgos como filtro de calidad.

4. Orientación Alineada con Preferencias Humanas (HPAG)

Para alinear el marco con las razones humanas, los autores introducen HPAG, sintetizada fuera de línea a partir del conjunto de entrenamiento.

• Síntesis: Un sintetizador de orientación compara las decisiones de preferencia humana contra las predicciones de jueces monolíticos en ejemplos de entrenamiento. Extrae brechas de razón recurrentes: dimensiones que importan a los humanos pero que el juez pasa por alto, sobre-enfatiza o sub-enfatiza.
• Inyección: La orientación resultante se destila en principios generales y a nivel de categoría (por ejemplo, desarrollo web, desarrollo de juegos) compactos. Estos se inyectan en tres etapas de la pipeline: el generador de criterios, el juez de criterios y el juez final. Esto asegura que el sistema genere criterios relevantes para los humanos, los juzgue con un razonamiento alineado a los humanos y los sintetice según las prioridades humanas.

Contribuciones Clave

1. Identificación de Desajuste: Los autores validan empíricamente que las pipelines de generación de criterios puntuales no se ajustan a la predicción de preferencias de código por pares, a menudo rindiendo peor que jueces monolíticos fuertes.
2. Marco CriterAlign: Un marco novedoso centrado en criterios por pares que presenta:
   • Veredictos directos de criterios por pares.
   • Refinamiento de Criterios Impulsado por Empates en Lote (BTCR) para resolver empates gruesos.
   • Filtrado por Consistencia de Intercambio (SCF) para eliminar evidencia sensible al orden.
   • Orientación Alineada con Preferencias Humanas (HPAG) destilada a partir de brechas de razón entre juez y humano.
3. Validación Empírica: Demostración de ganancias consistentes en la prueba BigCodeReward, con estudios de ablación que aíslan las contribuciones de la adaptación por pares, el filtrado y la orientación.

Resultados

Evaluado en el conjunto de validación BigCodeReward (3.785 ejemplos):

• Línea Base: Un juez monolítico Qwen2.5-VL-32B alcanzó una precisión del 60.4%.
• Rúbricas Puntuales: Las líneas base de rúbricas puntuales existentes (por ejemplo, RRD, Rúbricas LLM) rindieron significativamente peor, oscilando entre 48.1% y 55.0%, confirmando el desajuste.
• CriterAlign: El marco completo mejoró la precisión al 66.3%, una ganancia de +5.9 puntos sobre la línea base monolítica y +11.3 puntos sobre la línea base de rúbrica reproducida más fuerte.
• Ablación:
  • Cambiar de juicio puntual a juicio por pares por sí solo recuperó el rendimiento al 61.8%.
  • Añadir BTCR, SCF y HPAG proporcionó mejoras acumulativas, con la HPAG a nivel de categoría proporcionando el impulso final hasta el 66.3%.
• Generalización: El método mostró robustez frente a diferentes backbones de jueces (Kimi-VL, Gemma-4) y sintetizadores de orientación, observándose las mayores ganancias relativas en jueces más débiles.

Significado y Afirmaciones

El artículo afirma que, para la predicción de preferencias de código, la generación de más criterios es insuficiente; el alineamiento de cómo se comparan y sintetizan los criterios con las preferencias humanas por pares es crítico. CriterAlign demuestra que:

• La adaptación por pares es necesaria para hacer que la evaluación basada en criterios sea efectiva para tareas de preferencia.
• El filtrado de evidencia inestable (mediante SCF) y el refinamiento de empates no discriminatorios (mediante BTCR) son esenciales para la robustez.
• La síntesis de orientación fuera de línea (HPAG) puede cerrar eficazmente la brecha entre las predicciones de jueces monolíticos y las razones humanas sin ajustar finamente el modelo del juez, permitiendo que modelos congelados se alineen con patrones específicos de preferencia humana.

El trabajo se posiciona como un paso hacia una evaluación automatizada más transparente, interpretable y fiable para la generación de código, avanzando más allá de juicios de caja negra de un solo paso hacia un razonamiento de preferencia estructurado y fundamentado en evidencia.