Resumen Técnico: Los límites de selección no compensatorios y con bloqueo de evidencia limitan el fallo del Juez-LLM en los procesos de razonamiento

1. Planteamiento del problema

El artículo aborda un fallo crítico en el despliegue de jueces basados en Modelos de Lenguaje Extensos (LLM) dentro de los procesos de razonamiento. Mientras que los jueces se utilizan cada vez más para filtrar candidatos, filtrar datos de preferencia y suministrar recompensas para el aprendizaje por refuerzo (RL), su salida suele tratarse como una decisión directa en lugar de una medición. Los autores argumentan que el coste de la decisión de un juez depende menos de la precisión intrínseca del juez y más de la regla de decisión que gobierna su autoridad.

Un juez escalar, que emite una única puntuación de "calidad", sufre de conflación: colapsa distintas dimensiones del razonamiento (por ejemplo, validez lógica frente a fundamentación fáctica) en un solo número. Esto permite que una cadena de razonamiento fluida pero fácticamente incorrecta (por ejemplo, identificar correctamente un país anfitrión pero declarar incorrectamente su capital) reciba una puntuación alta porque la estructura lógica es sólida, mientras que el error fáctico permanece silenciado. El artículo postula que, sin restricciones, un juez puede sobrescribir unilateralmente un consenso correcto por una alternativa incorrecta pero de alta puntuación, causando una degradación significativa de la precisión.

2. Metodología

El estudio evalúa las reglas de decisión sobre grupos de candidatos congelados generados por cuatro políticas GRPO. Al mantener fijos los candidatos, los prompts y el presupuesto de cómputo, los autores aíslan el impacto de la propia regla de selección.

2.1 Descomposición diagnóstica (RA-MSD)

Los autores implementaron primero un modelo de recompensa de Decisión Multiseñal con Recuperación Aumentada (RA-MSD). Este descompone la evaluación del juez en siete canales explícitos computados al nivel de paso:

1. Validez Lógica ($R_{logic}$): Verifica la conexión inferencial con los pasos precedentes.
2. Fundamentación Fáctica ($R_{fact}$): Verifica el soporte contra la evidencia recuperada.
3. Calibración Epistémica ($R_{epist}$): Mide la confianza frente a la fuerza de la evidencia.
4. Ganancia de Información ($R_{info}$): Penaliza la verbosidad o el estancamiento.
5. Triangulación de Fuentes ($R_{triang}$): Requiere múltiples fuentes corroborativas.
6. Robustez Adversaria ($R_{adv}$): Prueba la sensibilidad a cambios léxicos frente a semánticos.
7. Suficiencia Mínima ($R_{min}$): Penaliza el relleno con afirmaciones no verificables.

Filtrado por nivel de paso (Variante fallida): Inicialmente, estos canales se combinaron en una suma ponderada donde la lógica y la facticidad actuaban como restricciones de viabilidad (umbral $\tau=0.5$). Esto se utilizó como recompensa de entrenamiento para GRPO. Sin embargo, este enfoque falló al no mejorar la precisión en el conjunto de prueba sobre el GRPO simple, lo que sugiere que sumar los canales de nuevo en un escalar para el optimizador reintroduce el problema de la conflación.

2.2 Derive–Gate–Repair con Bloqueo de Evidencia (EL-DGR)

El enfoque exitoso aplica la descomposición no como una señal de entrenamiento, sino como una regla de selección post-entrenamiento que subordina al juez a certificados de evidencia. EL-DGR particiona los candidatos en estratos de viabilidad:

1. Definición de Certificado:

   • QA de Recuperación: Un certificado extractivo estricto $c(a, E)$ se establece en 1 solo si la respuesta $a$ aparece textualmente en la evidencia recuperada $E$.
   • Aritmética: Una respuesta numérica derivada debe ser verificada independientemente para asegurar su consistencia.

2. Lógica de Decisión (No compensatoria):
   El selector elige la respuesta final $a_{EL-DGR}$ basándose en una jerarquía estricta:

   • Por Defecto: Se devuelve la respuesta del voto de la mayoría ($m$) a menos que sea desplazada.
   • Sobrescritura (Override): La respuesta preferida del juez ($s$) se acepta solo si está certificada ($c(s, E)=1$) Y la mayoría no está certificada.
   • Reparación (Repair): Una reparación verificada ($r$) se acepta solo si ni $m$ ni $s$ están certificados, pero $r$ sí lo está.

Crucialmente, la preferencia escalar del juez nunca puede promover a un candidato no certificado a través de los estratos. Solo puede clasificar candidatos dentro de un estrato. Esto limita el "radio de explosión" del juez, evitando que convierta un consenso correcto en una respuesta incorrecta, a menos que la evidencia misma contenga el error.

3. Contribuciones Clave

1. Medición de la Autoridad del Juez: El artículo demuestra que, en grupos congelados, un juez escalar sin restricciones ofrece una mejora insignificante sobre el voto de la mayoría (+1.0 pp en GSM8K, +0.34 EM en HotpotQA) y desempeña significativamente peor (−10.0 pp) en un split de confirmación de regla congelada comparado con el voto de la mayoría.
2. Regla EL-DGR: La introducción de una regla de decisión no compensatoria y adaptativa a la tarea que subordina al juez a los certificados de evidencia. Esta regla mejora el rendimiento sobre todos los selectores emparejados (primer candidato, voto de la mayoría, juez escalar) sin generar nuevos candidatos ni aumentar el presupuesto significativamente.
3. Auditoría de Decisión y Resultados Negativos:
   • Auditoría: En un piloto de 30 preguntas, EL-DGR revirtió el consenso en solo 8 preguntas y nunca convirtió un consenso correcto en una respuesta incorrecta.
   • Resultado Negativo: La misma descomposición de siete canales utilizada como recompensa de entrenamiento (sumada en un escalar) arrojó resultados nulos, confirmando que el beneficio proviene de la lógica de partición, no de la granularidad de la puntuación en sí.

4. Resultados

Los experimentos se realizaron en GSM8K (500 preguntas) y HotpotQA (300 preguntas) utilizando un grupo congelado de candidatos de una política Qwen2.5-3B.

• GSM8K (Aritmética):

  • Primer Candidato: 55.4%
  • Voto de la Mayoría: 55.8%
  • Juez Escalar: 56.8%
  • EL-DGR: 58.2% (+2.8 pp sobre el primer candidato, $p=0.0026$).
  • Nota: La ganancia aquí es impulsada por la rama ejecutable de "derive-repair", ya que GSM8K carece de hechos externos para extracción.

• HotpotQA (Recuperación):

  • Primer Candidato: 15.33 EM / 22.97 F1
  • Voto de la Mayoría: 15.33 EM / 23.19 F1
  • Juez Escalar: 15.67 EM / 23.49 F1
  • EL-DGR: 17.33 EM / 25.46 F1 (+2.00 EM sobre el primer candidato, $p=0.0703$; +1.67 EM sobre la mayoría, $p=0.0625$).
  • Nota: La mejora es impulsada por la restricción de bloqueo de evidencia que evita que el juez sobrescriba el consenso soportado.

• Confirmación de Regla Congelada (HotpotQA, n=30):

  • El juez escalar sin restricciones obtuvo 10.0 EM, que es 10 puntos por debajo del voto de la mayoría (20.0) y 3.3 puntos por debajo del primer candidato (13.3).
  • Bajo EL-DGR, el mismo juez logró 26.7 EM, superando a todos los demás selectores en este split.

5. Significado y Reivindicaciones

La principal reivindicación del artículo es limitar la autoridad del juez en lugar de intentar hacer al juez más preciso.

• Admisibilidad sobre Precisión: El estudio sugiere que, en bucles operativos, la regla de decisión (restricciones de admisibilidad) es más crítica para la fiabilidad del sistema que la tasa de acuerdo de pares del juez. Un juez con una tasa de acuerdo del 60% es inofensivo si solo puede romper empates entre respuestas admisibles, pero peligroso si puede sobrescribir unilateralmente un consenso correcto.
• La Descomposición "Nula": El artículo establece explícitamente que descomponer el razonamiento en múltiples señales no ayuda si estas señales se recombinan en un único escalar para el entrenamiento. La descomposición solo es efectiva cuando se utiliza como una restricción estructural (una partición) que evita la compensación entre dimensiones.
• Guía para Profesionales: Los autores aconsejan a los profesionales definir el "por defecto" que un juez debe superar, el "certificado" requerido para sobrescribir ese por defecto y medir la tasa de sobrescritura. Argumentan que restringir lo que un juez puede impugnar es un mecanismo de seguridad más barato y efectivo que el ajuste fino del propio juez.

Limitaciones: Los autores reconocen que sus resultados se basan en una única semilla de entrenamiento, una política de 3B y un juez de 7B. Los puntajes absolutos no son comparables con el estado del arte debido al presupuesto restringido y los artefactos heredados en el grupo de candidatos. El poder estadístico para algunas comparaciones (por ejemplo, el contraste del primer candidato en HotpotQA) es limítrofe.