Resumen Técnico: Juzgar No es Enumerar

Declaración del Problema

Los modelos de lenguaje (LLMs) se están desplegando cada vez más no solo como examinados que responden preguntas, sino como examinadores que redactan las especificaciones, las suites de pruebas, las claves de respuestas y las funciones de recompensa que definen la corrección para sistemas descendentes. Este documento investiga una asimetría crítica en este cambio de rol: mientras que los modelos demuestran una fuerte capacidad para juzgar si un candidato específico pertenece a un conjunto aceptable, su rendimiento es significativamente inferior al redactar el conjunto mismo.

El problema central es la "brecha de autoría" (authoring gap): la incapacidad de un modelo para materializar la extensión de una especificación de corrección (la lista de todas las respuestas válidas o la suite de pruebas que las acepta) con la misma fidelidad que posee para juzgar candidatos individuales. Esta brecha es particularmente peligrosa porque los artefactos producidos (claves, rúbricas, suites) se convierten en la definición operativa de la corrección para otros sistemas, incluyendo el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR). El documento postula que el modo de fallo dominante es la omisión silenciosa —el fallo al incluir miembros válidos— la cual es inherentemente difícil de auditar porque una ausencia no puede ser cuestionada por un revisor local de la misma manera que una sobreinclusión.

Metodología

Los autores emplean un marco de medición riguroso, libre de jueces, utilizando verdades de base construidas para evitar la circularidad (es decir, usar un modelo para calificar las propias especificaciones de un modelo). El estudio utiliza cuatro construcciones distintas para triangular el fenómeno a través de diferentes dominios y niveles de completitud:

1. Construcciones Algorítmicas (Verdad Completa):

   • Cadena (String): Se presenta a los modelos una lista finita de 15 palabras y un predicado mecánicamente decidible (por ejemplo, "contiene una letra doble"). La tarea es listar todas las palabras que satisfacen el predicado.
   • Aritmética: Similar a la tarea de cadenas pero con predicados numéricos (por ejemplo, "divisible por 3") sobre listas de enteros.
   • Significancia: Estas construcciones eliminan la confusión de la incompleitud léxica; la verdad de base es computable y exacta.

2. Construcción Ejecutable (Verdad Ejecutable):

   • Basada en HumanEval+ y MBPP+. Los modelos generan suites de pruebas a partir de docstrings. La corrección se determina ejecutando la suite contra un grupo de soluciones verificadas por un oráculo (1,560 correctas, 904 incorrectas).
   • Significancia: Esto mide la capacidad de autoría "intensional" donde el conjunto es ilimitado y definido por la ejecución de código.

3. Construcción Léxica (Verdad Léxica):

   • Basada en sinset de WordNet. Los modelos listan palabras que coinciden con un sentido específico.
   • Significancia: Utilizada para la triangulación, aunque se reconoce como incompleta (el léxico puede omitir sinónimos válidos). El documento trata la precisión aquí como un límite inferior y se basa en las tendencias de recuperación (recall).

Diseño Experimental:

• Interfaces Comparadas:
  • Juzgar (Ejecución): Se le da al modelo un candidato y se le pregunta "¿Es $x \in S^*$?" (Clasificación puntual).
  • Autoría: El modelo debe emitir el conjunto completo $\hat{S}$ (Enumeración extensional) o un predicado/suite (Autoría intensional).
• Controles: El estudio controla la escala (de 3B a 72B parámetros), las familias de modelos (Qwen2.5, Qwen3, Llama, Mistral, Phi, Gemma), las variaciones de prompt y las estrategias de decodificación (codicioso (greedy) vs. habilitado para razonamiento).
• Pruebas de Mitigación: El documento prueba "muestreo-luego-verificación" (autorreparación), compuerta de sonda de conocimiento correcto (known-correct probe gating) y "reparación de traza" (reescribir valores esperados basados en la ejecución de referencia).
• Impacto Descendente: Los autores miden el "impuesto RLVR" entrenando políticas con claves redactadas por modelos frente a claves de un oráculo para cuantificar la pérdida de precisión.

Contribuciones Claves y Resultados

1. Las Tijeras de Juzgar–Autoría

El hallazgo principal es una brecha persistente y estadísticamente significativa entre el rendimiento de juzgar y el de autoría en todas las escalas y familias de modelos.

• Verdad Completa: En tareas algorítmicas, las puntuaciones F1 de juzgar oscilan entre 0.60 y 0.77, mientras que las de autoría oscilan entre 0.26 y 0.48. La brecha ($\Delta$) permanece positiva (+0.25 a +0.34) y no se cierra a medida que aumenta la escala del modelo.
• Código Ejecutable: La brecha es más severa aquí. Los modelos que juzgan la corrección de código con un F1 de 0.74–0.90 redactan suites de pruebas que admiten solo entre el 19% y el 42% de las soluciones correctas del oráculo (las suites de Llama admiten incluso menos, un 8–10%).
• Independencia de Escala: La brecha persiste a través de un rango de 24x de parámetros y diferentes generaciones de modelos (incluyendo modelos de frontera como GPT-5.1 y Opus), aunque se reduce ligeramente en construcciones más simples para los modelos más fuertes.

2. Mecanismo: Omisión Silenciosa

El documento identifica la omisión como el modo de error dominante, el cual es "pobre en testigos" (witness-poor).

• Asimetría de Auditoría: La revisión local (sustractiva) es altamente efectiva para detectar sobreinclusiones (falsos positivos), pero falla en detectar omisiones (falsos negativos). En experimentos controlados, los modelos detectan sobreinclusiones plantadas 6 a 7 veces más a menudo que las omisiones plantadas.
• Consecuencia de la Revisión: Debido a que los procesos de revisión prefieren eliminar las sobreinclusiones mientras fallan en recuperar las omisiones, el proceso de refinación iterativo desplaza los artefactos hacia la sub-aceptación (alta precisión, baja recuperación) en lugar de repararlos.

3. La Naturía del Déficit: Enumeración vs. Especificación

El documento distingue entre la incapacidad de especificar una regla y la incapacidad de enumerar su extensión.

• Emisión de Predicados: Cuando se les pide escribir la regla (por ejemplo, un predicado en Python def accepts(w)) en lugar de la lista de respuestas, los modelos alcanzan un F1 casi perfecto (~0.99).
• Conclusión: El déficit no es una falta de conocimiento o una incapacidad de especificar la lógica. Es un fallo en la materialización de un solo paso (one-shot materialization): la incapacidad de enumerar exhaustivamente el conjunto inducido por una especificación sin anticipación (lookahead), particularmente cuando no se proporciona una regla compacta para re-declararla.

4. Mitigación y Reparación

• La Autoverificación Falla: El "muestreo-luego-verificación" (generar múltiples candidatos y filtrarlos con el propio juez del modelo) no cierra la brecha. La unión de las muestras no logra cubrir la verdad de base (límite de recuperación), y el propio juez del modelo colapsa ante sus propios candidatos cercanos al límite.
• Compuerta Externa: Descartar cualquier suite redactada que rechace una sonda de conocimiento correcto (por ejemplo, una solución de referencia) reduce las tasas de falso rechazo del 58–92% a $\le$5%. Sin embargo, esto descarta la mayoría de las suites (rendimiento del 5–39%).
• Reparación de Traza: Reescribir los valores esperados en una suite fallida para que coincidan con la salida de una ejecución de referencia recupera de 3.3 a 10.6 veces más suites utilizables. Esto demuestra que el fallo reside en computar los resultados esperados (intensional), no en seleccionar los inputs (extensional).

5. Costo Descendente: El Impuesto RLVR

Cuando se utilizan claves redactadas por modelos como señales de recompensa en RLVR:

• Tarea Léxica: Entrenar con una clave redactada cuesta 18.5 puntos de precisión (relativo a WordNet) en comparación con una clave de un oráculo.
• Tarea de Verdad Completa: Incluso con un conjunto mecánicamente exacto, el costo es de 1.9 puntos.
• Mecanismo: La clave redactada actúa como un "canal de dos vías", privando de éxito a los comportamientos correctos (omisión) y recompensando los incorrectos (contaminación). La política aprende a optimizar para la clave defectuosa, lo que conduce a un déficit de precisión permanente que no desaparece al aumentar la escala del modelo.

Significancia y Reivindicaciones

El documento afirma establecer una limitación fundamental en el paradigma actual de uso de LLMs como verificadores y diseñadores de recompensas.

• La Asimetría de "Meta-Nivel": Si bien es bien conocido que la verificación es más fácil que la generación para soluciones, este documento muestra que generar el estándar de verificación mismo es más difícil que verificar candidatos contra un estándar. La "ventaja de verificación" no se transfiere a la construcción del verificador.
• Error Direccional: El fallo no es ruido aleatorio; es un sesgo sistemático hacia la omisión. Esto hace que las especificaciones redactadas sean "direccionalmente erróneas" de una manera que la revisión local no puede certificar ni arreglar.
• Implicación Práctica: El documento argumenta que nun embargo se debe confiar en una especificación redactada de un solo paso como verdad de base. En su lugar, los sistemas deberían:
  1. Obtener la regla (predicado) en lugar del listado (lista) siempre que sea posible.
  2. Pasar todas las suites de verificación redactadas por sondas de conocimiento correcto.
  3. Usar la ejecución externa para reparar los valores esperados en lugar de descartar el artefacto completo.
• Modestia: Los autores declaran explícitamente que la brecha es específica de la autoría codiciosa (greedy) de un solo paso sin razonamiento en tiempo de ejecución. Reconocen que el razonamiento en tiempo de ejecución (scratchpads) puede cerrar la brecha en tareas algorítmicas donde existe una regla, pero no repara de manera confiable la autoría de suites de pruebas donde la regla debe inferirse de la prosa. No pretenden que los LLM no puedan ser entrenados para redactar mejores verificadores, sino que el régimen de zero-shot/one-shot que se despliega actualmente a escala es insuficiente.

En resumen, el documento demuestra que el rol de "examinador" está actualmente fuera del alcance de los LLM en su forma más exigente (enumeración exhaustiva), creando un cuello de botella silencioso y no auditable que degrada los sistemas descendentes, particularmente en los flujos de trabajo de RLVR.