AsymmetryZero: A Framework for Operationalizing Human Expert Preferences as Semantic Evals

El artículo presenta AsymmetryZero, un marco que operacionaliza las preferencias de expertos humanos en contratos de evaluación explícitos y reutilizables tanto para configuraciones de solo modelo como agénticas, demostrando que jurados compactos pueden lograr resultados a nivel de tarea comparables a los de jurados de vanguardia mientras reducen significativamente los costos y la latencia de la evaluación, a pesar de una disidencia interna mayor.

Lo esencial

Imagina que estás organizando un concurso de cocina masivo. Tienes miles de chefs (modelos de IA) intentando crear el plato perfecto, pero "perfecto" es subjetivo. Un juez podría preocuparse por la sal, otro por la presentación y un tercero por el tiempo de cocción.

En el pasado, intentar calificar estos platos era un desorden. A veces los jueces simplemente escribían una nota vaga como "Esto sabe bien", o discutían interminablemente sobre por qué un plato era mejor que otro. Este artículo introduce un nuevo sistema llamado AsymmetryZero para arreglar ese desorden, y luego prueba dos formas diferentes de contratar a los jueces.

Aquí está el desglose en términos sencillos:

1. El Problema: La Trampa del "Juez Vago"

Actualmente, cuando probamos la IA, a menudo pedimos a una IA súper inteligente que califique el trabajo de otra IA. Pero si simplemente dices: "Califica este ensayo", el calificador podría usar sus propias reglas ocultas. Podría gustarle las respuestas largas, o podría confundirse con el tema. Es como contratar a un crítico gastronómico que no tiene una lista de verificación; nunca sabes si está juzgando la comida o simplemente su estado de ánimo.

2. La Solución: El "Contrato de Evaluación"

Los autores crearon AsymmetryZero, que es básicamente una receta estricta para calificar.

En lugar de un prompt vago, cada tarea viene con un "Contrato". Este contrato es como una hoja de puntuación detallada que dice:

• ¿Qué estamos calificando? (ej. "¿Usó el chef sal?")
• ¿Cómo lo verificamos? (ej. "Si aparece la palabra 'sal', otorga 10 puntos.")
• ¿Quién decide? (¿Un solo juez o un grupo?)
• ¿Cuál es la puntuación aprobatoria?

Este contrato funciona tanto para IA simple (solo escribiendo texto) como para agentes de IA complejos (robots que usan herramientas y toman múltiples pasos). La parte genial es que el mismo contrato puede usarse para calificar a un bot de texto simple o a un robot complejo, y las puntuaciones serán comparables.

3. El Experimento: Los "Grandes Jueces" vs. Los "Pequeños Jueces"

Los autores querían saber: ¿Necesitamos jueces caros y súper inteligentes para calificar estos contratos, o podemos usar jueces más baratos y pequeños?

Organizaron una prueba con 75 tareas complejas (como resolver matemáticas avanzadas o problemas de programación). Usaron cuatro modelos de IA "participantes" diferentes para resolver las tareas. Luego, calificaron esas soluciones usando dos grupos diferentes de IA "Jueces":

• El Jurado de Vanguardia (Los Grandes Jueces): Un panel de 5 de los modelos de IA más potentes, caros e inteligentes disponibles.
• El Jurado Compacto (Los Pequeños Jueces): Un panel de 5 modelos de IA más pequeños, baratos y rápidos.

4. Los Resultados: Los "Jueces Baratos" Son Más Ruidosos

Esto es lo que encontraron:

• La Puntuación Final es Similar: Cuando sumas todos los puntos, los "Grandes Jueces" y los "Pequeños Jueces" generalmente coincidían sobre quién ganó el concurso. Si una tarea aprobó para los Grandes Jueces, generalmente aprobó también para los Pequeños Jueces.
• Los Detalles Son un Desorden: Sin embargo, cuando miras los pasos individuales (los criterios específicos en la hoja de puntuación), los Pequeños Jueces discreparon con los Grandes Jueces entre un 15% y un 25% de las veces.
• El Problema del "Señalamiento": El mayor problema fue que los Pequeños Jueces ni siquiera podían ponerse de acuerdo entre ellos.
  • Los Grandes Jueces eran como un comité tranquilo; casi siempre coincidían (solo un 6–11% de las veces estaban divididos).
  • Los Pequeños Jueces eran como una habitación caótica; discutían constantemente entre ellos (dividiéndose 3 vs. 2 aproximadamente el 30% de las veces).

La Analogía: Imagina calificar un examen de matemáticas.

• Grandes Jueces: Los cinco profesores miran la respuesta y dicen: "Sí, eso es correcto".
• Pequeños Jueces: Tres profesores dicen "Correcto", pero dos dicen "Incorrecto porque la letra es desordenada", aunque las matemáticas sean correctas. Están discutiendo consigo mismos.

5. El Compromiso: Costo vs. Consistencia

Los Pequeños Jueces eran increíblemente baratos y rápidos.

• Costo: Costaban aproximadamente un 97% menos que los Grandes Jueces.
• Velocidad: Eran aproximadamente un 82% más rápidos.

El Veredicto:
Si solo quieres una verificación rápida y barata para ver si un sistema funciona en general (como una "prueba de cordura"), los Pequeños Jueces son geniales. Ahoran una fortuna.

Pero, si necesitas saber exactamente por qué algo falló, o si necesitas un rastro de auditoría perfecto para decisiones de alto riesgo, los Pequeños Jueces son demasiado "ruidosos". Discuten demasiado entre ellos para ser confiables en los detalles finos.

Resumen

El artículo argumenta que cómo escribes las reglas de calificación (el contrato) es tan importante como a quién contratas para calificar.

Puedes ahorrar mucho dinero usando jueces de IA más pequeños y baratos, pero debes aceptar que discutirán entre ellos con más frecuencia. Si necesitas un veredicto tranquilo y consistente, aún necesitas los jueces caros de "Vanguardia". Si solo necesitas una estimación aproximada, los baratos harán el trabajo.

Resumen técnico

Resumen Técnico: AsymmetryZero

Declaración del Problema

El artículo identifica una brecha crítica en las actuales tuberías de Evaluación de Aprendizaje por Refuerzo (RL) e Inteligencia Artificial: la dificultad de operacionalizar requisitos subjetivos, procedimentales y específicos de dominio de expertos humanos en señales de evaluación escalables. Mientras que las métricas de coincidencia exacta son suficientes para tareas deterministas, fallan en tareas semánticas, multifactoriales o abiertas. Por el contrario, la evaluación abierta mediante grandes modelos de lenguaje (LLM) a menudo deja las políticas de calificación implícitas dentro de los prompts, lo que conduce a inestabilidad y falta de auditabilidad. Los autores argumentan que el desafío central en el post-entrenamiento no es simplemente puntuar modelos, sino la codificación fiel de los requisitos de expertos en la propia evaluación.

Metodología: El Marco AsymmetryZero

Para abordar esto, los autores introducen AsymmetryZero, un marco que operacionaliza las preferencias de expertos humanos como evaluaciones semánticas mediante un contrato de evaluación estable.

Componentes Principales

1. Contratos de Evaluación: En lugar de un único prompt o clave de respuestas, una tarea se define como un contrato portátil que separa las entradas de ejecución (prompts, referencias) de las entradas de calificación (criterios, pesos, umbrales).

   • Estructura: Cada criterio declara explícitamente su peso, prompt y tipo de calificador (ya sea ExactMatch o llm-judge).
   • Agregación: Las decisiones a nivel de criterio se agregan en una puntuación de tarea ($S = \sum w_i \hat{v}_i$). Una tarea se aprueba si $S \ge \tau$.
   • Consenso del Jurado: Para los criterios llm-judge, un panel de calificadores ($J_i$) vota. El consenso se determina por mayoría estricta ($\hat{v}_i = 1$ si $\sum v_{ij} > |J_i|/2$); los empates resultan en fallo.

2. Entornos de Ejecución Duales: El marco desacopla la semántica de la evaluación de la ejecución:

   • Inspect: Utilizado para evaluaciones solo de modelos.
   • Harbor: Utilizado para evaluaciones de agentes (específicamente usando un agente terminus2).
   • Ambos entornos consumen el mismo contrato, asegurando puntuaciones comparables y artefactos de auditoría compartidos entre las salidas de modelos y agentes.

3. Auditabilidad: El sistema genera trazas detalladas, registrando resultados por criterio, votos de calificadores, fundamentos y contribuciones de pesos, permitiendo el análisis de modos de fallo y disensos.

Estudio Empírico: Capacidad y Sustitución de Calificadores

El artículo presenta un estudio empírico utilizando la referencia PORTEX-COMPOSITE para responder si jurados más pequeños y económicos "compactos" pueden sustituir a jurados "de vanguardia" costosos sin comprometer la integridad de la evaluación.

Configuración Experimental

• Tarea: 75 tareas de clase vanguardia evaluadas en cuatro modelos solucionadores (Claude Opus 4.6, GPT-5.4, Grok-4.20, Gemini-3.1-Pro).
• Condiciones del Jurado:
  • Jurado de Vanguardia: 5 modelos grandes, de vanguardia y de peso abierto.
  • Jurado Compacto: 5 modelos más pequeños de peso abierto.
• Métricas: Acuerdo a nivel de criterio, desacuerdo dentro del grupo (tasas de disenso), estabilidad de la puntuación a nivel de tarea y eficiencia económica (costo, latencia, tokens).

Resultados Clave

1. Divergencia a Nivel de Criterio: Los jurados compactos y de vanguardia no coinciden perfectamente.

   • Acuerdo Mayoritario: Oscila entre 75.9% y 89.6% a través de las ejecuciones (subconjunto común estricto: 77.8%–92.1%).
   • Implicación: Sustituir calificadores compactos cambia una parte no trivial de las decisiones de criterios semánticos.

2. Disenso Interno (Estabilidad): Los jurados compactos exhiben una inestabilidad interna significativamente mayor.

   • Divisiones 3–2: Los jurados de vanguardia promediaron tasas de división del 6.1%–11.5%, mientras que los jurados compactos promediaron 28.7%–32.4%.
   • Conclusión: Los jurados compactos discrepan más con los jurados de vanguardia y más entre sí.

3. Estabilidad a Nivel de Tarea: A pesar de la divergencia a nivel de criterio, los resultados de tareas agregadas a menudo son similares.

   • Correlación: La correlación de Pearson entre las puntuaciones de tareas de vanguardia y compactas es 0.88 (rango 0.81–0.93).
   • Cambio de Puntuación: El 70%–87% de las tareas calificadas no mostraron cambio de puntuación entre los grupos.
   • Matiz: La estabilidad parece "frágil", dependiendo de la cancelación de errores en sumas ponderadas en lugar de un juicio consistente a nivel de criterio.

4. Eficiencia Económica: Los jurados compactos ofrecen ganancias masivas de eficiencia.

   • Costo: Reducido en ~97% por criterio.
   • Latencia: Reducida en ~82%.
   • Tokens: Los tokens de salida se redujeron en ~75%.

5. Análisis del Desacuerdo:

   • Longitud de Respuesta: Si bien las respuestas más largas se correlacionan con un mayor desacuerdo, el modelado estadístico (modelo mixto ordinal) no encontró evidencia sólida de que los jurados compactos sean más sensibles a la longitud que los jurados de vanguardia. El principal impulsor del desacuerdo es el tipo de grupo en sí mismo (los grupos compactos son inherentemente más ruidosos).
   • Modos de Fallo: La revisión cualitativa sugiere que los jurados compactos fallan por las mismas razones que los jurados de vanguardia (por ejemplo, literalismo vs. sustancia) pero aplican los estándares de manera menos uniforme.

Contribuciones Clave

1. Marco Operacional: AsymmetryZero proporciona un sistema concreto para transformar el conocimiento experto en contratos de evaluación auditable y ejecutables que funcionan tanto para modelos como para agentes.
2. Calificación Semántica Basada en Rúbricas: Avanza más allá de la generación de prompts abiertos hacia una calificación estructurada y centrada en criterios con reglas de agregación explícitas.
3. Evidencia Empírica sobre la Capacidad de Calificadores: El estudio proporciona evidencia basada en datos de que, aunque los jurados compactos son económicamente viables para la supervisión de alto volumen, aún no son equivalentes en la toma de decisiones a los jurados de vanguardia para la evaluación auditable a nivel de criterio debido a una mayor varianza y disenso interno.

Significado y Afirmaciones

El artículo afirma que la fiabilidad de la evaluación depende tanto del contrato como del calificador.

• Para Practicantes: El marco permite a las organizaciones separar la definición de "lo que importa" (el contrato) de "cuánto cuesta" (la selección del calificador).
• Insight Estratégico: Los jurados compactos son adecuados para la supervisión de resultados de bajo costo donde las puntuaciones finales de la tarea importan más que las trazas específicas de los criterios. Sin embargo, para decisiones de alto riesgo que requieren auditabilidad a nivel de criterio, los jurados de vanguardia siguen siendo la opción predeterminada debido a su superior consenso interno.
• Dirección Futura: Los autores sugieren que la brecha entre el comportamiento compacto y de vanguardia podría estrecharse mediante destilación en política (entrenar evaluadores compactos para imitar las decisiones de jurados de vanguardia), pero esto se identifica como trabajo futuro, no como una capacidad actual.

Los autores permanecen modestos, señalando que su estudio evalúa la comparabilidad entre jurados, no la corrección absoluta frente a una verdad fundamental humana, y que los resultados son específicos de las tareas orientadas a STEM y la configuración del agente Harbor probadas.