🤖 machine learning

Codifying the Judge: Scalable Evaluation via Program Distillation

El artículo presenta PAJAMA, un sistema de evaluación escalable que destila la lógica de decisión de los LLM en jueces programáticos transparentes y rentables para igualar el rendimiento de los jueces basados en modelos de lenguaje extensos, reduciendo significativamente la latencia y los costos de API.

Autores originales: Tzu-Heng Huang, Shengqi Qiu, Frederic Sala

Publicado 2026-07-28

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tzu-Heng Huang, Shengqi Qiu, Frederic Sala

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el director de una biblioteca masiva, y cada día, miles de personas envían historias que han escrito. Tu trabajo es leerlas, decidir cuáles son las mejores y otorgarles premios. En el mundo de la inteligencia artificial, esto es exactamente lo que sucede cuando las computadoras intentan juzgar a otras computadoras. Lo llamamos "LLM-as-a-judge" (LLM como juez), donde una IA superinteligente lee dos respuestas y elige al ganador. Se ha convertido en el estándar para probar qué tan buenos son los modelos de IA. Pero hay un gran problema: pedirle a una IA superinteligente que lea cada una de las historias es increíblemente caro, lento y, a veces, la IA inventa razones para sus elecciones que en realidad no tienen sentido. Es como contratar a un crítico famoso y costoso para que lea cada libro de la biblioteca; eventualmente, te quedas sin dinero y ni siquiera puedes saber si el crítico está siendo justo o si simplemente tiene un mal día.

Aquí es donde entra el nuevo artículo de investigación. Los investigadores se hicieron una pregunta sencilla: en lugar de contratar al famoso crítico para que lea cada libro, ¿qué pasaría si le pidiéramos al crítico que escribiera un libro de reglas una sola vez y luego dejáramos que un equipo de robots rápidos y baratos leyera los libros basándose en esas reglas? Lo llaman "destilación de programas" (program distillation). En lugar de pagar para que la IA costosa haga el pensamiento cada vez, le enseñan a escribir un conjunto de instrucciones (un programa de computadora) que puede realizar el juicio instantáneamente. Es como convertir a un chef humano lento y costoso en una tostadora rápida y automatizada que hace la tostada perfecta cada vez, siempre y cuando le des la receta adecuada. El artículo muestra que este nuevo método no solo es mucho más rápido y barato, sino también más honesto sobre cómo toma sus decisiones, porque realmente puedes leer el código para ver exactamente por qué eligió un ganador.

La gran idea del artículo: Convertir un cerebro en una caja de herramientas

Los autores de este artículo, Tzu-Heng Huang, Shengqi Qiu y Frederic Sala de la Universidad de Wisconsin-Madison, están abordando el problema "costoso y opaco" de la evaluación por IA. Proponen un sistema llamado PAJAMA (Program-As-a-Judge Automated Model Assessment). Piensa en PAJAMA no como un único juez, sino como un taller donde construyen todo un equipo de herramientas especializadas para realizar la calificación.

Así es como ocurre la magia, paso a paso:

1. El "vaciado de cerebro" de una sola vez
Normalmente, cuando quieres que una IA juzgue un par de respuestas, tienes que enviar la pregunta y las respuestas a la IA cada vez. Esto cuesta dinero y toma tiempo. PAJAMA cambia las reglas del juego. En lugar de pedirle a la IA que juzgue cada respuesta, le piden a la IA que escriba un programa (un fragmento de código) que sepa cómo juzgar.
Imagina que tienes un crítico de arte brillante pero lento. En lugar de pedirle que mire 10,000 pinturas una por una, le pides que escriba un manual para un robot. El manual dice cosas como: "Si la pintura tiene un cielo azul, otorga 5 puntos. Si el cielo está desordenado, resta 2 puntos". Una vez que el crítico escribe este manual, ya no lo necesitas más. Solo ejecutas el robot. El artículo muestra que la IA puede escribir estos "manuales de juicio" (programas) que son sorprendentemente buenos para detectar errores lógicos, verificar si la historia tiene sentido o ver si la respuesta es demasiado corta.

2. El comité de robots
Un robot puede ser malo en matemáticas pero excelente en gramática. Otro puede ser excelente detectando mentiras pero malo en estilo. Por lo tanto, PAJAMA no solo crea un programa; crea todo un comité de ellos. Le piden a la IA que escriba muchos programas diferentes, cada uno mirando la respuesta desde un ángulo ligeramente distinto.
Para asegurar que estos robots no digan todos lo mismo (lo cual sería aburrido e inútil), los investigadores les dan diferentes "rúbricas" o listas de verificación. Un robot verifica el flujo lógico, otro la consistencia del tema y otro el formato. Es como tener un panel de jueces donde uno es un profesor de gramática, otro es un profesor de lógica y otro es un entrenador de estilo.

3. El interruptor de "confianza"
A veces, incluso un comité de robots se confunde. Tal vez las dos respuestas son tan similares que los robots no pueden decidirse. Aquí es donde PAJMAMA es ingenioso. Tiene un "medidor de confianza". Si los robots están seguros, gritan al ganador. Pero si no están seguros, o si todos se abstienen (dicen, "no lo sé"), PAJAMA tiene un plan de respaldo. Envía esos casos complicados al juez de IA superinteligente y costoso (el "LLM") solo para esas preguntas específicas.
Esto es como un guardia de seguridad en un museo. Si un visitante parece normal, el guardia lo deja pasar instantáneamente. Pero si alguien parece sospechoso, el guardia llama al gerente para que eche un vistazo. De esta manera, solo pagas al gerente costoso para los casos difíciles, ahorrando mucho dinero en los casos fáciles.

Lo que encontraron: Rápido, barato y sorprendentemente inteligente

Los investigadores probaron este sistema en cinco conjuntos de datos diferentes y con cuatro familias diferentes de modelos de IA. Esto es lo que descubrieron:

La velocidad es el rey: Los jueces programáticos son increíblemente rápidos. Pueden procesar respuestas 47.25 veces más rápido que un juez de IA estándar. Mientras que un juez de IA regular podría tardar un segundo o dos en pensar, estos programas lo hacen en un instante porque solo están ejecutando reglas simples de matemáticas y lógica, no intentando "pensar" como un humano.
La precisión es alta: Aunque son rápidos y baratos, siguen siendo muy buenos. El equipo de programas igualó la precisión de un modelo de IA grande de 13 mil millones de parámetros (un modelo muy inteligente) en promedio. En algunos casos, un pequeño equipo de solo 8 programas fue tan preciso como un modelo de 7 mil millones de parámetros.
El avance de la "Frontera de Pareto": En la ciencia, la "frontera de Pareto" es el mejor equilibrio posible entre dos cosas, como la velocidad y la precisión. Normalmente, si quieres más velocidad, pierdes precisión. PAJAMA rompe esta regla. Al usar el programa para manejar lo fácil y la IA para manejar lo difícil, encontraron un punto ideal donde obtuvieron tanto mayor precisión como mayor velocidad. Por ejemplo, al combinarse con un modelo de IA específico, mejoraron la precisión en un 5% siendo casi 3 veces más rápidos.
Entrenamiento más barato: También utilizaron estos programas para entrenar otros modelos de IA (un proceso llamado "destilación de modelo de recompensa"). Descubrieron que usar los juicios de los programas para enseñar a una nueva IA era 50 veces más barato que usar una IA famosa y costosa para hacer la enseñanza. La nueva IA entrenada con los datos del programa barato funcionó tan bien, o incluso mejor, que la entrenada con los datos de la IA costosa.
Honestidad y sesgo: Uno de los mayores problemas de los jueces de IA es que pueden tener sesgos. Pueden preferir respuestas largas solo porque son largas, o preferir respuestas con un formato elegante. Debido a que los jueces de PAJAMA son programas informáticos reales, puedes ver exactamente qué están haciendo. Si un programa tiene un sesgo hacia las respuestas largas, simplemente puedes abrir el código, encontrar la línea que dice "añadir puntos por longitud" y borrarla. El artículo mostró que, al "calibrar" (corregir) los programas, pudieron reducir significamente estos sesgos, haciendo que el juicio fuera mucho más justo.

Por qué esto es importante

El artículo argumenta que no necesitamos seguir pagando facturas enormes para que una IA juzgue a otra IA. Al convertir la parte del "pensamiento" del juez en un conjunto de reglas reutilizables y transparentes, podemos hacer que la evaluación sea escalable. Convierte una caja negra (donde no sabemos por qué la IA tomó una decisión) en un proceso claro e inspeccionable.

Los autores advierten cuidadosamente que esto no es una varita mágica que reemplaza a todos los jueces de IA. A veces, los problemas son demasiado complejos para reglas simples, y por eso mantienen a la IA costosa como respaldo para los casos difíciles. Pero para la gran mayoría de las tareas de juicio cotidianas, este enfoque de "destilación de programas" ofrece una forma de obtener resultados de alta calidad sin el alto costo, la alta latencia y los sesgos ocultos de los métodos actuales. Es un cambio de pedirle a un genio que haga todo el trabajo, a enseñarle al genio cómo construir un equipo de trabajadores eficientes.

Resumen Técnico: Codificando al Juez: Evaluación Escalable mediante la Destilación de Programas

Declaración del Problema

El paradigma de "LLM-como-juez" se ha convertido en el estándar para la evaluación automatizada en los flujos de trabajo de aprendizaje automático, gestionando tareas como la etiquetación de preferencias de pares, la destilación de modelos de recompensa y la retroalimentación de aprendizaje por refuerzo. Sin embargo, este enfoque enfrenta cuatro limitaciones críticas que obstaculizan la escalabilidad y la fiabilidad:

Costo de Inferencia: Escalar la evaluación a millones de muestras utilizando modelos propietarios (p. ej., GPT-5, Gemini-3) incurre en costos de API prohibitivos. Los modelos de pesos abiertos reducen las facturas de API, pero siguen siendo costosos en cuanto a latencia y demanda de GPU.
Lógica Opaca: Los procesos de decisión de los LLM son internos y opacos, lo que dificulta verificar si un veredicto se basa en el razonamiento declarado o en una alucinación.
Sesgo Sistémico: Los jueces de LLM son sensibles a los sesgos estilísticos, favoreciendo a menudo la verbosidad, el formato rico o el lenguaje emocional por encima de la exactitud factual.
Impuesto de Re-inferencia: Los flujos de trabajo de prompting actuales son inflexibles; revisar un solo criterio de evaluación requiere volver a ejecutar la inferencia sobre todo el conjunto de datos, lo que genera costos redundantes.

Metodología: El Marco PAJAMA

Los autores proponen PAJAMA (Program-As-a-Judge Automated Model Assessment), un sistema que cambia la inferencia basada en modelos por la ejecución de programas sintetizados. En lugar de solicitar un prompt a un LLM para cada muestra, PAJAMA destila la lógica de decisión del LLM en un comité de programas Python ejecutables.

El marco opera a través de cuatro etapas:

1. Destilación en Jueces Programáticos

En lugar de pedir a un LLM que evalúe cada candidato repetidamente, PAJAMA le pide al LLM una sola vez, en el momento de la síntesis, que genere la lógica que aplicaría.

Síntesis: Se le proporciona a un LLM rúbricas de evaluación curadas (p. ej., coherencia lógica, consistencia temática) para generar funciones Python (judging_function). Estas funciones toman pares de consulta y respuesta como entradas y devuelven puntuaciones escalares basadas en características interpretables (p. ej., similitud de coseno de vectores TF, deriva semántica).
Control de Diversidad: Para evitar una lógica repetitiva, el sistema cura una lista de diez rúbricas distintas y aplica verificaciones de similitud basadas en texto para filtrar programas con lógica superpuesta, asegurando un grupo diverso de jueces.

2. Modelado de Jueces Programáticos

Dado que los programas individuales pueden ser ruidosos o funcionar en diferentes escalas, PAJAMA emplea un procedimiento de modelado de tres pasos:

Calibración: Las salidas de los programas se normalizan al intervalo $[0, 1]$ . Se determina un umbral por programa ( $\tau_j$ ) utilizando un conjunto de validación reservado para convertir las diferencias de puntuación en veredictos discretos ( $+1$ , $-1$, o abstención $0$). Esto permite que los programas se abstengan de votar cuando su señal es débil.
Selección: Se descartan los programas que puntúan por debajo del azar en el conjunto de validación. Se seleccionan los $k$ mejores programas por precisión de validación para formar el comité final.
Agregación: Utilizando técnicas de supervisión débil (específicamente modelos de etiquetas como Snorkel), el sistema agrega los votos ruidosos de los $k$ mejores programas. Un modelo generativo estima la precisión de cada programa basándose en los patrones de acuerdo/desacuerdo para producir un veredicto conjunto ponderado.

3. Enrutamiento de Casos Inciertos (Evaluación Híbrida)

Para manejar entradas donde el comité de programas se abstiene o carece de confianza, PAJAMA implementa un mecanismo de respaldo:

Señales de Enrutamiento: Las señales internas derivadas del comité de programas —específicamente la varianza de voto (desacuerdo entre programas) y el posterior del agregador (probabilidad de confianza)— sirven como indicadores de enrutamiento.
Respaldo (Fallback): Las muestras marcadas como de baja confianza se escalan a un juez de LLM. Esto crea un sistema híbrido que mantiene un alto rendimiento para casos claros mientras garantiza la precisión para los casos difíciles.

4. Destilación de Modelos de Recompensa

El sistema también utiliza los veredictos programáticos como señales de entrenamiento para los modelos de recompensa. Al destilar las etiquetas del comité de programas, PAJAMA genera un conjunto de datos para el ajuste fino de modelos más pequeños, evitando la necesidad de una inferencia continua de modelos de LLM propietarios durante la fase de entrenamiento.

Resultados Clave

Los autores evaluaron PAJAMA a través de cinco conjuntos de datos de preferencias (JudgeLM, PandaLM, MultiPref, Prometheus, Preference-700K) y cuatro familias de modelos (OLMo-2, Gemma-3, Qwen2.5 y jueces propietarios).

Precisión vs. Rendimiento (Throughput): Los jueces programáticos independientes igualaron la precisión de los jueces de LLM de tamaño medio (p. ej., OLMo-2-13B-INSTRUCT) mientras funcionaban 47.25× más rápido. En promedio, alcanzaron un 78.11% de precisión, comparable a los modelos de 13B de parámetros, pero con un rendimiento órdenes de magnitud mayor.
Avance de la Frontera de Pareto: Al combinarse con los respaldos de LLM, PAJAMA avanzó la frontera de precisión-rendimiento. Por ejemplo, la combinación con OLMo-2-7B-INSTRUCT mejoró la precisión en un +5.0% con un rendimiento 2.9× mayor en comparación con la evaluación de solo LLM.
Destilación Rentable: En RewardBench, un modelo de recompensa destilado de etiquetas programáticas superó a uno entrenado con etiquetas de GPT-4 propietario, reduciendo los costos de API en 50×. La estructura de costos cambia de lineal ( $O(n)$ ) con el tamaño del conjunto de datos a una inversión única ( $O(1)$ ) para la síntesis de programas.
Robustez al Sesgo: Los jueces programáticos demostraron una resistencia superior a los sesgos sistémicos (posición, contenido rico, referencia, género, verbosidad) en comparación con los jueces de LLM. Notablemente, el sesgo de posición se eliminó (tasa de cambio de 0.00%) porque la lógica del programa es invariante al orden de los candidatos.
Calibrabilidad: El sistema permite la reducción dirigida del sesgo mediante ediciones de código. El uso de un agente de codificación para calibrar los programas redujo aún más las métricas de sesgo (por ejemplo, una reducción del 9.39% en la tasa de cambio para el sesgo de contenido rico), demostrando que el sesgo puede "parchearse" en el código en lugar de ser una propiedad inherente e infija de el modelo.

Significación y Contribuciones

El artículo afirma introducir un nuevo paradigma de evaluación que reemplaza la inferencia de modelos por muestra con la síntesis de programas de una sola vez y su ejecución local. Las principales contribuciones son:

Un Nuevo Paradigma de Evaluación: Destilar la lógica de juicio de los LLM en programas ejecutables ofrece una alternativa transparente, de bajo costo y flexible a la evaluación de modelos de caja negra.
El Sistema PAJAMA: Un marco híbrido que sintetiza jueces diversos, agrega sus veredictos mediante supervisión débil y emplea un enrutador consciente de la confianza para escalar casos inciertos, equilibrando velocidad y precisión.
Avance de la Frontera de Pareto: PAJAMA logra una precisión competitiva con LLMs de tamaño medio a una fracción del costo y con un rendimiento significativamente mayor, ampliando los límites de lo que es factible para la evaluación automatizada a gran escala.
Señales de Recompensa Baratas y de Alta Calidad: El sistema proporciona un método rentable para generar datos de entrenamiento para modelos de recompensa, superando la supervisión propietaria a una fracción del costo y permitiendo flujos de trabajo de evaluación robustos y corregibles en cuanto a sesgo.

Los autores enfatizan que este enfoque transforma la evaluación de un proceso opaco y costoso en un flujo de trabajo transparente, auditable y programable, abordando los problemas fundamentales de escalabilidad y fiabilidad de los sistemas actuales de LLM-como-juez.