Resumen Técnico: JudgeSense

1. El Problema: Inestabilidad de los Jueces Automáticos

En la actualidad, los modelos de lenguaje de gran tamaño (LLM) se utilizan cada vez más como "jueces" para evaluar el rendimiento de otros modelos. Sin embargo, existe una suposición implícita de que el diseño del prompt (la instrucción) es un detalle de implementación irrelevante.

El problema central que aborda este estudio es la sensibilidad al parafraseo: si se cambia ligeramente la redacción de una instrucción (manteniendo el mismo significado semántico), ¿cambia el veredicto del juez? Si la respuesta es sí, el juez deja de ser una herramienta de medición fiable y se convierte en una fuente de ruido, lo que invalida las comparaciones entre diferentes investigadores que utilicen plantillas de prompts distintas.

2. Metodología y Marco de Trabajo

Los autores introducen JudgeSense, un marco de evaluación diseñado para cuantificar la estabilidad de las decisiones de un LLM.

A. Métrica Principal: Judge Sensitivity Score (JSS)

El estudio propone el JSS, una métrica que mide la fracción de pares de paráfrasis en los que un juez devuelve una decisión idéntica.
$$JSS(j, t) = \frac{1}{|P|} \sum_{i=1}^{|P|} \delta(j(p_i), j(p'_i))$$
Donde:

• $j$ es el modelo juez.
• $t$ es la tarea.
• $P$ es el conjunto de pares de paráfrasis $(p_i, p'_i)$.
• $\delta$ es una función que devuelve 1 si las decisiones son iguales y 0 si no.
• Un JSS de 1.0 indica consistencia perfecta; un valor inferior a 0.8 se considera un umbral de falta de fiabilidad práctica.

B. Construcción del Benchmark

Se construyó un conjunto de datos de 494 pares de paráfrasis validados semánticamente (tras excluir 6 pares ambiguos) que cubren cuatro dimensiones de evaluación:

1. Factuality (Factualidad): Basado en TruthfulQA.
2. Coherence (Coherencia): Basado en SummEval (escala Likert 1-5).
3. Relevance (Relevancia): Basado en BEIR (elección entre dos opciones).
4. Preference (Preferencia): Basado en MT-Bench (elección entre dos opciones).

C. Configuración Experimental

Se evaluaron 9 modelos jueces (5 comerciales como GPT-4o y Claude 3.5, y 4 de código abierto como Llama-3.1 y Qwen-2.5) utilizando una configuración de decodificación codiciosa (greedy decoding) para asegurar la reproducibilidad.

3. Contribuciones Clave

1. Métrica Formal: La introducción del JSS como un estándar reportable para la comunidad.
2. Dataset de Referencia: Un benchmark validado de paráfrasis para medir la estabilidad de decisiones.
3. Estudio Empírico: Un análisis exhaustivo que revela cómo la escala del modelo no garantiza la consistencia.
4. Guía para Profesionales: Recomendaciones sobre qué modelos usar según la tarea y cómo diseñar prompts para evitar sesgos.

4. Resultados Principales

• La Coherencia es la tarea discriminante: Es la única dimensión donde los jueces muestran diferencias significativas en su consistencia. El JSS varía drásticamente desde 0.389 (Gemini-2.5-flash) hasta 0.992 (Claude-Sonnet-4.5).
• El mito de la escala: El tamaño del modelo no predice la consistencia. Un modelo comercial de frontera (Gemini Flash) mostró el peor desempeño en coherencia, mientras que un modelo de código abierto (Qwen-2.5-72b) superó a modelos más grandes.
• El efecto de la polaridad en la Factualidad: Todos los jueces mostraron una tasa de error (cambio de decisión) similar de ~37% en la tarea de factualidad. El estudio descubrió que esto no era un defecto del modelo, sino un artefacto del diseño del prompt: una de las plantillas invertía la polaridad de la respuesta (ej. "Responde NO si es correcto"), lo que causaba confusión sistemática. Al corregir esto, el JSS subió a >0.9.
• Comportamiento degenerado en tareas de pares: En las tareas de Relevancia y Preferencia, 8 de los 9 jueces mostraron un comportamiento de "siempre elegir la opción A". Esto indica un fuerte sesgo de posición, lo que hace que el JSS sea un 1.0 artificialmente alto y no informativo sin una aleatorización previa de las opciones.
• Kappa de Cohen negativo: Algunos modelos (Gemini y Mistral) mostraron un $\kappa$ negativo en coherencia, lo que significa que sus decisiones bajo diferentes prompts estaban anticorrelacionadas (cambiaban de dirección de forma sistemática).

5. Significancia y Conclusiones

El estudio concluye que la formulación del prompt es a menudo el factor dominante en la inconsistencia de un juez, por encima de la arquitectura del modelo.

Implicaciones para la práctica:

• No se debe elegir un juez basándose únicamente en su tamaño o novedad.
• Los investigadores deben reportar el JSS junto con la precisión para ofrecer una imagen real de la fiabilidad.
• Se debe evitar la inversión de polaridad en las instrucciones de factualidad.
• Para tareas de comparación (A/B), es imperativo aleatorizar el orden de las opciones para mitigar el sesgo de posición.