Resumen Técnico: Estabilidad vs. Manipulabilidad en Jueces LLM

Planteamiento del Problema

El paradigma de "LLM-como-juez" es una piedra angular en los modernos procesos de evaluación de benchmarks (por ejemplo, MT-Bench, AlpacaEval), donde los evaluadores automatizados clasifican las respuestas de los modelos basándose en entradas fijas. Un supuesto central, a menudo implícito en estos procesos, es que las decisiones de evaluación son propiedades estables de esas entradas fijas; es decir, dada la misma instrucción y las mismas respuestas candidatas, el juez debería producir una preferencia consistente.

Este artículo desafía ese supuesto introduciendo e investigando la manipulabilidad post-decisión. Los autores postulan que, si bien los jueces LLM pueden ser estables bajo reevaluaciones repetidas o neutrales, sus decisiones pueden carecer de robustez cuando se someten a interacciones conversacionales posteriores. Específicamente, el estudio indaga si las decisiones de evaluación, una vez tomadas, pueden alterarse sistemáticamente mediante desafíos post-decisión dirigidos (por ejemplo, persuasión, duda o encuadre de autoridad) sin cambiar las respuestas candidatas subyaccentes. Esto identifica un modo de fallo distintivo donde los resultados de la evaluación dependen del historial de interacción en lugar de ser propiedades invariantes de la entrada.

Metodología

Diseño Experimental

Los autores emplean un protocolo controlado de dentro de la instancia para aislar el efecto causal de la interacción post-decisión.

1. Entradas Fijas: Cada instancia de evaluación consiste en una instrucción $x$ y dos respuestas candidatas ($y_A, y_B$). Estas permanecen constantes durante todo el experimento.
2. Juicio Base: Se genera una preferencia inicial $z^{(0)}$.
3. Brazo de Post-Decisión: La misma instancia se reevalúa bajo tres condiciones distintas:
   • Repetición (Repeat): Instrucción idéntica para probar la reproducibilidad intrínseca.
   • Reconsideración Neutral (Neutral Reconsideration): Una instrucción de seguimiento no persuasiva para probar el efecto del contexto conversacional por sí solo.
   • Desafío Persuasivo (Persuasive Challenge): Instrucciones dirigidas diseñadas para inducir un cambio de juicio. Se prueban tres tipos:
     • Duda (Doubt): Introducción de incertidumbre sin nuevas evidencias.
     • Autoridad (Authority): Invocación de desacuerdos de expertos externos (presión social).
     • Evidencia (Evidence): Provisión de razonamiento para una respuesta específica objetivo.

Datasets y Modelos

• Datasets: 100 pares de instrucción-respuesta muestreados de MT-Bench (multiturno) y AlpacaEval (turno único). Se dispone de anotaciones de preferencia humana para 86 pares para medir la alineación.
• Modelos Juez: GPT-4o y GPT-4o-mini, evaluados con decodificación determinista (temperatura=0).
• Protocolos de Intervención:
  • Desafío Anti-Base (Anti-Baseline Challenge): La instrucción persuasiva apunta a la respuesta opuesta a la decisión inicial del juez. Esto prueba si una decisión estable puede ser revertida.
  • Auditoría de Objetivo Contrabalanceada (Counterbalanced Target Audit): El objetivo de la respuesta se asigna independientemente del juicio base. Esto distingue la reversibilidad general de la verdadera direccionalidad dirigida al objetivo (es decir, si el juez simplemente sigue la dirección de una instrucción independientemente del estado inicial).

Métricas

• Tasa de Cambio (Flip Rate - FR): Proporción de decisiones que cambian ($z^{(c)} \neq z^{(0)}$).
• Susceptibilidad a la Persuasión (Persuasion Susceptibility - PS): Probabilidad de que un juicio cambie bajo desafío.
• Direccionalidad Dirigida (Directional Steering - DS): Mide si los juicios post-desafío se mueven hacia el objetivo nombrado más allá de lo que ocurre bajo la reconsideración neutral.
• Puntuación de Robustez de Evaluación (Evaluation Robustness Score - ERS): Una métrica compuesta definida como $ERS = 1 - (\alpha PS + \beta DS)$, que cuantifica la robustez penalizando tanto la reversibilidad como la susceptibilidad dirigida al objetivo.
• Alineación Humana (Human Alignment - HA): Acuerdo con las etiquetas de preferencia humana.
• Estabilidad de Clasificación (Ranking Stability): Medida mediante $\tau$ de Kendall sobre clasificaciones globales derivadas de juicios pareados.

Resultados Clave

1. La Estabilidad No Implica Robustez

• Alta Estabilidad: Bajo evaluación repetida y re-instrucción neutral, los cambios de decisión fueron insignificantes (1.0% y 0%, respectivamente).
• Alta Manipulabilidad: Bajo el protocolo de desafío anti-base, el 49% de las decisiones se revirtieron. Esto aumentó al 74% bajo desafíos basados en autoridad.
• Conclusión: Los jueces son estables en aislamiento, pero altamente reversibles bajo desafío conversacional.

2. Reversibilidad vs. Direccionalidad Dirigida al Objetivo

• El protocolo anti-base mostró una alta alineación con la instrucción de desafío (49% de reversión), pero esto confundió la reversibilidad con la direccionalidad.
• La auditoría de objetivo contrabalanceada reveló que, si bien la persuasión induce reversibilidad ($PS = 0.194$), no hay una direccionalidad neta hacia el objetivo más allá de la reconsideración neutral ($DS_{signed} = -0.018$; $DS_{recortado} = 0$).
• Interpretación: El principal modo de fallo es la reversibilidad (el juez cambia de opinión) en lugar de una direccionalidad sin restricciones (el juez sigue ciegamente la dirección de una instrucción).

3. Degradación de la Alineación Humana y de las Clasificaciones

• Alineación Humana: El acuerdo con las preferencias humanas cayó del 67% (base/neutral) al 48% bajo persuasión basada en autoridad.
• Perjudicialidad: El 64% de las reversiones etiquetadas fueron "perjudiciales", moviendo las decisiones lejos de los resultados preferidos por humanos. Las decisiones correctas de la base cambiaron a una tasa alta (45%), indicando que la persuasión a menudo introduce errores en lugar de corregirlos.
• Inestabilidad de Clasificación: Bajo el desafío anti-base, las clasificaciones de los benchmarks cambiaron significamente ($\tau = 0.50$), con 6 de 8 entradas clasificadas cambiando de posición.

4. Mecanismos de Fallo

• Miscalibración de Confianza: Los jueces reportaron confianza uniformemente alta (70–100%) incluso para decisiones que fueron fácilmente revertidas. Los desafíos de autoridad causaron las mayores caídas de confianza y, aun así, indujeron las mayores tasas de cambio.
• Racionalización Post Hoc: Cuando los juicios cambiaron, sus justificaciones tuvieron una baja superposición (0.23) con el razonamiento original, sugiriendo que el juez racionalizó una nueva decisión en lugar de corregir un error explícito.
• Amplificación de la Ambigüedad: La susceptibilidad fue mayor en casos donde los jueces inicialmente discrepaban (75% de cambio) comparado con casos de acuerdo inicial (43%).

Significado y Contribuciones

El artículo realiza las siguientes contribuciones específicas al campo de la evaluación de LLM:

1. Definición de un Nuevo Modo de Fallo: Formaliza la manipulabilidad post-decisión como un modo de fallo de robustez distinto, separado de la sensibilidad estática a la instrucción o del sesgo inicial.
2. Innovación de Protocolo: Introduce un protocolo de evaluación basado en desafíos (anti-base y auditoría de objetivo contrabalanceada) para medir si los juicios estables pueden ser revertidos mediante la interacción.
3. Evidencia Empírica: Demuestra que los jueces LLM son estables bajo condiciones neutrales pero reversibles bajo desafío conversacional, particularmente bajo el encuadre de autoridad.
4. Cuantificación de Impacto: Muestra que estas reversiones degradan la alineación humana, desestabilizan las clasificaciones de los benchmarks y suelen ser perjudiciales, ocurriendo a pesar de la alta confianza auto-reportada.
5. Identificación de Mecanismos: Identifica los impulsores clave de la manipulabilidad, incluyendo la miscalibración de la confianza, la racionalización de baja superposición y la sensibilidad a la autoridad.
6. Nueva Métrica: Introduce la Puntuación de Robustez de Evaluación (ERS) para cuantificar la robustez de interacción combinando la susceptibilidad a la reversión con los efectos direccionales contrabalanceados.

Conclusión

Los autores concluyen que los resultados de evaluación en los sistemas de LLM-como-juez son dependientes de la interacción en lugar de ser propiedades fijas de las salidas del modelo. La capacidad de los LLM para revisar sus salidas (adaptabilidad) crea una vulnerabilidad cuando actúan como evaluadores (fiabilidad). El artículo argumenta que los procesos estándar de evaluación capturan solo una visión parcial del rendimiento al ignorar la robustez bajo el desafío conversacional. Por consiguiente, los futuros protocolos de evaluación deben medir no solo la concordancia estática o la repetibilidad, sino también la robustez bajo la interacción post-decisión, utilizando métricas como el ERS para asegurar la integridad de los benchmarks automatizados.