Resumen Técnico: El Evaluador es Parte del Experimento

Planteamiento del Problema

La investigación previa sobre la conformidad de los Modelos de Lenguaje Extensos (LLM) se ha basado mayoritariamente en la medición de cambios discretos en las respuestas bajo etiquetas verificables (por ejemplo, cambiar de una opción de opción múltiple correcta a una incorrecta). Sin embargo, la conformidad de respuesta abierta presenta un desafío de medición distinto: la calidad de la respuesta es graduada, latente y juzgada de forma imperfecta. Las métricas existentes no logran capturar las degradaciones matizadas en el encuadre epistémico, la veracidad o la completitud que ocurren sin un cambio categórico en la proposición de la respuesta. Además, el proceso de evaluación es vulnerable; los evaluadores (ya sean humanos o automatizados) pueden reaccionar al contexto visible de pares, confundiendo los cambios en la respuesta generada con cambios en el juicio del evaluador. Este artículo postula que la conformidad de respuesta abierta es un problema conjunto de generación y medición donde el evaluador es un componente activo del experimento.

Metodología

Los autores proponen un protocolo experimental diseñado para desentrañar los efectos de revisión por parte del generador de la sensibilidad por parte del evaluador. El estudio utiliza cuatro generadores de pesos abiertos (Qwen2.5-7B, Mistral-7B, Gemma-2-9B, Llama-3.1-8B) y tres bancos de pruebas (TruthfulQA, MMLU-Pro, ARC-Challenge).

Diseño Experimental

El protocolo consiste en un proceso de dos rondas:

1. Ronda 1: El generador produce una respuesta inicial ($a^{(1)}$).
2. Ronda 2: Se le pide al generador que vuelva a responder la misma pregunta bajo siete condiciones distintas que derivan de la misma respuesta realizada en la Ronda 1:
   • Sin-Par (No-Peer): Una respuesta de segunda ronda de base.
   • Solo-Contenido (Content-Only): Exposición al texto candidato (correcto, erróneo o mixto) presentado como una lista simple sin atribución.
   • Presentación-de-Pares (Peer-Presented): Exposición al mismo texto candidato formateado como un bloque atribuido de seis interlocutores (simulando una discusión de pares), con variaciones en las señales de autoridad.

Estrategia de Evaluación

Para aislar la sensibilidad del evaluador, cada respuesta generada se somete a una evaluación pareada:

• Calificación Ciega (Blind Rating): La respuesta es calificada sin ningún contexto de pares.
• Calificación Informada (Informed Rating): La misma respuesta es calificada con el bloque de pares asociado visible.

Este diseño permite medir la sensibilidad al contexto de pares del evaluador ($\gamma_j$), definida como el cambio en la calificación para la misma respuesta cuando se introduce el contexto de pares. El estudio emplea un modelo ordinal jerárquico para inferir la calidad latente de la respuesta ($\theta_i$) a partir de calificaciones ordinales (escala 1–5), contabilizando la discriminación específica del juez ($\alpha_j$) y la severidad ($\beta_j$).

Descomposición

Los autores descomponen el desplazamiento total del brazo de pares ($\Delta_{total}$) en tres componentes:

1. Re-respuesta Ordinaria ($\Delta_{sp}$): El desplazamiento de la Ronda 1 a una Ronda 2 sin pares.
2. Exposición de Contenido ($\Delta_{content}$): El efecto de ver el texto candidato sin el encuadre de pares.
3. Residual de Presentación de Pares ($\Delta_{pp}$): El efecto adicional de presentar el contenido dentro de un bloque social/atribuido de pares.

Resultados Clave

1. Las Tasas de Cambio (Flip Rates) son Insuficientes

Los indicadores binarios de cambio fallan al capturar la naturaleza de la conformidad de respuesta abierta. En casos donde la posición general de la respuesta permanece inalterada (por ejemplo, "una urraca trae mala suerte"), la calidad de la explicación puede degradarse significamente (por ejemplo, eliminando cautelas sobre la superstición y adoptando rituales prescriptivos). En TruthfulQA, el 9.0% de las revisiones que parecían "inalteradas" según las métricas de cambio perdieron al menos un punto en las calificaciones ciegas.

2. Los Pares Incorrectos Perjudican la Calidad de la Revisión

En todas las celdas de generador-conjunto de datos, la entrada de pares totalmente incorrectos produce las revisiones de menor calidad.

• Magnitud: La degradación bajo pares totalmente incorrectos es sustancial. Por ejemplo, en ARC-Challenge, el modelo Llama-3.1-8B mostró un cambio de calidad latente de $-0.528$ (aproximadamente el 18% de la distancia entre los anclajes correctos e incorrectos fijados).
• Asimetría: El efecto perjudicial de los pares incorrectos supera significativamente cualquier beneficio potencial de los pares correctos. La métrica de "asimetría perjudicial-beneficiosa" ($Asym_{total}$) es positiva en las 12 celdas de generador-conjunto de datos, lo que indica que los pares incorrectos degradan la calidad más de lo que los pares correctos la mejoran.

3. Los Evaluadores Exhiben Sensibilidad al Contexto de Pares

La evaluación de una respuesta idéntica cambia dependiendo de si el contexto de pares es visible, y la dirección de este cambio varía según el evaluador:

• Mistral-7B: Desplaza las calificaciones hacia la posición respaldada por los pares ($\gamma > 0$).
• Gemma-2-9B y Llama-3.1-8B: Desplaza las calificaciones lejos de la posición respaldada por los pares ($\gamma < 0$).
• Qwen2.5-7B: Aproximadamente neutral.
• Modelos de Frontera (GPT-4o, GPT-5.4-mini): Ambos muestran una sensibilidad direccional credencialmente negativa (desplazándose lejos de los pares).
  Esto confirma que los evaluadores no son observadores neutrales; sus calificaciones están influenciadas por las mismas señales de consenso o autoridad presentadas al generador.

4. La Calibración de Anclajes es Necesaria

El estudio destaca que las escalas latentes dependen de anclajes (ejemplos breves correctos/incorrectos) para definir el origen y la unidad de calidad. Sin una puntuación aumentada por referencia durante la evaluación de los anclajes, los jueces no lograron distinguir entre los anclajes correctos e incorrectos en el 26.7% de los casos, desestabilizando la escala latente. La puntuación aumentada por referencia elevó el ordenamiento correcto al 97.5%.

Significancia y Reivindicaciones

El artículo argumenta que la conformidad de respuesta abierta no puede medirse adecuadamente mediante cambios de respuesta o asumiendo que los evaluadores automatizados son insensibles al contexto correlacionado con el tratamiento. Las principales contribuciones son:

1. Marco de Medición: Un protocolo que separa la re-respuesta ordinaria, la exposición al contenido del candidato, el efecto residual de la presentación de pares y la sensibilidad direccional del juez.
2. Evidencia Empírica de Daño: Demostración de que los pares incorrectos degradan consistentemente la calidad de la revisión de respuesta abierta más de lo que los pares correctos la mejoran, incluso cuando la proposición final no cambia.
3. No Neutralidad del Evaluador: Prueba de que "el evaluador es parte del experimento", con diferentes modelos exhibiendo sensibilidades heterogéneas al contexto de pares.
4. Requisito de Calibración: La afirmación de que la calibración de anclajes es un prerrequisito para una medición válida de la escala latente, ya que los diagnósticos de convergencia estándar no garantizan que la escala represente el constructo pretendido.

Los autores concluyen que la evaluación creíble de los sistemas multi-agente requiere controles de base apropiados, el modelado explícito de la sensibilidad del evaluador, la corroboración independiente (por ejemplo, clasificadores fijos) y auditorías directas de la calibración de la escala. No afirman que estos hallazgos sean constantes universales para todos los sistemas de LLM, sino que son cantidades identificables dentro del entorno experimental especificado.