Resumen Técnico: ¿Fiel o Fabricado? Un Marco Causal para el Sesgo de Racionalización en Jueces de LLM

Declaración del Problema

La adopción creciente de Modelos de Lenguaje Grandes (LLM) como jueces automatizados para tareas como la resumición y la evaluación de diálogos ha introducido beneficios de escalabilidad, pero ha planteado preocupaciones críticas sobre la fiabilidad y la fidelidad de sus decisiones. Mientras que trabajos anteriores han documentado sesgos a nivel de resultado (por ejemplo, preferencias por posición, verbosidad y estilo), estos estudios se centran principalmente en qué decide el juez, más que en por qué. Una decisión solo es confiable si su explicación refleja las mismas características evidenciales de la entrada que impulsaron la elección.

El artículo identifica un modo de fallo específico denominado sesgo de racionalización: la producción sistemática de racionalizaciones plausibles pero infieles, donde los jueces LLM alinean sus veredictos y explicaciones con señales no evidenciales (como etiquetas de metadatos, señales de confianza o formato) en lugar de la evidencia textual subyacente. Este fenómeno socava la auditabilidad y la equidad, particularmente en aplicaciones de alto riesgo como la evaluación comparativa (benchmarking) y la supervisión del cumplimiento. Los autores enmarcan el requisito de fiabilidad como invarianza de señales: un juez LLM es invariante a las señales si su clasificación y explicación permanecen estables cuando las señales no evidenciales se perturban mientras la evidencia textual se mantiene constante.

Metodología

Los autores proponen un marco causal para aislar y cuantificar la influencia de las señales no evidenciales tanto en las decisiones como en las explicaciones.

1. Construcción del Conjunto de Datos

El estudio utiliza un nuevo corpus descontaminado de 1.000 resúmenes extraídos de diversos dominios (negocios, literatura, ciencia, etc.) para evitar la filtración de datos de entrenamiento. El conjunto de datos incluye comparaciones entre resúmenes generados por modelos extractivos tradicionales (por ejemplo, TextRank, LexRank) y LLM. Crucialmente, los autores construyen subconjuntos controlados donde el contenido se mantiene fijo mientras se manipulan las señales:

• Subconjunto de pares de contenido igual: Dos paráfrasis del mismo contenido con etiquetas variables.
• Subconjunto de reetiquetado de resumen único: El mismo resumen presentado bajo diferentes etiquetas.

2. Sondeo Causal Basado en Señales

Los autores introducen una serie de cinco condiciones de sondeo para manipular las señales no evidenciales ($C$) manteniendo fija la evidencia textual ($X$):

• Ciego (B): No se proporcionan señales.
• Verdad (T): Se proporcionan etiquetas de verdad fundamental.
• Invertir (F): Se proporcionan etiquetas invertidas (engañosas).
• Placebo (P): Se proporcionan insignias creíbles pero no informativas.
• Revelar-después (R): Se aplican primero las etiquetas invertidas y luego se revelan las etiquetas de verdad.

3. Métricas de Anclaje

Para cuantificar el impacto de las señales, los autores definen métricas conscientes de empates que separan el anclaje de resultados (cambios en las clasificaciones) del anclaje de racionalización (cambios en las explicaciones):

• Tasa de Detección de Igualdad (EDR): Mide la capacidad de identificar candidatos equivalentes en condiciones ciegas.
• Desviación de Neutralidad (NDB): Mide la desviación de una división 50-50 en decisiones ciegas sin empates.
• Anclaje de Etiquetas en Resultados (LAO): Cuantifica la fracción del movimiento del resultado que se alinea con las etiquetas/señales presentadas.
• Racionalización Alineada a Etiquetas (LAI): Mide el grado en que las explicaciones utilizan retórica alineada con la etiqueta presentada, incluso cuando el veredicto permanece sin cambios.
• Deriva de la Explicación: Mide la distancia textual entre explicaciones bajo diferentes condiciones de señal cuando el veredicto está fijo.

4. Estrategias de Mitigación

Se evalúan dos mecanismos de defensa:

• Cadena de Pensamiento Estructurada (SCoT): Se instruye a los jueces a razonar según criterios predefinidos (precisión, completitud, concisión, fluidez) antes de decidir.
• Prueba-Antes-Preferencia (PBP): Un protocolo donde el juez primero escribe y "bloquea" notas por criterio con fragmentos citados de la fuente. Estas notas son inmutables; la puntuación y clasificación subsiguientes deben derivarse estrictamente de esta evidencia bloqueada, evitando la racionalización a posteriori.

5. Ataques de Anclaje

El estudio pone a prueba la robustez mediante transformaciones de estilo que preservan el significado semántico:

• Ataque de Verbosidad: Adición de texto redundante pero que preserva el contenido para sondear el sesgo por longitud.
• Ataque de Confianza: Reescritura del tono para que sea más asertivo sin alterar los hechos, para sondear el sesgo por certeza.

Resultados Clave

Los experimentos se realizaron en cinco LLM de pesos abiertos (Gemma-2-9B, Llama-3.1-8B, Mistral-7B, Qwen2.5-7B, Zephyr-7B).

1. Vulnerabilidad de la Línea Base: Los jueces de Línea Base estándar (veredicto directo con explicación a posteriori) exhiben la máxima susceptibilidad a las señales. Bajo etiquetas verdaderas, muestran un anclaje casi perfecto (LAO $\approx$ 1.00). También muestran una fuerte susceptibilidad a las etiquetas de placebo y una deriva significativa de la explicación incluso cuando los veredictos no cambian.
2. Limitaciones de SCoT: La Cadena de Pensamiento Estructurada mejora la Tasa de Detección de Igualdad, pero no logra prevenir completamente el anclaje de etiquetas. En muchos casos, SCoT exhibe valores altos de LAO (hasta 1.00 bajo etiquetas verdaderas) y sigue siendo susceptible a señales engañosas, particularmente bajo las condiciones de placebo e inversión.
3. Efectividad de PBP: El protocolo Prueba-Antes-Preferencia (PBP) supera significativamente tanto a la Línea Base como a SCoT.
   • Invarianza de Resultados: PBP mantiene valores bajos de LAO en todas las condiciones de sondeo (a menudo cerca de 0.00), lo que indica un movimiento mínimo hacia resultados favorecidos por la etiqueta.
   • Resistencia a la Revisión: Cuando las etiquetas se revelan después de un juicio inicial invertido, la Línea Base y SCoT muestran altas tasas de revisión (75–85%), mientras que PBP muestra tasas marcadamente más bajas (5–22%).
   • Fidelidad de la Explicación: PBP reduce significativamente la deriva de la explicación y la retórica alineada a las etiquetas en comparación con otros protocolos.
   • Robustez ante Ataques: Bajo los ataques de verbosidad y confianza, PBP mantiene un bajo anclaje de resultados y cambios textuales mínimos en las explicaciones, mientras que SCoT a menudo exhibe la mayor susceptibilidad.

Significado y Afirmaciones

El artículo afirma proporcionar un marco causal para caracterizar y cuantificar formalmente el sesgo de racionalización, avanzando más allá de las observaciones a nivel de resultado para analizar la estabilidad de las explicaciones. Al introducir el sondeo de invarianza de señales y las métricas de anclaje, el estudio ofrece herramientas de diagnóstico para detectar cuándo los jueces LLM se alinean con artefactos superficiales en lugar de la evidencia.

La contribución principal es la demostración de que Prueba-Antes-Preferencia (PBP) es una estrategia de mitigación efectiva. Al imponer un "bloqueo de evidencia" antes de que se exprese la preferencia, PBP frena el anclaje de etiquetas y la deriva de la explicación, mejorando así la robustez, la equidad y la auditabilidad de los sistemas de evaluación basados en LLM. Los autores sitúan este trabajo como un paso necesario hacia el desarrollo de sistemas de IA más transparentes y confiables para aplicaciones de alto riesgo, donde juicios poco fiables o sensibles a las señales podrían socavar la confianza.

Los autores reconocen modestamente las limitaciones: la evaluación se restringe a tareas de resumición, las métricas a nivel de explicación dependen de evaluadores específicos y el estudio no reporta intervalos de confianza ni variabilidad de múltiples semillas. Enmarcan estos aspectos como deferencias principistas para aislar una señal causal limpia, motivando trabajos futuros sobre generalización entre tareas y validación humana.