Suggestible Judges Asymmetric Conformity in Large Language Model Adjudication
Este estudio demuestra que ciertos modelos de lenguaje de gran tamaño utilizados como adjudicadores exhiben una conformidad asimétrica, impulsada por la presentación, hacia etiquetas específicas (particularmente los valores "FALSO") en lugar de evaluar los méritos de manera imparcial, con una susceptibilidad que varía significamente entre proveedores y que es mitigada mediante el ajuste de instrucciones.